Un modelo de lenguaje aprende a retocar sus propios pesos sin reentrenarse
Un preprint de arXiv dice que un modelo de 27.000 millones de parámetros puede revisar sus propios pesos, editarlos y acertar más en problemas nuevos sin pasar por otra ronda de entrenamiento.

Los modelos de lenguaje que usamos a diario tienen una vida bastante rígida. Primero se entrenan durante semanas, después se «congelan» y por último se ponen en marcha. Si luego se quiere mejorarlos, lo normal es lanzar otro entrenamiento, que es caro y lento. Hay trucos que ayudan sobre la marcha, como escribir mejores instrucciones o dejarle más tiempo de cálculo para pensar cada respuesta, pero su efecto termina cuando acaba la tarea. Un trabajo publicado en arXiv el 16 de noviembre de 2026 propone una tercera vía: que el propio modelo abra sus tripas, entienda en qué falla y se corrija a sí mismo.
Lo firman Jiajun Fan, Ge Liu y otros nueve autores, con el título Language Models Can Rewrite Their Own Weights. Llaman al método self-rewriting, que podría traducirse como «autorreescritura». Es un preprint, así que todavía no ha pasado una revisión por pares.
Cómo funciona por dentro
Un modelo de lenguaje es, en el fondo, una gran colección de números llamados pesos, ordenados en matrices. Al entrenarlo, esos números se ajustan poco a poco con una técnica matemática basada en gradientes, que indica hacia dónde mover cada valor para reducir el error. El experimento se salta ese mecanismo. Según los autores, el modelo mejora
«by its own reasoning, with no gradients and no training»(por su propio razonamiento, sin gradientes y sin entrenamiento).

El montaje es sencillo de describir. El modelo recibe acceso a sus propios pesos, a un conjunto de respuestas ya corregidas (para saber cuáles acertó y cuáles no) y la posibilidad de ejecutarse a sí mismo y hacer pruebas. Con esas herramientas, un modelo de 27.000 millones de parámetros (27B) diagnostica por qué falla y modifica los pesos que considera responsables.
El preprint explica cuál fue la estrategia del modelo más grande. Comparó sus estados internos en dos tipos de casos: las respuestas que llegaban a terminar y las que se quedaban sin espacio, es decir, sin tokens. Después buscó la «dirección» matemática que separa unas de otras y la debilitó. Los autores dicen que es una forma de trabajar parecida a la que seguiría una persona investigadora.
Qué resultados presenta
- Acierta más en problemas nuevos: tras su propia edición, el modelo mejoró 6,6 puntos de precisión en 490 problemas que no había visto, con una prueba fijada de antemano. La edición hecha en otra sesión distinta también lo mejoró de forma significativa.
- Mejora sin retroceder: solo envía un cambio si sus propias pruebas lo respaldan, y cada edición sustituye a la anterior. En sus ocho primeras sesiones, la precisión siempre subió.
- Repara una copia dañada: los autores estropearon una matriz de una copia del modelo. El sistema la localizó y la reescribió con valores propios, sin consultar nunca los pesos originales. Para encontrar el arreglo solo usó problemas de matemáticas en texto, pero la copia reparada pasó de un 7 % a un 70 % de acierto en seis pruebas con imágenes que no había visto, lo que equivale al 83 % del rendimiento del modelo intacto.
Hay dos ventajas que los autores destacan. La primera es que, al contrario que dar más tiempo de cálculo en cada respuesta, la mejora se queda guardada en los pesos y no encarece las consultas. La segunda es que no hace falta la infraestructura de un entrenamiento: basta con un modelo abierto y unas horas en una sola GPU.

La letra pequeña
El resultado más revelador puede ser lo que no funcionó. Los autores probaron cuatro tamaños de la misma familia de modelos. El de 2.000 millones de parámetros no llegó a proponer ningún cambio. Los de 4.000 y 9.000 millones se «rompieron» a sí mismos con sus ediciones. Solo el de 27.000 millones consiguió mejorarse. Por tanto, parece que la capacidad aparece a partir de cierto tamaño, y que dejar a un modelo pequeño tocar sus pesos puede empeorarlo.
Hay que tener en cuenta otras limitaciones:
- Es un preprint sin revisión independiente, y por ahora solo está probado con una familia de modelos.
- Las mejoras se miden con pruebas de rendimiento concretas. No sabemos cómo se traducen al uso cotidiano.
- Hace falta un modelo de pesos abiertos: no se puede aplicar a los servicios cerrados que no dejan acceder a sus pesos.
- Las «horas en una GPU» que citan los autores no son gratis ni están al alcance de cualquier ordenador doméstico.
Por qué importa
Hasta ahora, entrenar un modelo y usarlo eran dos fases separadas que necesitaban equipos y presupuestos muy distintos. Si estos resultados se confirman, mejorar un modelo abierto podría parecerse más a una sesión de diagnóstico que a una nueva ronda de entrenamiento. Eso abaratería mucho el ajuste fino para laboratorios pequeños. También plantea preguntas importantes sobre cómo vigilar y auditar a un sistema que se modifica a sí mismo, sobre todo porque los modelos más pequeños se estropearon al intentarlo. Los autores lo resumen diciendo que mejorar un modelo de lenguaje quizá acabe requiriendo una conversación y no un entrenamiento.
Texto generado con inteligencia artificial a partir de las fuentes citadas, sin revisión humana individual (Reglamento UE 2024/1689, art. 50). Las fotos llevan su crédito y licencia; las marcadas como realzadas se han retocado con IA sin alterar su contenido.
Relacionado
- Agentes de IA que piensan antes de usar una herramienta: así funciona CITA
- Cuando la memoria de un asistente borra lo que no debía: el coste de olvidar
- La IA sabe más química de la que dice: así lo revela su interior
- Un juez barato para la IA médica: evalúa respuestas casi como los grandes modelos
- Anterior en Tecnología: Un examen de operador nuclear muestra que la IA puede acertar con un razonamiento flojo
- Siguiente en Tecnología: Un script de pruebas A/B infectó 178 webs y sirvió malware a sus visitantes
Temas: Inteligencia artificial (88) · Modelos de lenguaje (17) · ArXiv (20) · Aprendizaje automático (4)




Comentarios
Para comentar hay que iniciar sesión (Google, X, Facebook, Apple, Microsoft o cuenta de Disqus). Se moderan insultos, spam y datos personales: normas.
Los comentarios los sirve Disqus, un servicio externo que usa cookies propias y de publicidad. Solo se carga si pulsas el botón. Más información.