GPT-6 Astra ajustó el 0,016% de los pesos de Qwen y subió GSM8K del 13,8% al 67,1%

Es un dolor conocido: lanzas un modelo pequeño en una tarea de razonamiento y este da vueltas en círculos, repite el mismo fragmento de texto y acaba chocando con el límite de tokens sin dar una respuesta. Normalmente se trata con prompts, penalizaciones por repetición o fine-tuning. Investigadores de MIT CSAIL probaron otro camino: encargaron la reparación a un agente de IA y le permitieron editar los propios pesos.

Qué se hizo exactamente

GPT-6 Astra obtuvo acceso a los pesos de Qwen3.5-0.8B mediante Python y un presupuesto de hasta 50 ejecuciones de prueba. La condición era estricta: sin gradientes, sin retropropagación y sin optimizador. Solo análisis y edición directa de los números del modelo.

Primero el agente observó el comportamiento. Resultó que, en la mayoría de los casos, el modelo no fallaba en la lógica, sino que simplemente no podía detenerse: el 93% de las respuestas llegaban al límite de tokens. Es decir, tenía capacidad para resolver las tareas, pero el mecanismo de cierre del razonamiento estaba roto.

Después, Astra localizó la causa en los bloques MLP de las capas 15 y 19, encontró en el espacio de pesos una dirección asociada a los bucles y corrigió 131.072 parámetros. Eso es alrededor del 0,016% de 800 millones.

Resultados

Las cifras impresionan:

• MATH-500: del 7,9% al 48,1%
• GSM8K: del 13,8% al 67,1%
• proporción de respuestas que llegan al límite de tokens: del 93% al 33,1%

En esencia, no se "enseñó matemáticas" al modelo, sino que se eliminó un obstáculo. Es como un coche con el motor en buen estado pero con el acelerador atascado: tras la reparación no se volvió más potente, simplemente empezó a circular como debía.

Los autores llaman al enfoque Weight-Space Programming: el comportamiento del modelo se corrige como código, de forma puntual y en un lugar concreto, y no mediante un entrenamiento repartido por todos los parámetros.

Limitaciones

Primero, lo que conviene tener en cuenta. Se trata de un solo blog y un solo modelo pequeño. Las cifras base de Qwen3.5-0.8B son muy bajas (7,9% en MATH-500), y buena parte de la mejora se explica porque el modelo original estaba literalmente roto en modo de razonamiento. Llevar un modelo así a un nivel decente es más fácil que mejorar uno ya sólido.

Hay además una confirmación directa: en Gemma 3 270M, que no tenía el problema de bucles, el método casi no aportó nada. Por tanto, no es un "acelerador de matemáticas" universal, sino una forma de tratar un defecto concreto, si el modelo lo tiene.

Tampoco está claro hasta qué punto el resultado es reproducible sin acceso a GPT-6 Astra. El propio agente, según la descripción, hizo el grueso del trabajo analítico, algo costoso y cerrado. Todavía no hay verificación independiente.

Qué hacer con esto

Para los desarrolladores que ejecutan modelos open source pequeños en local o en producción, hay varias conclusiones prácticas:

• Antes de hacer fine-tuning, mida la proporción de respuestas que llegan al límite de tokens. Si es enorme, quizá no tenga un fallo de conocimiento, sino un fallo de parada.
• El diagnóstico importa más que el tratamiento: entender qué capa y qué dirección son responsables del defecto ya es la mitad del trabajo.
• La edición quirúrgica de pesos es más barata que el fine-tuning y no requiere dataset, pero rompe el pipeline habitual de versionado de modelos. Estos parches habrá que documentarlos y probarlos frente a regresiones.
• Para los product managers es una señal: dentro de uno o dos años, "arreglar el comportamiento de un modelo" podría ser tarea de un agente y no de un equipo de ingenieros de ML.

La conclusión principal es que la interpretabilidad se está convirtiendo en una herramienta práctica. Si la IA realmente sabe encontrar un mecanismo concreto de fallo y corregirlo en los pesos, ya no es un juego académico, sino una nueva forma de mantener modelos. Pero por ahora conviene esperar a que se reproduzca en otros modelos y en benchmarks independientes.