GPT-6 Astra modificó el 0,016% de los pesos de Qwen3.5-0.8B y elevó su precisión en MATH-500 del 7,9% al 48,1%

El trabajo Weight-Space Programming, del que informa el canal de Telegram Neurogen citando a MIT CSAIL, muestra algo inusual: el modelo de frontera GPT-6 Astra puede leer y reescribir directamente los pesos de redes neuronales ajenas. Lo hace sin gradientes ni reentrenamiento, solo con código dentro de un sandbox. El ejemplo más claro es la pequeña Qwen3.5-0.8B (alrededor de 800 millones de parámetros). Astra cambió en ella apenas 131 072 pesos, es decir, el 0,016%, y la precisión del modelo en MATH-500 (un conjunto de 500 problemas de matemáticas de nivel olimpiada) subió del 7,9% al 48,1%.

Cómo Astra curó los bucles de Qwen3.5-0.8B

Los investigadores pidieron a Astra que mejorara Qwen3.5-0.8B en matemáticas. El modelo ejecutó Qwen en Python y observó su comportamiento. Descubrió que la red pequeña entra constantemente en bucles de razonamiento: 85 de las primeras 96 respuestas chocaban con el límite de 32 768 tokens y se cortaban sin llegar a ningún resultado.

Astra localizó entonces el origen del problema en los bloques MLP de las capas 15 y 19 y restó de los pesos una dirección sobrante. En total se modificaron 131 072 parámetros de 800 millones, el 0,016%. Para ello hicieron falta 50 pasadas hacia delante sobre problemas de entrenamiento y una edición manual de los pesos en el sandbox.

Resultados tras la modificación:

• MATH-500: del 7,9% al 48,1%;
• GSM8K (problemas de texto de matemáticas escolares): del 13,8% al 67,1%;
• IFEval (evaluación del seguimiento de instrucciones): del 21% al 62,3%;
• proporción de respuestas que chocaban con el límite de tokens: del 93% al 33%.

La mejora en IFEval tiene una explicación sencilla: los bucles no eran un problema matemático, sino un defecto general del comportamiento del modelo, por lo que también sigue mejor las instrucciones.

Qué más sabe hacer Astra en el espacio de pesos

Los autores mostraron otras tareas que no tienen que ver con las matemáticas:

• a partir de los pesos en bruto, Astra determinó en qué juego se había entrenado una red, sin una lista de opciones, y acertó los 4 casos;
• en modelos de lenguaje pequeños de 7,2 millones de parámetros identificó el idioma y encontró todas las copying heads (cabezas de atención que copian fragmentos del contexto); el resultado coincidió con las mediciones directas;
• en el entorno Kinetix reparó un vehículo que no podía subir una pendiente: modificar el 3,5% de los pesos le permitió superar las 1024 pruebas, cuando antes no superaba ninguna;
• escribió desde cero los pesos para Breakout, Seaquest y Asterix; en Breakout logró 517 puntos, frente a los 25,3 de PPO tras 500 millones de pasos de entrenamiento;
• construyó una red para go de 1,5 millones de parámetros con una sola ejecución de código de 336 líneas.

Dónde termina el hype

Quien resume el trabajo en el canal añade varias salvedades. Astra no enseñó matemáticas a Qwen: eliminó un fallo que impedía al modelo llevar la solución hasta el final. En Gemma 3 270M, que no entra en bucles sino que simplemente calcula mal, el método no funcionó en absoluto. Editar los pesos quita un obstáculo, pero no añade una capacidad.

Técnicamente, esto se parece a un steering vector (un desplazamiento de las activaciones en una dirección concreta), y los pesos ya se editaban a mano antes: basta recordar ROME y la abliteration. La novedad está en otra parte: hasta ahora lo hacía una persona con herramientas especiales, mientras que aquí el propio modelo exploró una red ajena, encontró el problema y lo resolvió.

El resultado se puede comprobar. El checkpoint está publicado en Hugging Face y hay una demo en la que la Qwen base entra en bucles y la versión corregida responde. Además, los investigadores reconstruyeron los pesos verificando los hashes y repitieron la evaluación: en MATH-500 obtuvieron un 51,0%, algo por encima del resultado original. Los logs de todos los experimentos están publicados en GitHub.

Para los profesionales, la conclusión es esta: el diagnóstico y la cirugía puntual de pesos pueden convertirse en una tarea para un agente, sobre todo cuando un modelo pequeño tiene un defecto de comportamiento concreto, como los bucles. Pero no conviene esperar que modificar el 0,016% de los parámetros convierta un modelo débil en uno fuerte: sirve para reparar una avería concreta, no para añadir conocimiento.