Corregir un solo eje en los pesos de Qwen sin entrenamiento redujo las respuestas en bucle del 93% al 33%

Imagine que su modelo en producción se queda atascado una y otra vez en el ciclo «espera, lo compruebo otra vez», consume todo el límite de tokens y nunca entrega una respuesta. Lo habitual es corregirlo con ajuste fino. Pero en MIT CSAIL han mostrado otro camino: el modelo GPT-6 Astra editó directamente los pesos de una red neuronal ajena, sin gradientes ni entrenamiento.

En la pequeña Qwen3.5-0.8B, la proporción de respuestas que en problemas de olimpiada caían en una repetición infinita bajó del 93% al 33,1%.

Para lograrlo se modificaron 131 072 pesos en dos capas, y la edición se reduce a invertir una sola dirección. Esta es la segunda parte de un análisis publicado en Habr: el autor explica por qué se rompe el bucle y por qué este método no sirve para añadir una habilidad nueva al modelo. La conclusión práctica para un ingeniero es que, antes de arreglar nada, hay que entender qué le falta al modelo.

Por qué se rompe el bucle

El autor comparó bit a bit el checkpoint base con el publicado. Cambiaron las matrices down_proj de las capas 15 y 19, y la edición tiene rango 1: el 99,999% de su energía está en una sola dirección. Esa dirección no se restó, sino que se invirtió: la componente a lo largo de este eje cambió de signo.

La mecánica se entiende mejor como una votación. En cada paso, el modelo decide si continúa con el mismo fragmento de texto o sale de él: cierra el bloque de razonamiento, escribe la respuesta o cambia de idea. Las capas 15 y 19 aportaban antes el voto «continúa». Tras la edición votan «sal», y la balanza se inclina con más frecuencia hacia la salida. El autor reconoce que esto es una suposición: las capas siguientes podrían compensar parcialmente el desplazamiento.

Comprobó la idea con dos textos: la resolución de una ecuación normal de 220 tokens y un bucle artificial de «Wait, let me check again…» de 397 tokens. En el bucle, los MLP base escribían con más fuerza a lo largo del eje relevante: 1,4 veces más en la capa 15 y 1,9 veces más en la capa 19. Después de la edición, el signo es el contrario. Dos textos son una ilustración, no una estadística, y el autor lo dice expresamente.

La caída del 93% al 33,1% en un modelo simple equivale a un aumento de la probabilidad de salida en cada token de aproximadamente 15 veces. Es un recálculo a partir de las cifras del artículo, no una medición directa. Aun así, explica lo esencial: cuando solo se puede salir del bucle con una probabilidad minúscula en cada paso y hay decenas de miles de pasos, la proporción de respuestas atascadas es muy sensible a esa probabilidad. La autoverificación de Astra también concuerda: 576 de las 579 tareas «rescatadas» eran antes cortes por límite de longitud, y la precisión en las respuestas que ya llegaban al final no cambió.

Un interruptor no enseña

La limitación principal: la proyección no añade nada. La nueva representación se calcula a partir de la antigua, no contiene más información sobre la respuesta correcta y su dimensión no crece. No hay aquí una prohibición estricta: la edición con inversión es reversible, y el cómputo puede hacer la información más accesible. Por eso el autor formula la conclusión fuerte a nivel del modelo. Un eje con una sola escala puede conmutar entre el modo «continuar» y el modo «salir», pero no puede escribir un algoritmo nuevo, por ejemplo una aritmética multidígito correcta.

Esto concuerda con el fracaso en Gemma. Qwen sabía resolver, simplemente no podía detenerse, y la edición eliminó ese obstáculo. En Gemma casi no hay trampa: los errores están repartidos por los propios cálculos y no existe un «interruptor de la incapacidad de calcular». Además, en Gemma 3 270M los embeddings ocupan alrededor del 62,6% de los parámetros, y para las 18 capas del transformer quedan unos 100 millones.

En una tarea de juguete con una red de 171 664 pesos la situación es muy distinta. Allí había que añadir una sola regla del tipo «primero marcha atrás, luego acelera». Se puede escribir a mano con un par «si — entonces» en unidades ReLU, lo que supone unos 5 900 pesos, es decir, aproximadamente el 3,4%. El autor contrasta la estimación con el 3,5% del post: el orden de magnitud es el mismo. A mano se puede escribir lo que se describe en pocas palabras.

Trabajos relacionados y qué llevarse a la práctica

ROME y MEMIT también editan matrices MLP, pero añaden hechos («La Torre Eiffel está en…» con una respuesta nueva), en lugar de eliminar un obstáculo. El método de la «dirección de rechazo» de Arditi y sus colegas ortogonaliza todas las matrices que escriben en el flujo residual. La edición de Astra de 50 ejecuciones es más local: 2 matrices y 64 columnas. La edición de 10 ejecuciones se acerca más a Arditi: 30 matrices.

Para la práctica, el autor aconseja este marco. Si el modelo sabe resolver pero se queda en bucle, una edición puntual de los pesos puede ayudar. Si los errores están en los propios cálculos, no ayudará. Queda además un riesgo: una edición de menos del uno por ciento de los pesos cambia notablemente el comportamiento, y hace falta una edición de control con una dirección aleatoria de la misma norma para distinguir el efecto de las interferencias colaterales. Una edición de rango 1 se ve con facilidad en el diff de dos tensores, pero una repartida entre muchas direcciones es difícil de encontrar.

En la parte de referencia, el autor también analiza la estructura de los pesos. En Llama 3.1 8B, alrededor del 70% de los parámetros están en los MLP. En modelos MoE como Mixtral, Qwen3-30B-A3B y DeepSeek-V3, entre el 95% y el 97% de los pesos están en los expertos, y la edición tendrá que hacerse teniendo en cuenta el router.