MIT: una copia debilitada enseña a un modelo a razonar, con hasta +13 puntos de precisión

Un equipo del Instituto Tecnológico de Massachusetts ha ideado una forma de mejorar un modelo de razonamiento sin profesor externo, sin soluciones de referencia y sin un entorno que verifique las respuestas. El método se llama WISD. Se toma el modelo original y se crea a partir de él una copia deliberadamente más débil: bien se degradan los pesos con una cuantización más gruesa, bien se eliminan los más pequeños (poda).

Después se entrena el original con la diferencia entre las dos versiones. El resultado más llamativo es el de Qwen3.5-4B.

En HMMT 2025, una competición de matemáticas de nivel olímpico organizada por Harvard y el MIT, su precisión subió del 57,7% al 70,5%. En LiveCodeBench v6, una selección de problemas de programación, pasó del 39,1% al 56,7%.

Por qué debilitar un modelo

La autodestilación, en la que el modelo se enseña a sí mismo, ya es una práctica habitual. Pero los esquemas más populares requieren «información privilegiada»: soluciones de referencia, análisis de expertos o retroalimentación de un entorno. Ese profesor sabe más que el alumno porque ve una pista. Si solo se dispone de un montón de problemas sin respuestas, el esquema no funciona.

Los autores abordan el problema desde el otro extremo. Lo que mejora no es el profesor. El miembro fuerte de la pareja sigue siendo el modelo original, y el compañero débil se crea de forma artificial deteriorando sus pesos. La diferencia en las preferencias de tokens entre ambos indica en qué dirección mejorar la política. Una idea parecida ya aparecía en trabajos sobre «el débil enseña al fuerte». La novedad es que los dos modelos salen del mismo checkpoint.

Cómo funciona técnicamente

El procedimiento consta de varios pasos:

• El modelo original genera soluciones para problemas sin etiquetar. En los experimentos son 3200 problemas, con cuatro respuestas por cada uno.
• Dos modelos congelados, el original y la copia debilitada, evalúan cada token de esas respuestas con el mismo contexto. El token recibe una señal positiva si el original lo considera más probable que la copia débil, y negativa en el caso contrario.
• El alumno parte de los pesos del original y aprende a desplazar la distribución hacia los tokens con mayor razón de probabilidades. Las trayectorias y los dos modelos evaluadores no cambian durante el entrenamiento. En la inferencia trabaja solo el alumno; no hay ninguna copia débil a su lado.

La copia se crea de dos maneras. Ninguna necesita datos de calibración ni ajuste fino:

• Cuantización de baja precisión. Los pesos se dividen en grupos y, dentro de cada uno, los valores se redondean a un número reducido de niveles con un esquema simétrico.
• Poda por magnitud. Dentro de cada grupo se ponen a cero los pesos por debajo de un umbral relativo y, después, la norma de cada fila de salida se restablece al valor original.

Solo se deterioran las proyecciones de atención y de las capas totalmente conectadas, incluidos los expertos en los modelos Mixture-of-Experts. Los embeddings, las cabezas de salida, las normalizaciones y el enrutamiento no se tocan. La arquitectura y el tokenizador siguen siendo los mismos, por lo que las predicciones de la copia se pueden comparar directamente con las del original. Si ambas copias fueran idénticas, no habría señal. El deterioro de los pesos crea una diferencia que depende de cada token concreto.

Qué mostraron los experimentos

El método se probó en cinco modelos de distintas familias y tamaños, densos y MoE: Qwen3-4B, OLMo-3-7B-Think, Qwen3.5-4B, Qwen3.6-27B y Qwen3.6-35B-A3B. Las pruebas son cinco: tres de matemáticas, entre ellas HMMT 2025 y los problemas de la Mathematical Association of America de 2026, y dos de código, entre ellas LiveCodeBench v6. En matemáticas se midió la media de 32 intentos por problema; en código, de cuatro.

• La cuantización elevó la precisión media sobre los modelos originales en 4,0 puntos, y la poda en 5,5.
• Se registró mejora en 21 de 25 pares «modelo — prueba» con cuantización y en 23 de 25 con poda.
• Qwen3.5-4B fue la que más ganó: la media de las cinco pruebas subió 11,3 puntos con cuantización y 13,4 con poda.
• La poda añadió a Qwen3.6-27B una media de 5,2 puntos.
• La cuantización añadió a Qwen3.6-35B-A3B 5,9 puntos. En HMMT 2025 subió del 68,5% al 74,6%, y en LiveCodeBench v6 del 61,8% al 69,5%.

Los autores afirman que, en Qwen3-4B y OLMo-3-7B-Think, ambas variantes son competitivas frente a los métodos OPSD y SDPO, que necesitan soluciones de referencia o retroalimentación. Las medias de WISD en las cinco pruebas superan las cifras publicadas de esos métodos de referencia. Una salvedad importante: la comparación se hace con resultados ya publicados, no relanzando todos los métodos en las mismas condiciones. Se trata de un preprint y todavía no hay verificación independiente.

Qué aporta en la práctica

Para los equipos que ajustan modelos abiertos con sus propios datos, lo interesante es el bajo coste de entrada. Solo hacen falta un checkpoint y un conjunto de problemas sin respuestas. No se necesitan anotadores, ni un entorno verificador, ni un modelo externo potente. Las operaciones sobre los pesos son sencillas y no requieren calibración, y una de las variantes de debilitamiento, la cuantización, ya forma parte de las herramientas habituales de despliegue.

Quedan preguntas abiertas. Los resultados se obtuvieron en matemáticas y código, donde existen criterios claros de corrección. No está claro si el método se trasladará a tareas abiertas que carecen de ellos. Los experimentos se hicieron con modelos de hasta 35 mil millones de parámetros. Los autores han publicado el código en GitHub (jet-ai-projects/WISD), así que ya es posible comprobar las cifras con modelos propios.