TraceForge entrena modelos con «sus propios pensamientos»: +7,1 puntos en MBPP+

El equipo de TraceForge ha propuesto un método de destilación para el caso en que el profesor entrega solo la respuesta y oculta el razonamiento. En lugar de intentar extraer la cadena de pensamiento oculta, el sistema toma el contexto y la respuesta final del profesor y escribe por su cuenta el razonamiento, en el estilo de la familia del modelo alumno. En cinco benchmarks, con el resto de condiciones iguales, las tareas generales apenas mostraron diferencias, pero en programación la ganancia es notable: con las mismas 5 000 preguntas y las mismas respuestas del profesor, HumanEval+ subió 3,7 puntos y MBPP+ 7,1.

Razonamientos cerrados y un atajo frágil

Que una LLM genere datos de entrenamiento para otra sigue siendo una de las formas más versátiles de entrenar modelos. Pero algunos equipos frontier han cerrado ese canal en sus propios sistemas: al exterior sale la respuesta o un resumen breve, sin la traza detallada del razonamiento. Los autores de TraceForge señalan la ironía: esos mismos modelos crecieron destilando conocimiento humano, y destilar un modelo abierto sigue siendo algo habitual. La restricción afecta solo a sus propias salidas.

Trabajos recientes han logrado recuperar los razonamientos ocultos reproduciendo entre modelos los bloques cifrados. El método funciona, pero infringe las condiciones de uso de los proveedores. No se puede construir un producto a largo plazo sobre él, porque cualquier revisión de las reglas o de la protección técnica invalida todo el pipeline.

Generador y crítico: cómo se fabrican pensamientos ajenos con medios propios

TraceForge aborda el problema desde otro ángulo. La entrada es el contexto y la respuesta del profesor, y el razonamiento lo escribe un generador entrenado para reproducir las trazas de la familia de modelos deseada.

El entrenamiento tiene dos etapas. Primero, supervised: el generador aprende a reconstruir las trazas reales de la familia a partir del contexto y la respuesta. Después, adversarial: un crítico aprende a valorar hasta qué punto una traza parece auténtica, y el generador se ajusta a él. El resultado es un generador que, a partir de la respuesta del profesor, escribe el razonamiento como lo habría escrito un modelo de la familia del alumno.

La verosimilitud se midió con un juez independiente, que estima la probabilidad de que la traza sea genuina en una escala de 0 a 1. Los autores subrayan que se trata de puntuaciones de autenticidad, no del porcentaje de soluciones correctas.

• Trazas generadas: 0,68 de media
• Trazas reales: 0,66
• Trazas elegidas por el crítico entre cuatro candidatas: 0,82
• Conjunto de entrenamiento: 5 000 preguntas con las mismas respuestas del profesor
• HumanEval+: +3,7 puntos en el checkpoint final
• MBPP+: +7,1 puntos en el checkpoint final, con la ventaja mantenida en cada checkpoint

Conviene tener presente que el juez mide el parecido con el original. Las trazas generadas obtuvieron 0,68 frente a 0,66 de las reales, lo que solo significa que el juez no las distingue de las auténticas. Esa cifra no dice nada sobre la corrección del razonamiento. En cambio, elegir la mejor de cuatro candidatas eleva la puntuación a 0,82, de modo que el crítico resulta útil no solo en el entrenamiento, sino también como filtro a la salida.

Dónde hay ganancia y dónde no

El experimento está diseñado para que cambie una sola variable. Se compararon cinco corpus de entrenamiento en cinco benchmarks. En tareas generales, los corpus quedaron más o menos igualados. En programación, el razonamiento generado superó al contenido de thinking propio de Fable 5, con las mismas preguntas y las mismas respuestas del profesor.

Por qué ocurre, los autores de momento solo lo suponen: al alumno le resulta más fácil asimilar un razonamiento escrito en el estilo de su propia familia. Si la hipótesis es correcta, lo importante no es la calidad de los pensamientos ajenos, sino su compatibilidad con la forma en que el alumno construye su propia cadena. En código es plausible: la estructura del razonamiento es más rígida y los errores de estilo se notan más en los tests.

Qué cambiar en el pipeline de destilación

Para los equipos que afinan modelos con respuestas de sistemas cerrados, la conclusión es práctica. Que el profesor no ofrezca trazas no es un callejón sin salida, y no hace falta saltarse las restricciones del proveedor. Bastan el contexto y la respuesta, y el razonamiento se puede sintetizar en local y sin infringir las reglas.

Las limitaciones también están claras. No se ha demostrado ganancia en tareas generales: solo apareció en programación. Además, la puntuación de autenticidad sigue siendo un proxy, y sin comprobar la corrección de las trazas en las propias tareas no se debe confiar en ella. Un primer paso razonable: tomar una tarea de código, generar cuatro candidatas por respuesta, elegir la mejor con el crítico y comparar con la muestra base en MBPP+. Si se repite una brecha de unos siete puntos, el cambio a este pipeline compensará.