RGR protege a los LLM de la pérdida de habilidades en la autodestilación mediante la geometría de las representaciones

Un modelo que se enseña a sí mismo sube su puntuación media en los benchmarks y, al mismo tiempo, olvida en silencio tareas que antes resolvía. Es el efecto que han detectado los autores del preprint arXiv:2610.12855 en la familia de métodos de autodestilación on-policy (OPSD). Los mismos autores proponen un remedio: la regularización de la geometría de las representaciones, o RGR.

Cómo funciona OPSD y dónde falla

En OPSD, un mismo modelo de lenguaje desempeña dos papeles: profesor y alumno. Lo único que cambia es el contexto en el que se sitúa. No hace falta un modelo externo más potente para destilar: el modelo obtiene la señal de entrenamiento de sí mismo. Para el posentrenamiento resulta práctico: es más barato, escala con más facilidad y no depende de pesos ajenos.

El coste salió a la luz al analizar el entrenamiento consulta a consulta, y no a partir del resultado medio. Las consultas que el modelo respondía correctamente en las primeras etapas empezaban a resolverse mal a medida que avanzaba la optimización. La métrica global seguía subiendo: las nuevas victorias compensaban las pérdidas y, en la gráfica, todo parecía en orden. Si solo se vigila la media final, el problema pasa fácilmente inadvertido.

La geometría de las representaciones ocultas como indicador

Los autores vinculan la degradación con un cambio en la estructura de las representaciones ocultas. Según sus observaciones, dentro de los clústeres las representaciones se vuelven menos compactas, y los propios clústeres se separan peor entre sí. En pocas palabras, el modelo empieza a «mezclar» lo que antes distinguía y, con ello, pierde parte de sus habilidades anteriores.

RGR se construye sobre esta observación. El método añade una regularización que, durante el posentrenamiento:

• mantiene la compactitud dentro de cada clúster de representaciones;
• conserva la separación entre clústeres;
• se integra en los métodos OPSD existentes sin cambiar su procedimiento básico de optimización;
• ha sido probada en varios métodos OPSD y benchmarks, y su código está abierto en GitHub (repositorio supermachinelearner/RGR).

La conclusión del abstract es cautelosa: RGR atenúa «en general» la degradación y conserva la mejora de capacidades. El texto del abstract no incluye cifras concretas, por lo que la magnitud del efecto solo puede evaluarse con la versión completa del artículo y el propio repositorio.

Qué es relevante y qué sigue sin estar claro

El valor del trabajo está tanto en el diagnóstico como en el método. El olvido durante la automejora se mide a nivel de consultas individuales, y la geometría de las representaciones sirve como proxy medible. Este indicador puede calcularse durante el entrenamiento y detectar la deriva antes de que se resientan los benchmarks.

Quedan abiertas varias preguntas que el abstract no responde: cómo se definen exactamente los clústeres, cuánto cómputo añade el regularizador y cómo se comporta el método con modelos grandes y en ejecuciones largas. La fórmula «en general» también implica que, en algunas combinaciones de métodos y tareas, el efecto puede ser más débil.

Qué comprobar en la práctica

Si su equipo experimenta con autodestilación u otros esquemas de automejora, conviene añadir dos pasos a la evaluación. El primero: seguir no solo la puntuación media, sino también la proporción de consultas que el modelo resolvía en los primeros checkpoints y que después dejó de resolver. El segundo: comparar ejecuciones con RGR y sin él con datos propios. Como el método no modifica el bucle principal de optimización, integrarlo en un pipeline OPSD ya existente debería ser sencillo, y el código abierto permite verificar el efecto declarado antes de decidir si se adopta.