HeirCommit descarta hasta un 83% de las actualizaciones dañinas en los LLM autoevolutivos

Un grupo de investigadores ha mostrado que los modelos de lenguaje autoevolutivos tienen un punto débil: la elección de qué versión del modelo pasa a la siguiente ronda. En tareas verificadas, la mayoría de las actualizaciones no aumenta la probabilidad de dar respuestas correctas, pero los ciclos R-Zero, Agent0 y Skill Self-Play las heredan todas. El framework HeirCommit reduce un 68–83% la proporción de actualizaciones dañinas aceptadas respecto a la herencia aleatoria, con la misma proporción de actualizaciones aceptadas. La capa adicional EvoHeir, probada en cuatro modelos base, logra los mejores resultados medios en matemáticas y razonamiento general. Su nota media en matemáticas es un 5,3% superior a la de Agent0, el baseline más fuerte.

Dónde se rompe la autoevolución

El esquema de autoevolución funciona así: el modelo genera tareas por sí mismo, aprende de ellas y entra en la siguiente ronda ya actualizado. Cada ronda exige decidir qué versión del modelo será la heredera. En los ciclos actuales, esa decisión se toma a través de la tarea. Si una tarea parece susceptible de aprendizaje, se admite en el entrenamiento y la actualización resultante se acepta íntegra.

Los autores llaman a este problema la brecha entre selección y actualización (selection-to-update gap). Una tarea que parece susceptible de aprendizaje no tiene por qué producir un cambio útil en los pesos. Según su estimación, la mayoría de las actualizaciones en tareas verificadas no hace que las respuestas correctas sean más probables. Aun así, el ciclo las hereda, y los errores se acumulan de una ronda a otra.

Cómo funcionan HeirCommit y EvoHeir

HeirCommit traslada la decisión de la tarea al propio modelo. Se congela la versión actualizada y se la evalúa con preguntas nuevas. A partir del resultado se decide si se hereda el modelo nuevo o se conserva el actual. Las preguntas nuevas importan porque, con las que se usaron para la selección, la evaluación sale inflada. Los autores llaman a esto efecto de selección (selection-induced optimism) y lo describen de forma analítica.

EvoHeir va un paso más allá y separa los dos canales de herencia: parámetros y experiencia. Un modelo puede no superar la verificación y, aun así, las tareas y trayectorias con las que aprendió siguen siendo útiles. La experiencia actual y la archivada se usan para corregir errores y conservar las soluciones acertadas. La confirmación final llega solo después de ese paso. En palabras de los autores: la experiencia útil se conserva incluso cuando no se hereda el modelo que la generó.

La parte teórica descompone el regret en tres componentes:

• error de selección, cuando se acepta una actualización mala o se rechaza una buena;
• error de absorción, cuando el modelo asimila mal lo que se le ha mostrado;
• error de confirmación, cuando la verificación final introduce su propio ruido.

Los números

• La proporción de actualizaciones dañinas entre las aceptadas con HeirCommit es entre un 68 y un 83% menor que con la herencia aleatoria, con el mismo nivel de aceptación.
• EvoHeir se probó en cuatro modelos base.
• Mejores resultados medios en matemáticas y razonamiento general entre los métodos comparados.
• Mejora de la media en matemáticas: 5,3% respecto a Agent0, el baseline más fuerte.

Comparar con la herencia aleatoria a una proporción fija de aceptación hace que el resultado sea más honesto. La ganancia no se explica porque el método simplemente se haya vuelto más estricto. La cuestión es solo qué actualizaciones concretas pasan el filtro. La mejora del 5,3% se indica como relativa y, según la descripción disponible, no está claro qué benchmarks y modelos entraron en el promedio.

Qué llevarse a la práctica

Si estás construyendo un ciclo de autoaprendizaje para tu modelo o agente, el trabajo deja tres conclusiones prácticas. Primero, no des por hecho que admitir una tarea garantiza una actualización útil: verifica el modelo resultante, y no solo el material con el que aprendió. Segundo, mantén un conjunto aparte de preguntas nuevas para decidir la herencia. Si reutilizas las preguntas con las que se hizo la selección, la evaluación saldrá inflada. Tercero, no deseches la experiencia de las versiones rechazadas. El archivo de trayectorias puede servir para corregir errores y consolidar aciertos, y para ello no hace falta aceptar los pesos candidatos.

Las limitaciones también son evidentes. Las preguntas de evaluación nuevas cuestan cómputo y datos, y los detalles de implementación y la lista completa de benchmarks conviene consultarlos en el propio artículo. Aun así, la idea de separar la elección del futuro modelo de la elección de la tarea de entrenamiento es aplicable a cualquier ciclo autoevolutivo.