Investigadores de la UCAS enseñan a los LLM-agentes débiles a manejar habilidades: hasta +14,1 puntos sin reentrenamiento

Los harness agénticos que acumulan experiencia de ejecuciones pasadas y reescriben sus propias «habilidades» se consideran una forma económica de mejorar a los LLM-agentes sin reentrenar los pesos del modelo. Investigadores de la Universidad de la Academia China de Ciencias (Zhihao Yang, Haojin Wang, Juncheng Wu y coautores, con Xianpei Han como autor principal) comprobaron si este enfoque beneficia por igual a todos los modelos. La respuesta es no. En siete modelos y tres benchmarks, encontraron 103 pares de «tarea-habilidad» en los que la misma habilidad eleva a GPT-5.6-luna en 31,1 puntos y hunde a Gemma-4-E4B en 8,8.

Una habilidad que el modelo débil no puede ejecutar

La explicación intuitiva sería que al modelo débil simplemente le falta conocimiento. Los datos dicen lo contrario. En el 86% de las ejecuciones fallidas del modelo débil, el requisito que incumplió ya estaba escrito explícitamente en la habilidad. El modelo lo había visto y no pudo aplicarlo. La instrucción estaba redactada a un nivel que el ejecutor no es capaz de implementar: una cadena de acciones demasiado larga, suposiciones implícitas o un uso complejo de herramientas.

Esto cambia el planteamiento del problema. Si una habilidad desarrollada por un modelo potente se transfiere tal cual a uno débil, puede empeorar el resultado. Y si un modelo débil escribe su propia habilidad a partir de sus propias trayectorias, tiende a fijar formulaciones que no puede ejecutar. Lo que se necesita es adaptar la habilidad al ejecutor: el mismo significado, pero en una forma que el modelo sea capaz de cumplir.

La metahabilidad como instrucción de reescritura

Los autores clasificaron los fallos de los ejecutores débiles en cuatro categorías:

• ejecución de herramientas (tool execution);
• gestión del contexto (context management);
• seguimiento de instrucciones (instruction following);
• verificación del resultado (verification).

A partir de estos diagnósticos, construyeron una metahabilidad fija: un conjunto de principios para reescribir una habilidad de modo que sea más fácil de ejecutar. En el primer experimento, Kimi-K3 actuó como reescritor, adaptando las habilidades sin acceso a las trazas de ejecución, basándose únicamente en la metahabilidad. Tres ejecutores débiles superaron a sus habilidades originales entre 5,1 y 14,1 puntos.

Cinco rondas de autoevolución

Después, los investigadores integraron la metahabilidad en el propio ciclo de autoevolución. Durante cinco rondas, cada modelo corrige su propia habilidad a partir de las trayectorias de ejecución y la retroalimentación del verificador. Se probaron siete ejecutores, desde Gemma-4-E4B hasta Kimi-K2.5. Las puntuaciones finales con la metahabilidad fueron entre 2,0 y 5,1 puntos superiores a las del mismo ciclo sin ella. La mejora se mantuvo de forma constante en todo el rango de modelos, no solo en el extremo débil.

Cifras clave del estudio:

• 7 modelos ejecutores y 3 benchmarks;
• 103 pares de «tarea-habilidad» con efectos divergentes;
• +31,1 puntos para GPT-5.6-luna y −8,8 para Gemma-4-E4B en estos pares;
• 86% de los fallos del modelo débil ocurrieron cuando el requisito ya estaba escrito en la habilidad;
• 4 categorías de fallos usadas para construir la metahabilidad;
• +5,1–14,1 puntos para tres ejecutores débiles tras la reescritura de Kimi-K3;
• 5 rondas de autoevolución y una ganancia de +2,0–5,1 puntos gracias a la metahabilidad.

Qué cambiar en proyectos con agentes

La conclusión práctica para quienes construyen sistemas agénticos es que una biblioteca de habilidades no puede considerarse universal. Si el mismo conjunto de instrucciones se distribuye a modelos de distinta categoría —por ejemplo, un modelo caro para tareas complejas y uno compacto y local para tareas rutinarias—, cada ejecutor necesita su propia versión. La reescritura puede encomendarse a un modelo externo potente siguiendo un conjunto fijo de reglas, lo cual resulta más económico que ejecutar un ciclo completo de autoevolución en un modelo débil.

En segundo lugar, al evaluar harness con autoaprendizaje conviene fijarse no solo en la mejora promedio, sino también en los pares donde la habilidad perjudica el resultado. Son precisamente esos casos los que revelan que una instrucción ha superado las capacidades del ejecutor. El código y la página del proyecto han sido publicados por los autores, de modo que la metahabilidad puede probarse con tareas y modelos propios.