Las habilidades para agentes de IA perjudican a los modelos débiles: una metahabilidad recuperó hasta 14 puntos

Las habilidades que mejoran a un modelo fuerte pueden empeorar el resultado de uno débil. Esa es la conclusión de un grupo de diez autores encabezado por Zhihao Yang, en un artículo sobre la autoevolución del arnés (harness) de agentes LLM. Con siete modelos y tres benchmarks, los investigadores encontraron 103 pares «tarea — habilidad» en los que la habilidad sube 31,1 puntos a GPT-5.6-luna y baja 8,8 a Gemma-4-E4B. La solución propuesta, adaptar las habilidades al ejecutor, aportó a los modelos débiles una mejora de entre 5,1 y 14,1 puntos.

Una habilidad, dos efectos opuestos

La autoevolución del arnés responde a un problema práctico. El agente acumula experiencia al ejecutar tareas y la registra en forma de habilidades, es decir, instrucciones de texto, procedimientos y comprobaciones, sin que cambien los pesos del modelo. Este enfoque es más barato que el ajuste fino y los desarrolladores de agentes de programación lo usan mucho.

La premisa principal es que el modelo es capaz de ejecutar lo que dice la habilidad. Los autores lo comprobaron y descubrieron que no siempre se cumple. El efecto de una habilidad depende de las capacidades del ejecutor. Un modelo fuerte sigue una instrucción larga de varios pasos y saca provecho de ella; uno débil pierde el hilo, llama mal a las herramientas y rompe el resto del plan.

El hallazgo más inesperado se refiere a las causas de los fallos. En el 86% de las ejecuciones fallidas de modelos débiles, el requisito incumplido ya estaba escrito en la habilidad. El problema no era que al modelo le faltara saber qué hacer: le faltaba capacidad para llevar la instrucción a la práctica.

Metahabilidad: diagnóstico de cuatro tipos de fallo

De esta observación surgió la idea de adaptar las habilidades: reformular una habilidad existente para que a un modelo concreto le resulte más fácil ejecutarla. Para ello, los autores clasificaron los fallos en cuatro categorías:

• errores de ejecución de herramientas; • errores de gestión del contexto; • incumplimiento de instrucciones; • errores de verificación.

Resumieron los diagnósticos en una metahabilidad fija, es decir, una instrucción sobre cómo reescribir otras instrucciones. Sirve de guía para la adaptación dentro del ciclo de autoevolución.

Primero probaron la metahabilidad con un reescritor externo. Con su ayuda, Kimi-K3 adaptó las habilidades sin acceso a los resultados de ejecución, solo a partir del texto. Tres ejecutores débiles mejoraron entre 5,1 y 14,1 puntos respecto a las habilidades originales.

Cinco rondas de autoevolución

Después integraron la adaptación en un ciclo completo de cinco rondas. En él, cada modelo corrige su propia habilidad a partir de las trayectorias de ejecución y la retroalimentación del verificador. Los ejecutores fueron siete, desde Gemma-4-E4B hasta Kimi-K2.5. La metahabilidad mejoró de forma estable el resultado final entre 2,0 y 5,1 puntos frente al mismo ciclo sin ella.

Cifras clave del estudio:

• 7 modelos ejecutores, 3 benchmarks; • 103 pares «tarea — habilidad» con efecto divergente; • +31,1 puntos para GPT-5.6-luna y −8,8 para Gemma-4-E4B en esos pares; • el 86% de los fallos de los modelos débiles corresponde a requisitos ya escritos en la habilidad; • +5,1–14,1 puntos gracias a la adaptación externa de habilidades por parte de Kimi-K3 para tres ejecutores débiles; • +2,0–5,1 puntos gracias a la metahabilidad en el ciclo de cinco rondas; • 24 páginas, 12 figuras y 4 tablas en el artículo.

Qué cambiar en los pipelines de agentes

Para los equipos que construyen agentes con una mezcla de modelos, la conclusión es directa. La biblioteca de habilidades no se puede copiar entre ejecutores sin comprobarla. Una habilidad depurada en un modelo insignia puede resultar perjudicial al trasladarla a un modelo pequeño como Gemma-4-E4B. Antes del despliegue conviene ejecutarla en el ejecutor de destino y compararla con la versión sin habilidad.

El segundo punto práctico es el coste. La adaptación funciona incluso sin trazas de ejecución: bastan un modelo reescritor fuerte y la metahabilidad. Es una forma cómoda de preparar habilidades para modelos locales baratos, que resultan más rentables de ejecutar. El tercer punto tiene que ver con el diagnóstico. Las cuatro categorías de fallo (herramientas, contexto, seguimiento de instrucciones y verificación) pueden servir como lista de comprobación al analizar los fallos de un agente y al escribir habilidades desde cero. Las formulaciones concretas de la metahabilidad están publicadas en la página del proyecto, y el preprint está disponible en arXiv con el número 2610.33024.