Las habilidades para agentes de IA no son universales: los modelos débiles necesitan su propia versión del prompt

Las habilidades para agentes de IA no son universales: los modelos

débiles necesitan su propia versión del prompt

Un grupo de investigación de la Universidad de la Academia China de Ciencias, UC Santa Cruz, la Universidad Nacional de Singapur y el Instituto de Software de la Academia China de Ciencias ha identificado un problema poco evidente en los agentes de IA con autoaprendizaje: las instrucciones que un agente redacta para sí mismo tras completar tareas —conocidas como "habilidades" (skills)— no ayudan por igual a todos los modelos.

La idea detrás de la evolución autónoma del harness (harness self-evolution) es que el agente, sin tocar sus propios pesos, acumule experiencia en forma de instrucciones de texto y las consulte al enfrentar tareas similares más adelante. Analizando tres benchmarks y siete modelos de distinto nivel, el equipo encontró 103 pares de tarea más habilidad donde el efecto de una misma indicación divergía drásticamente: GPT-5.6-luna ganó 31,1 puntos al usarla, mientras que el más débil Gemma-4-E4B perdió 8,8 puntos frente a no tener ninguna instrucción. Es decir, la instrucción no solo resultaba inútil para el modelo débil: lo empeoraba activamente.

Por qué los modelos débiles fallan aunque tengan la instrucción delante

Los investigadores revisaron los registros de las ejecuciones fallidas y descubrieron que el problema no era la falta de información. En el 86% de los casos, el modelo débil incumplía un requisito que estaba explícitamente escrito en la habilidad: simplemente no lograba orientarse con él. Los fallos se agruparon en cuatro patrones recurrentes:

• Confusión con las herramientas: el agente intenta invocar una herramienta inexistente, confunde un archivo con una herramienta, o se detiene tras un error sin intentar sortearlo.
• Pérdida del contexto de la tarea: el agente se distrae con los ejemplos y materiales de referencia incluidos en la habilidad, olvidando la tarea real, o guarda el resultado en un lugar equivocado.
• Cumplimiento parcial de las instrucciones: el agente completa varios pasos y entrega un resultado, pero solo satisface parte de los requisitos explícitos de la habilidad.
• Falta de verificación: quedan errores en la respuesta final porque el agente nunca relee ni recalcula el resultado por otra vía.

Una meta-habilidad como plantilla universal para reescribir instrucciones

Para solucionarlo, los investigadores usaron Claude-Opus-5 como asistente para redactar una "meta-habilidad": un protocolo fijo e independiente de la tarea para reescribir instrucciones. Exige: separar claramente en la instrucción las herramientas reales de los documentos, describir de antemano las comprobaciones del entorno y los errores habituales; comenzar la habilidad con la formulación de la tarea del usuario, los límites de los cambios permitidos y la ruta donde guardar el resultado, separando esto explícitamente de los ejemplos; formular cada requisito con una forma explícita de verificar su cumplimiento; y cerrar la habilidad con un paso de autocomprobación independiente: releer el resultado, recalcularlo por otra vía, compararlo con un umbral y repetir si es necesario.

Probaron el efecto en dos modos. El primero, sin registros de ejecución: el potente reescritor Kimi-K3 recibía únicamente la tarea, la habilidad original y la lista de herramientas disponibles para el ejecutor, y reescribía la habilidad siguiendo la meta-plantilla. El resultado: tres ejecutores débiles (Qwen3.6-flash, Gemma-4-E4B, Qwen3.5-9B) mejoraron entre 5,1 y 14,1 puntos respecto a la instrucción original. Como comparación, si a ese mismo Kimi-K3 se le daba solo una frase genérica —"reescribe esto para que funcione con todos los modelos"— sin la meta-habilidad, la mejora era notablemente menor e inestable: Qwen3.5-9B incluso bajó un poco. La meta-habilidad añade entre 5,1 y 6,0 puntos adicionales, más de la mitad de la ganancia total.

Autoaprendizaje en bucle: el modelo reescribe su propia instrucción

El segundo modo fue un ciclo más realista de cinco rondas, en el que el propio modelo ejecuta la tarea y reescribe su propia instrucción a partir del registro de ejecución y la respuesta del verificador. Los resultados aquí son reveladores: sin la meta-habilidad, la reescritura autónoma apenas ayuda a los modelos débiles y es inestable —Qwen3.5-9B alcanza su pico en la tercera ronda y luego cae casi hasta el nivel inicial—, mientras que el modelo más débil, Gemma-4-E4B, permanece por debajo de la línea base en todas las rondas.

Con la meta-habilidad el panorama cambia: los siete modelos evaluados —desde Gemma-4-E4B hasta el líder Kimi-K2.5— superan a la versión sin meta-habilidad para la quinta ronda, con una diferencia de entre 2,0 y 5,1 puntos.

La conclusión práctica para los equipos que construyen agentes con instrucciones autoevolutivas es clara: no hay que asumir que una misma habilidad resulta igual de útil para distintos ejecutores combinados con modelos distintos —uno con un modelo insignia potente y otro con un modelo abierto compacto—. Si un proyecto usa modelos de distintos niveles, conviene adaptar las instrucciones por separado en lugar de copiarlas palabra por palabra; de lo contrario, el modelo débil puede terminar rindiendo peor que si nunca hubiera recibido ninguna instrucción.