GEPA eleva la recompensa de un agente de deep research de 0,702 a 0,781 en temas nuevos

Un equipo de investigadores pasó la evolución reflexiva de prompts GEPA por los dos prompts de sistema de un agente de deep research multiagente. El resultado: la recompensa por citación en temas retenidos subió de 0,702 a 0,781. Es un aumento de +0,079, con un intervalo de confianza del 95% de [0,051; 0,107] calculado por bootstrap. Con tres semillas, la mejora media fue incluso mayor: 0,107. Hay además un hallazgo secundario igual de interesante. Casi la mitad del prompt ganador es una hoja de respuestas memorizadas de las preguntas de entrenamiento, y aun así no aporta nada.

Protocolo: ni un solo tema en común

El problema que motivó el experimento les resulta familiar a quienes optimizan prompts en tareas factuales. El optimizador lee los ejemplos de entrenamiento y puede limitarse a escribir las respuestas en el texto del prompt. La mejora en train parece entonces aprendizaje, aunque sea memoria. Los autores cierran esa vía con una partición disjunta por temas: ningún tema aparece a la vez en train, validation y test.

Las cifras clave del trabajo:

• Método: GEPA, evolución reflexiva de prompts, aplicada a dos prompts de sistema del agente.
• Métrica: recompensa por citación en temas retenidos.
• Resultado: 0,702 → 0,781, mejora de +0,079, IC [0,051; 0,107].
• Reproducibilidad: tres semillas, mejora media de 0,107.
• Juez: la mejora se mantiene también cuando evalúa un juez de otra familia de modelos.
• Versión manual: una variante de la receta encontrada, escrita a mano, reproduce en buena medida la ganancia.

Una hoja de respuestas en el prompt que no funciona

En el mejor prompt, casi la mitad del texto es literalmente una clave con las respuestas a las preguntas de entrenamiento. La conclusión natural es que el optimizador hizo trampa y memorizó. Los autores lo comprobaron con una ablación controlada. El contenido de la hoja de respuestas no aporta recompensa ni siquiera en las mismas preguntas de entrenamiento que codifica. Las respuestas memorizadas son lastre que la evolución arrastró consigo, y la mejora procede de otra cosa.

La gran brecha entre validation y held-out tiene una explicación más modesta. La muestra de validación es pequeña, el juez introduce ruido y elegir al mejor candidato con esa señal infla la estimación. Es un efecto de muestra pequeña al seleccionar al ganador, y no tiene relación con la memorización.

Qué es lo que se transfiere

Para entender de dónde viene la transferencia, los autores modificaron el verificador. El ingrediente causal resultó ser la retroalimentación descompuesta: una evaluación por dimensiones de calidad separadas en lugar de un único número. Si se colapsa en una recompensa escalar única, la transferencia a temas retenidos se vuelve negativa. Un optimizador que no analiza los errores por componentes entiende peor qué debe corregir y se ajusta al ruido.

El peso práctico de este resultado es mayor que el de la propia mejora de 0,079. La optimización de prompts es más barata que el RL y produce un artefacto legible, pero sin disciplina de evaluación sus resultados se sobrestiman con facilidad. Los autores publican los prompts candidatos, los diffs por línea evolutiva, los gráficos, las tablas y el análisis, así que cualquiera puede verificar las conclusiones.

Cómo evaluar optimizadores de prompts

Para los equipos que optimizan prompts de agentes, el trabajo deja una lista de comprobación breve. Divida los datos por temas, no por ejemplos aleatorios. Ejecute al menos tres semillas y calcule intervalos de confianza. No confíe en un ganador elegido con una validación pequeña y un juez ruidoso. Haga ablaciones: elimine los fragmentos sospechosos del prompt y compruebe si la métrica cae. Por último, dé al optimizador retroalimentación desglosada por dimensiones. En este experimento, una única recompensa escalar es peor y, además, rompe la transferencia. Si la receta se puede describir a mano, como hicieron los autores, conviene fijarla en el prompt de sistema sin volver a lanzar la evolución.