GEPA fait passer la récompense d'un agent deep research de 0,702 à 0,781 sur des sujets inédits

Une équipe de chercheurs a fait tourner l'évolution réflexive de prompts GEPA sur deux prompts système d'un agent deep research multi-agents. Résultat : la récompense de citation sur les sujets mis de côté passe de 0,702 à 0,781. Soit +0,079, avec un intervalle de confiance à 95% de [0,051; 0,107] obtenu par bootstrap. Sur trois seeds, le gain moyen est même plus élevé : 0,107. Une autre trouvaille est tout aussi intéressante. Près de la moitié du prompt gagnant est occupée par un corrigé mémorisé des questions d'entraînement, et ce corrigé n'apporte rien.

Protocole : aucun sujet en commun

L'expérience part d'un problème bien connu de quiconque optimise des prompts sur des tâches factuelles. L'optimiseur lit les exemples d'entraînement et peut simplement recopier les réponses dans le texte du prompt. Le gain sur le jeu d'entraînement ressemble alors à de l'apprentissage, alors qu'il relève de la mémoire. Les auteurs ferment cette échappatoire par un découpage disjoint par sujet : aucun sujet n'apparaît à la fois dans le train, la validation et le test.

Les chiffres clés de l'étude :

• Méthode : GEPA, évolution réflexive de prompts, appliquée à deux prompts système de l'agent.
• Métrique : récompense de citation sur les sujets mis de côté.
• Résultat : 0,702 → 0,781, gain de +0,079, IC [0,051; 0,107].
• Reproductibilité : trois seeds, gain moyen de 0,107.
• Juge : le gain se maintient aussi lorsque l'évaluation est confiée à un juge issu d'une autre famille de modèles.
• Version manuelle : une variante écrite à la main de la recette découverte reproduit l'essentiel du gain.

Un corrigé dans le prompt, qui ne sert à rien

Dans le meilleur prompt, près de la moitié du texte est littéralement une clé de réponses aux questions d'entraînement. La conclusion naturelle : l'optimiseur a triché et mémorisé. Les auteurs l'ont vérifié par une ablation contrôlée. Le contenu du corrigé ne rapporte aucune récompense, même sur les questions d'entraînement qu'il encode. Les réponses apprises restent donc un poids mort que l'évolution a traîné avec elle, et le gain vient d'autre chose.

Le grand écart entre validation et held-out s'explique plus modestement. L'échantillon de validation est petit, le juge est bruité, et sélectionner le meilleur candidat sur un tel signal gonfle l'estimation. C'est un effet de petit échantillon lors du choix du vainqueur, qui n'a rien à voir avec la mémorisation.

Ce qui se transfère réellement

Pour comprendre l'origine du transfert, les auteurs ont modifié le vérificateur. L'ingrédient causal est le retour décomposé : une évaluation selon plusieurs dimensions de qualité plutôt qu'un seul nombre. Si on la réduit à une récompense scalaire unique, le transfert vers les sujets mis de côté devient négatif. Sans analyse des erreurs composante par composante, l'optimiseur comprend moins bien ce qu'il faut corriger et s'ajuste au bruit.

Ce résultat pèse plus lourd en pratique que le gain de 0,079 lui-même. L'optimisation de prompts coûte moins cher que le RL et produit un artefact lisible, mais sans discipline d'évaluation, ses résultats se surestiment facilement. Les auteurs publient les prompts candidats, les diffs le long des lignées d'évolution, les graphiques, les tableaux et l'analyse : chacun peut donc vérifier les conclusions.

Comment auditer les optimiseurs de prompts

Pour les équipes qui optimisent les prompts de leurs agents, l'étude débouche sur une courte checklist. Découpez les données par sujet, pas par exemples tirés au hasard. Lancez au minimum trois seeds et calculez les intervalles de confiance.

Ne faites pas confiance à un vainqueur sélectionné sur une petite validation avec un juge bruité. Faites une ablation : retirez les passages suspects du prompt et regardez si la métrique baisse. Enfin, donnez à l'optimiseur un retour éclaté par dimensions.

Dans cette expérience, une récompense scalaire unique n'est pas seulement moins bonne : elle casse le transfert. Si l'on parvient à décrire la recette à la main, comme l'ont fait les auteurs, mieux vaut la figer dans le prompt système sans relancer l'évolution.