GEPA eleva a recompensa de um agente de deep research de 0,702 para 0,781 em temas novos

Uma equipe de pesquisadores passou a evolução reflexiva de prompts GEPA por dois prompts de sistema de um agente multiagente de deep research e obteve um aumento da recompensa por citação em temas retidos, de 0,702 para 0,781. São +0,079, com intervalo de confiança de 95% [0,051; 0,107] por bootstrap. Em três seeds, o ganho médio foi ainda maior: 0,107. Um achado paralelo é igualmente interessante. Quase metade do prompt vencedor é ocupada por um gabarito decorado das perguntas de treino, e esse gabarito não contribui com nada.

Protocolo: nenhum tema em comum

O problema que motivou o experimento é bem conhecido de quem otimiza prompts em tarefas factuais. O otimizador lê os exemplos de treino e pode simplesmente escrever as respostas no texto do prompt. O ganho no treino parece aprendizado, mas é memória. Os autores fecham essa brecha com uma divisão disjunta por tópicos: nenhum tema aparece ao mesmo tempo em treino, validação e teste.

Principais números do trabalho:

• Método: GEPA, evolução reflexiva de prompts, aplicada a dois prompts de sistema do agente.
• Métrica: recompensa por citação em temas retidos.
• Resultado: 0,702 → 0,781, ganho de +0,079, IC [0,051; 0,107].
• Reprodutibilidade: três seeds, ganho médio de 0,107.
• Juiz: o ganho se mantém também quando a avaliação é feita por um juiz de outra família de modelos.
• Versão manual: uma variante da receita encontrada, escrita à mão, reproduz boa parte do ganho.

O gabarito no prompt que não funciona

No melhor prompt, quase metade do texto é literalmente um gabarito com as respostas das perguntas de treino. A conclusão natural é que o otimizador trapaceou e memorizou. Os autores testaram isso com uma ablação controlada. O conteúdo do gabarito não gera recompensa nem nas próprias perguntas de treino que ele codifica. Ou seja, as respostas decoradas são lastro que a evolução carregou consigo, e o ganho vem de outra coisa.

A grande diferença entre validação e held-out tem uma explicação mais modesta. A amostra de validação é pequena, o juiz é ruidoso, e escolher o melhor candidato com base nesse sinal superestima a avaliação. É um efeito de amostra pequena na escolha do vencedor, sem relação com memorização.

O que de fato se transfere

Para entender de onde vem a transferência, os autores alteraram o verificador. O ingrediente causal acabou sendo o feedback decomposto: a avaliação por dimensões separadas de qualidade, em vez de um único número. Se esse feedback é colapsado em uma recompensa escalar única, a transferência para temas retidos fica negativa. Sem a análise dos erros por componente, o otimizador entende pior o que corrigir e se ajusta ao ruído.

O peso prático desse resultado é maior que o do próprio ganho de 0,079. A otimização de prompts é mais barata que RL e entrega um artefato legível, mas, sem disciplina de avaliação, seus resultados são facilmente superestimados. Os autores publicam os prompts candidatos, os diffs por linhagem de evolução, os gráficos, as tabelas e a análise, de modo que é possível verificar as conclusões por conta própria.

Como validar otimizadores de prompts

Para equipes que otimizam prompts de agentes, o trabalho leva a um checklist curto. Divida os dados por tema, e não por exemplos aleatórios. Rode no mínimo três seeds e calcule intervalos de confiança. Não confie em um vencedor escolhido em uma validação pequena com juiz ruidoso. Faça ablação: remova os trechos suspeitos do prompt e veja se a métrica cai. Por fim, entregue ao otimizador um feedback separado por dimensões. Uma recompensa escalar única, neste experimento, piora o resultado e chega a destruir a transferência. Se for possível descrever a receita à mão, como os autores fizeram, vale fixá-la no prompt de sistema sem rodar a evolução de novo.