SynAct ensina agentes de LLM a pedir dicas onde elas mudam o resultado: +11,7 p.p.

A equipe por trás do SynAct propõe uma nova forma de distribuir o feedback de especialistas para agentes de LLM: não por tarefa, mas por decisão individual dentro da trajetória. Em quatro benchmarks de agentes e quatro modelos de três famílias, o método melhorou a precisão no conjunto held-out em todas as 16 configurações testadas, em média 11,7 ponto percentual. O mesmo sinal também serviu para roteamento na etapa de inferência: o SynAct superou, em 15 de 16 casos, roteadores em cascata, baseados em incerteza e do tipo «especialista-juiz» com orçamento comparável.

Duas razões pelas quais o agente erra

A ideia central do trabalho é simples. Um agente que executa um fluxo de trabalho de várias etapas falha por dois motivos distintos. O primeiro são deslizes aleatórios: uma nova tentativa os corrige. O segundo são lacunas de conhecimento: por mais que se repita a execução, o agente continuará tomando a mesma ação errada. Esse segundo tipo exige um especialista, mas o tempo dele é limitado. Por isso, como formulam os autores, a pergunta não é se devemos pedir feedback, e sim onde ele pode mudar o resultado.

Segundo os autores, as abordagens existentes esbarram em um de dois problemas. Algumas dispensam especialistas, e o agente acaba reforçando os próprios erros. Outras distribuem feedback no nível da tarefa inteira e não identificam quais decisões de fato determinaram o resultado.

Como o SynAct escolhe onde perguntar

O framework trata a atenção do especialista como a principal restrição e opera no nível das decisões individuais. Ele executa a tarefa várias vezes e, para cada decisão, estima a informação mútua entre a ação escolhida e o resultado final. Se o resultado não depende da escolha da ação, a informação é zero, e não há o que perguntar ali. As decisões com maior pontuação vão para o especialista. As correções dele são então transformadas em regras transferíveis, que o agente aplica no trabalho sem ter acesso ao especialista.

Há também uma parte teórica. Com k execuções e pelo menos m observações por ação, decisões com resultado constante têm informação mútua zero, enquanto decisões que separam os resultados têm pelo menos H2(m/k) bits, em que H2 é a entropia binária. Assim, qualquer limiar t no intervalo (0, H2(m/k)) separa essas duas classes com exatidão. Como ilustração: com k = 8 e m = 2, o limite inferior é de cerca de 0,81 bit (cálculo nosso; o resumo do artigo não traz esse exemplo).

Daí também vem a explicação de por que a seleção por taxa de sucesso fica cega quando todas as execuções falham. O sucesso, nesse caso, é constante, embora as execuções malsucedidas cheguem a resultados diferentes. A informação mútua enxerga essas diferenças.

Principais números do trabalho:

• 4 benchmarks de agentes, 4 modelos de 3 famílias, 16 configurações avaliadas;
• aumento da precisão no conjunto held-out em todas as 16, em média +11,7 p.p.;
• roteamento na inferência: vitória sobre roteadores com orçamento comparável em 15 de 16 casos;
• uma correção direcionada rende mais do que sete repetições adicionais não direcionadas.

Onde isso é útil

O último ponto tem peso na prática. A maioria das equipes que coloca agentes em produção combate erros na força bruta: mais tentativas, mais amostras, votação. Os resultados do SynAct indicam que, diante de lacunas de conhecimento, isso é desperdício de computação, e uma única correção pontual compensa mais.

O cenário prático é este: rodar as tarefas várias vezes, calcular para cada passo a relação entre ação e resultado e entregar ao anotador ou ao especialista de domínio apenas o topo da lista. Depois, as correções são reunidas em um conjunto de regras para o agente. As horas de especialista vão para um número limitado de decisões, e o ganho permanece mesmo depois que o especialista sai de cena.

Há também limitações. Trata-se de um preprint no arXiv, cujos resultados ainda não passaram por revisão por pares, e o resumo não traz dados sobre o custo da anotação por especialistas nem sobre o quanto as regras se transferem para além dos quatro benchmarks. Ainda assim, a premissa de tratar a atenção do especialista como um recurso escasso parece uma base sensata para sistemas de agentes em produção.