Pesquisadores da SAP ensinam agentes de IA a não oscilar entre diferentes soluções para a mesma tarefa

Se você pedir a um agente de IA com acesso a ferramentas (busca, bancos de dados, APIs) para resolver a mesma tarefa várias vezes, ele pode agir de forma diferente a cada tentativa: chamar funções distintas, dar respostas contraditórias ao usuário ou chegar ao resultado por caminhos diferentes. Para um chatbot cotidiano, isso é um incômodo pequeno, mas para um agente que trabalha com dados médicos ou escreve código em várias etapas, essa imprevisibilidade é um problema sério: um erro em uma etapa se acumula e desvia toda a solução.

O autor do trabalho, Harshavardhan Abhichandani, da SAP, notou que os métodos existentes para avaliar agentes quase sempre medem apenas uma coisa: se o agente resolveu a tarefa ou não. Quase ninguém perguntava sobre a estabilidade do comportamento — se o agente se comporta da mesma forma de uma execução para outra. Nem mesmo reduzir a temperatura de geração a zero (modo determinístico) resolve: respostas aleatórias de ferramentas, do ambiente ou mesmo detalhes técnicos, como a precisão de cálculo na GPU, continuam desestabilizando o comportamento do agente ao longo de uma sequência longa.

Como funciona o método RSD

A ideia se inspira na teoria do aprendizado por reforço, especificamente no conceito de bissimulação — uma forma de comparar dois estados de um sistema com base em quão parecido será o comportamento futuro deles, em vez de como eles se apresentam agora. O autor adaptou essa ideia para agentes conversacionais:

• O agente é executado duas vezes consecutivas a partir do mesmo ponto exato da conversa (o mesmo histórico de mensagens e ações).
• Em cada etapa, compara-se não o texto, mas o significado das duas respostas do agente, usando um modelo de inferência em linguagem natural (NLI), que determina se duas afirmações se contradizem, coincidem em significado ou simplesmente não têm relação.
• A divergência na etapa atual é combinada (com um peso decrescente) com a divergência esperada em todas as etapas seguintes, gerando uma fórmula recursiva semelhante à usada no aprendizado por reforço para calcular a recompensa futura acumulada.
• Como é impossível calcular essa soma de forma exata para um modelo de linguagem — que funciona como uma caixa-preta sobre um espaço enorme de conversas possíveis —, o autor treina uma rede neural separada que estima essa divergência de forma aproximada, usando aprendizado por diferenças temporais (TD-learning), semelhante ao treinamento de uma função Q.

O resultado é um único número para cada estado da conversa: uma pontuação de quão "previsível" será o comportamento futuro do agente. Se o agente sempre escolhe a mesma ferramenta com os mesmos argumentos (mesmo que com outras palavras), a pontuação tende a zero — ele é totalmente consistente. Se o agente alterna entre diferentes estratégias e se contradiz, a pontuação aumenta.

A principal consequência prática: na fase de inferência, calcular essa pontuação exige apenas uma única passagem do modelo — sem necessidade de execuções repetidas, comparações ou chamadas ao NLI. Isso significa que a avaliação de estabilidade pode ser incorporada ao fluxo de trabalho do agente sem gerar sobrecarga significativa.

O que os experimentos mostraram

O autor testou a abordagem em modelos Qwen-2.5 de 3 bilhões e 7 bilhões de parâmetros, em dois benchmarks para agentes com ferramentas: τ-bench e ToolSandbox. Para cada tarefa, foram feitas 8 execuções independentes (sobre 8 exemplos de teste, ou seja, 64 trajetórias por benchmark), para medir de forma confiável a variabilidade do comportamento.

O RSD foi usado como sinal de recompensa adicional durante o ajuste fino dos modelos com o método GRPO (Group Relative Policy Optimization): o modelo era penalizado por alta divergência entre suas próprias execuções repetidas. A comparação foi feita com três alternativas:

• o modelo base do Qwen sem ajuste fino;
• ajuste fino por minimização da entropia de tokens (um método clássico para medir a "confiança" do modelo a partir da distribuição de probabilidades);
• ajuste fino por entropia semântica (agrupamento do significado de uma única resposta, sem considerar etapas futuras);
• ajuste fino supervisionado tradicional (SFT) com dados rotulados.

Resultado: o ajuste fino com RSD reduziu o coeficiente de variação (uma medida da dispersão de resultados entre execuções) nos dois benchmarks, τ-bench e ToolSandbox, com desempenho comparável ao do SFT, mas sem exigir dados de referência rotulados. Ao mesmo tempo, o sucesso final na resolução de tarefas (proporção de tarefas concluídas e velocidade de progresso) não caiu — e, em algumas configurações, até melhorou.

Por que isso importa

Para equipes que constroem agentes baseados em LLM para produção — especialmente em áreas onde o custo de um erro é alto (finanças, medicina, automação de back-office) —, essa é uma ferramenta prática de diagnóstico para avaliar o quão previsível é um agente antes que ele falhe diante de um usuário real. A principal limitação: a abordagem só foi validada em modelos relativamente pequenos (3 bilhões e 7 bilhões de parâmetros) e em dois benchmarks específicos, então sua escalabilidade para modelos maiores e cenários mais diversos ainda precisa ser confirmada. O código foi publicado em acesso aberto no repositório RSD-agent-consistency, no GitHub.