CRM-Agent-Bench testa 16 agentes de IA: o melhor cumpriu à risca 83,6% das tarefas

Um agente pode soar impecável no chat e, ao mesmo tempo, deixar no CRM um registro corrompido, um status de pedido errado ou um reembolso a mais. O novo benchmark CRM-Agent-Bench avalia justamente essa distância entre o que o agente «disse» e o que ele «fez». Seus autores, Monojit Banerjee, Zhujun Lan e Defu Cao, reuniram 555 tarefas com estado e vários turnos de diálogo em nove domínios de negócio. Os dezesseis sistemas avaliados alcançaram sucesso estrito de 64,32% a 83,60%. O código está publicado no repositório salesforce-misc/crm-agent-bench, e o projeto tem uma página própria.

Contrato em vez do «parece correto»

A maioria dos benchmarks de agentes olha ou para a resposta final, ou para o estado final do ambiente. Para os autores, isso não basta para uma implantação em produção, e eles propõem avaliar quatro dimensões ao mesmo tempo:

• o desfecho, ou seja, o resultado a que o agente chegou;
• a trajetória, ou seja, os passos que ele seguiu;
• a viabilidade operacional: latência e custo;
• o cumprimento das políticas definidas na tarefa.

O CRM é quase ideal para esse tipo de teste: os registros mudam, há regras operacionais por cima deles e um erro tem consequências financeiras. Por isso, cada uma das 555 tarefas vem com seu próprio contrato executável. O contrato é montado a partir de verificações de seis tipos:

• ações que o agente deve executar;
• argumentos das chamadas de ferramentas;
• ordem das operações;
• conteúdo da resposta ao usuário;
• estado-alvo dos dados após o trabalho;
• estado protegido, que não pode ser tocado.

O último item é o mais importante. Um agente que fecha um ticket e, de quebra, sobrescreve o registro de outra pessoa cumpriu o pedido apenas formalmente e, numa empresa real, causou um incidente. No benchmark, o sucesso é definido como uma conjunção estrita: a tarefa só é contabilizada se passarem todas as verificações declaradas especificamente para ela. Não há pontos parciais por «quase certo».

Dezesseis sistemas, teto de 83,6%

O que se avalia não é o modelo isolado, mas o sistema completo: o wrapper do agente, as ferramentas e a lógica de diálogo. Isso se aproxima mais do que as empresas de fato compram e colocam em operação. Além da taxa de tarefas bem-sucedidas, o benchmark registra a cobertura da avaliação, a latência e o custo de cada execução.

Os resultados na versão final verificada são os seguintes: os dezesseis sistemas ficaram na faixa de 64,32% a 83,60% de sucesso estrito. Uma dispersão de quase vinte pontos percentuais indica que as tarefas não estão saturadas e que o benchmark consegue diferenciar os sistemas. Os líderes ficam agrupados, mas divergem bastante em preço e em confiabilidade em alguns domínios. Um sistema pode ser forte em uma área e fraco em outra, e a média esconde isso.

As tarefas são marcadas com 36 tags de capacidades, o que permite analisar as falhas por habilidades e domínios específicos, e não por um número geral. Os autores descrevem o framework como auditável e portável: a estrutura pode ser ampliada à medida que os modelos esbarrarem no teto.

Como usar isso na escolha de um agente

Para as equipes que implantam agentes em suporte, vendas ou back-office, a principal lição é que a precisão da resposta não garante a correção da transação. É preciso avaliar o estado final dos dados, a ordem das ações e a ausência de efeitos colaterais.

A segunda consequência prática: os números devem ser lidos em par, «sucesso mais custo». Se os líderes diferem muito no preço e quase nada na qualidade, escolher a opção mais cara tem pouca justificativa.

A terceira: o percentual final não substitui a análise por domínio. Antes de confiar a um agente pagamentos, reembolsos ou alterações em registros de clientes, vale rodar tarefas do seu próprio perfil e examinar o estado protegido. A estrutura de contratos do CRM-Agent-Bench pode ser transposta para processos próprios: para cada cenário, descrever as ações esperadas, os argumentos admissíveis e os dados que não podem ser tocados.

Há ainda uma limitação: um máximo de 83,6% significa que cerca de uma em cada seis tarefas falha pelos critérios estritos mesmo no melhor sistema. Para processos em que o erro custa dinheiro, isso é pouco sem supervisão humana e mecanismos de reversão.