Agente acerta 60% das vezes: chance de pelo menos um pedido certo em cinco é de 99%, mas de cinco certos seguidos cai para 8%
Quando um agente de IA pede um café pela sua API, os logs podem estar todos verdes, mesmo que ele tenha escolhido um latte quente em vez do gelado. A Vercel recomenda executar a mesma tarefa várias vezes e calcular a taxa de sucesso. Na demonstração, o agente acertou em 3 de 5 tentativas, ou seja, 60%: a chance de pelo menos um pedido certo em cinco tentativas é de 99%, mas a de cinco acertos seguidos é de apenas 8%. Se o usuário precisa do resultado certo todas as manhãs, é o segundo número que importa.
Processado por IA de Vercel Blog; editado por Hamidun News
Imagine que você criou uma API para pedir café e que o cliente seja um agente de IA, e não uma pessoa. Ele fez o pedido, a requisição foi processada, os logs estão verdes, mas o usuário pediu um latte gelado e recebeu um quente. São justamente esses erros silenciosos que a equipe da Vercel analisa.
O exemplo principal deles: o agente completa a tarefa em 3 de 5 tentativas, ou seja, em 60%. Se você lhe der cinco tentativas, a chance de pelo menos uma delas estar correta é de cerca de 99%. Mas a probabilidade de ele fazer os cinco pedidos seguidos corretamente é de apenas cerca de 8%.
Os dois números estão certos, só que respondem a perguntas diferentes.
O agente também é usuário do seu produto
Se você desenvolve uma API, uma CLI, um servidor MCP ou um SDK, passou a ter um novo tipo de cliente. O agente não viu o seu lançamento nem a sua publicidade, mas percorre o mesmo funil que uma pessoa: encontra o produto, escolhe-o, obtém acesso e tenta resolver a tarefa. Em cada etapa, chega ao fim cada vez menos agentes. A Vercel concentrou-se na última etapa, o sucesso: o agente fez o que foi pedido?
Verificar isso é mais difícil do que parece. As respostas de um LLM mudam de uma execução para outra, então um único teste manual bem-sucedido não prova que a correção funcionou. É preciso um eval: um teste executado muitas vezes, que avalia o resultado antes e depois da alteração.
A Vercel divide os testes para software com agentes pelo número de chamadas ao modelo. Os testes determinísticos não chamam LLM nenhum. Os one-turn evals usam uma única chamada e verificam uma decisão, por exemplo qual comando o agente executa primeiro. Os E2E evals deixam o agente percorrer a tarefa inteira e verificam o resultado final. SWE-bench e Terminal-Bench pertencem a essa categoria. Quanto mais alto o nível, mais caro e lento é o teste, por isso a maior parte deve ser de testes baratos. Mas o sucesso só pode ser verificado no nível mais alto: cada passo isolado parece razoável, e mesmo assim o pedido sai errado.
Café às 8h30: três métricas em vez de uma
No exemplo, o serviço SF Beans aceita pedidos de café em São Francisco pela CLI sfbeans. A solicitação é a seguinte: um latte gelado grande com leite integral, até as 9h, por menos de US$ 8 com impostos e gorjeta. Das quatro cafeterias, só a Valencia Grind atende: na Fog City Roasters a máquina de gelo está quebrada, na 24th St Beans o total sai por US$ 9,27 após impostos e gorjeta, e na Dolores Drip o pedido só fica pronto depois das 9h20.
O teste é montado no Harbor, um framework de código aberto dos criadores do Terminal-Bench. Ele executa os agentes em contêineres, verifica o resultado e registra todas as ações. A checagem confirma se há exatamente um pedido, se a bebida está correta, se o horário é adequado e se o orçamento não foi ultrapassado.
As métricas são estas:
- Taxa de sucesso: 3 em 5 tentativas dão 60%.
- Pass@k: a probabilidade de que pelo menos uma das k tentativas seja bem-sucedida. Para cinco tentativas, é cerca de 99%. A métrica responde se o agente consegue, em princípio, realizar a tarefa.
- Pass^k: a probabilidade de que todas as k tentativas sejam bem-sucedidas. Para cinco, é cerca de 8%. A métrica responde se é possível confiar no agente todas as vezes.
Em uma tabela ilustrativa da Vercel para o Claude Code com Opus 5.5, um usuário que pede café todos os dias úteis recebe pelo menos um pedido errado em 92% das semanas. Para o café da manhã não há repetição possível, por isso a SF Beans otimiza justamente o pass^5. Para um agente de programação com testes, o mais importante é o pass@k: ele vê os próprios erros e tenta de novo. Para o rascunho de um e-mail que uma pessoa lerá de qualquer forma, a taxa de sucesso comum já basta.
Passos, tempo e custo são calculados apenas com as execuções bem-sucedidas, pois as falhas são mais curtas: o agente deixou de fazer algum trabalho, por exemplo não consultou o preço. Na demonstração, uma execução bem-sucedida leva cerca de 9 passos e 3min50s e custa US$ 0,56. Se forem incluídas as falhas pagas, o custo de cada sucesso sobe para US$ 0,78.
Por onde começar
Não é possível cobrir com testes tudo o que um LLM pode fazer com o produto. A Vercel recomenda escolher um resultado importante para os usuários e procurá-lo na observabilidade, nos chamados de suporte e no roadmap. Na SF Beans, o principal foi o chamado "o agente pediu a bebida errada", então a meta passou a ser um pedido correto em todas as tentativas do Claude Code e do Codex, de onde vem a maior parte do tráfego.
O conjunto de tarefas inclui um pedido típico, dois casos de borda (a cafeteria favorita não tem a bebida pedida e um pedido em grupo de seis bebidas por US$ 45) e a situação em que o correto é não pedir nada e informar que não há opções. Nesse último caso, a verificação lê o registro de comandos, no qual o agente não consegue escrever, para confirmar que ele procurou antes de desistir.
A limitação é simples: com cinco tentativas, 100% significa apenas "ainda não observamos falhas". As médias gerais podem esconder uma tarefa que falha com frequência, por isso os resultados devem ser analisados separadamente para cada tarefa. A ordem prática é esta: escolha uma tarefa problemática, execute-a várias vezes e defina a métrica principal de acordo com o custo do erro para o usuário.
- 21 de nov. de 2026Anthropic fechou a primeira semana na bolsa com valuation de US$ 1,6 trilhão, mas caiu 8,5% em um único dia
- 21 de nov. de 2026Thinking Machines lança Inkling 2 Mini: 26 bilhões de parâmetros e 20,1 pontos no AA Index
- 21 de nov. de 202615 subagentes do Claude Code construíram um sistema para uma oficina, mas o lançamento é aprovado por um agente sem permissão de edição
- 21 de nov. de 2026Matemático da Anthropic afirma que o Claude ajudou a provar a hipótese de Riemann em seis semanas
Perguntas frequentes sobre a notícia
O que se sabe sobre O agente também é usuário do seu produto?
Se você desenvolve uma API, uma CLI, um servidor MCP ou um SDK, passou a ter um novo tipo de cliente. O agente não viu o seu lançamento nem a sua publicidade, mas percorre o mesmo funil que uma pessoa: encontra o produto, escolhe-o, obtém acesso e tenta resolver a tarefa. Em cada etapa, chega ao fim cada vez menos agentes. A Vercel concentrou-se na última etapa, o sucesso: o agente fez o que foi pedido? Verificar isso é mais difícil do que parece.
O que se sabe sobre Café às 8h30: três métricas em vez de uma?
No exemplo, o serviço SF Beans aceita pedidos de café em São Francisco pela CLI sfbeans. A solicitação é a seguinte: um latte gelado grande com leite integral, até as 9h, por menos de US$ 8 com impostos e gorjeta. Das quatro cafeterias, só a Valencia Grind atende: na Fog City Roasters a máquina de gelo está quebrada, na 24th St Beans o total sai por US$ 9,27 após impostos e gorjeta, e na Dolores Drip o pedido só fica pronto depois das 9h20.
O que se sabe sobre Por onde começar?
Não é possível cobrir com testes tudo o que um LLM pode fazer com o produto. A Vercel recomenda escolher um resultado importante para os usuários e procurá-lo na observabilidade, nos chamados de suporte e no roadmap. Na SF Beans, o principal foi o chamado "o agente pediu a bebida errada", então a meta passou a ser um pedido correto em todas as tentativas do Claude Code e do Codex, de onde vem a maior parte do tráfego.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.