Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAPI / Produto · Pronto p/ usoVercel Blog→ original

Agente acerta 60% das vezes: chance de pelo menos um pedido certo em cinco é de 99%, mas de cinco certos seguidos cai para 8%

Quando um agente de IA pede um café pela sua API, os logs podem estar todos verdes, mesmo que ele tenha escolhido um latte quente em vez do gelado. A Vercel recomenda executar a mesma tarefa várias vezes e calcular a taxa de sucesso. Na demonstração, o agente acertou em 3 de 5 tentativas, ou seja, 60%: a chance de pelo menos um pedido certo em cinco tentativas é de 99%, mas a de cinco acertos seguidos é de apenas 8%. Se o usuário precisa do resultado certo todas as manhãs, é o segundo número que importa.

Processado por IA de Vercel Blog; editado por Hamidun News
Agente acerta 60% das vezes: chance de pelo menos um pedido certo em cinco é de 99%, mas de cinco certos seguidos cai para 8%
Fonte: Vercel Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalVercel Blog ↗
Editor-chefe
Pass@5 = 99%pelo menos um dos cinco pedidos está correto; pass^5 = 8%: os cinco estão corretos.
Dado-chave #2Testes baratos, sem LLM, formam a base da pirâmide; execuções caras de E2E ficam no topo.
Dado-chave #3O Harbor, dos criadores do Terminal-Bench, executa agentes em contêineres.

Imagine que você criou uma API para pedir café e que o cliente seja um agente de IA, e não uma pessoa. Ele fez o pedido, a requisição foi processada, os logs estão verdes, mas o usuário pediu um latte gelado e recebeu um quente. São justamente esses erros silenciosos que a equipe da Vercel analisa.

O exemplo principal deles: o agente completa a tarefa em 3 de 5 tentativas, ou seja, em 60%. Se você lhe der cinco tentativas, a chance de pelo menos uma delas estar correta é de cerca de 99%. Mas a probabilidade de ele fazer os cinco pedidos seguidos corretamente é de apenas cerca de 8%.

Os dois números estão certos, só que respondem a perguntas diferentes.

O agente também é usuário do seu produto

Se você desenvolve uma API, uma CLI, um servidor MCP ou um SDK, passou a ter um novo tipo de cliente. O agente não viu o seu lançamento nem a sua publicidade, mas percorre o mesmo funil que uma pessoa: encontra o produto, escolhe-o, obtém acesso e tenta resolver a tarefa. Em cada etapa, chega ao fim cada vez menos agentes. A Vercel concentrou-se na última etapa, o sucesso: o agente fez o que foi pedido?

Verificar isso é mais difícil do que parece. As respostas de um LLM mudam de uma execução para outra, então um único teste manual bem-sucedido não prova que a correção funcionou. É preciso um eval: um teste executado muitas vezes, que avalia o resultado antes e depois da alteração.

A Vercel divide os testes para software com agentes pelo número de chamadas ao modelo. Os testes determinísticos não chamam LLM nenhum. Os one-turn evals usam uma única chamada e verificam uma decisão, por exemplo qual comando o agente executa primeiro. Os E2E evals deixam o agente percorrer a tarefa inteira e verificam o resultado final. SWE-bench e Terminal-Bench pertencem a essa categoria. Quanto mais alto o nível, mais caro e lento é o teste, por isso a maior parte deve ser de testes baratos. Mas o sucesso só pode ser verificado no nível mais alto: cada passo isolado parece razoável, e mesmo assim o pedido sai errado.

Café às 8h30: três métricas em vez de uma

No exemplo, o serviço SF Beans aceita pedidos de café em São Francisco pela CLI sfbeans. A solicitação é a seguinte: um latte gelado grande com leite integral, até as 9h, por menos de US$ 8 com impostos e gorjeta. Das quatro cafeterias, só a Valencia Grind atende: na Fog City Roasters a máquina de gelo está quebrada, na 24th St Beans o total sai por US$ 9,27 após impostos e gorjeta, e na Dolores Drip o pedido só fica pronto depois das 9h20.

O teste é montado no Harbor, um framework de código aberto dos criadores do Terminal-Bench. Ele executa os agentes em contêineres, verifica o resultado e registra todas as ações. A checagem confirma se há exatamente um pedido, se a bebida está correta, se o horário é adequado e se o orçamento não foi ultrapassado.

As métricas são estas:

  • Taxa de sucesso: 3 em 5 tentativas dão 60%.
  • Pass@k: a probabilidade de que pelo menos uma das k tentativas seja bem-sucedida. Para cinco tentativas, é cerca de 99%. A métrica responde se o agente consegue, em princípio, realizar a tarefa.
  • Pass^k: a probabilidade de que todas as k tentativas sejam bem-sucedidas. Para cinco, é cerca de 8%. A métrica responde se é possível confiar no agente todas as vezes.

Em uma tabela ilustrativa da Vercel para o Claude Code com Opus 5.5, um usuário que pede café todos os dias úteis recebe pelo menos um pedido errado em 92% das semanas. Para o café da manhã não há repetição possível, por isso a SF Beans otimiza justamente o pass^5. Para um agente de programação com testes, o mais importante é o pass@k: ele vê os próprios erros e tenta de novo. Para o rascunho de um e-mail que uma pessoa lerá de qualquer forma, a taxa de sucesso comum já basta.

Passos, tempo e custo são calculados apenas com as execuções bem-sucedidas, pois as falhas são mais curtas: o agente deixou de fazer algum trabalho, por exemplo não consultou o preço. Na demonstração, uma execução bem-sucedida leva cerca de 9 passos e 3min50s e custa US$ 0,56. Se forem incluídas as falhas pagas, o custo de cada sucesso sobe para US$ 0,78.

Por onde começar

Não é possível cobrir com testes tudo o que um LLM pode fazer com o produto. A Vercel recomenda escolher um resultado importante para os usuários e procurá-lo na observabilidade, nos chamados de suporte e no roadmap. Na SF Beans, o principal foi o chamado "o agente pediu a bebida errada", então a meta passou a ser um pedido correto em todas as tentativas do Claude Code e do Codex, de onde vem a maior parte do tráfego.

O conjunto de tarefas inclui um pedido típico, dois casos de borda (a cafeteria favorita não tem a bebida pedida e um pedido em grupo de seis bebidas por US$ 45) e a situação em que o correto é não pedir nada e informar que não há opções. Nesse último caso, a verificação lê o registro de comandos, no qual o agente não consegue escrever, para confirmar que ele procurou antes de desistir.

A limitação é simples: com cinco tentativas, 100% significa apenas "ainda não observamos falhas". As médias gerais podem esconder uma tarefa que falha com frequência, por isso os resultados devem ser analisados separadamente para cada tarefa. A ordem prática é esta: escolha uma tarefa problemática, execute-a várias vezes e defina a métrica principal de acordo com o custo do erro para o usuário.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre O agente também é usuário do seu produto?

Se você desenvolve uma API, uma CLI, um servidor MCP ou um SDK, passou a ter um novo tipo de cliente. O agente não viu o seu lançamento nem a sua publicidade, mas percorre o mesmo funil que uma pessoa: encontra o produto, escolhe-o, obtém acesso e tenta resolver a tarefa. Em cada etapa, chega ao fim cada vez menos agentes. A Vercel concentrou-se na última etapa, o sucesso: o agente fez o que foi pedido? Verificar isso é mais difícil do que parece.

O que se sabe sobre Café às 8h30: três métricas em vez de uma?

No exemplo, o serviço SF Beans aceita pedidos de café em São Francisco pela CLI sfbeans. A solicitação é a seguinte: um latte gelado grande com leite integral, até as 9h, por menos de US$ 8 com impostos e gorjeta. Das quatro cafeterias, só a Valencia Grind atende: na Fog City Roasters a máquina de gelo está quebrada, na 24th St Beans o total sai por US$ 9,27 após impostos e gorjeta, e na Dolores Drip o pedido só fica pronto depois das 9h20.

O que se sabe sobre Por onde começar?

Não é possível cobrir com testes tudo o que um LLM pode fazer com o produto. A Vercel recomenda escolher um resultado importante para os usuários e procurá-lo na observabilidade, nos chamados de suporte e no roadmap. Na SF Beans, o principal foi o chamado "o agente pediu a bebida errada", então a meta passou a ser um pedido correto em todas as tentativas do Claude Code e do Codex, de onde vem a maior parte do tráfego.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…