Vercel: agente pediu o café certo em 60% das tentativas, mas cinco vezes seguidas só em 8%
Um agente pode dar como "concluído" um pedido de latte quente quando o cliente queria um gelado: os logs estão limpos, mas o cliente fica insatisfeito. A Vercel propõe executar a mesma tarefa várias vezes e calcular a fração de resultados corretos. Na demonstração, o Claude Code com o Opus 5.5 acertou em 3 de 5 tentativas (60%): a chance de ao menos um pedido correto em cinco tentativas é de cerca de 99%, enquanto a de cinco acertos seguidos é de cerca de 8%. Para um pedido de café que se repete todos os dias, o segundo número é o que mais importa.
Processado por IA de Vercel Blog; editado por Hamidun News
Imagine que você lançou uma API para pedidos de café, mas os clientes são agentes de IA e não pessoas. Um deles registra um pedido "bem-sucedido" de latte quente, embora o usuário tenha pedido um gelado. A requisição foi aceita, os logs estão verdes, o monitoramento não acusa nada, e a pessoa fica sem a bebida que queria.
A Vercel propõe pegar esse tipo de falha com evals: a mesma tarefa é dada ao agente muitas vezes, e conta-se com que frequência o resultado está correto. Em uma execução de demonstração, o Claude Code com o modelo Opus 5.5 concluiu o pedido em 3 tentativas de 5, ou seja, em 60% dos casos.
A chance de obter pelo menos um pedido correto em cinco tentativas é de cerca de 99%, enquanto a chance de obter cinco pedidos corretos seguidos é de apenas cerca de 8%. A seguir, veja de onde vêm esses números e por que o segundo é mais importante para o produto.
Em que um eval difere de um teste comum
Um teste comum responde à pergunta "funcionou ou não". Um eval responde "com que frequência e com que qualidade". Isso é necessário porque as respostas de um LLM mudam de uma execução para outra: uma única execução manual bem-sucedida não prova nada. Para entender se uma correção ajudou, as tarefas devem ser repetidas antes e depois da mudança, e os resultados precisam ser comparados.
A Vercel divide os testes de software agêntico pelo número de chamadas ao modelo. Os testes determinísticos não usam LLM: por exemplo, verificam se o comando de busca retorna apenas as cafeterias certas e se o pagamento debita exatamente o valor calculado. Já o one-turn eval usa uma única chamada e verifica uma decisão, como qual comando o agente executará primeiro.
O E2E-eval usa várias chamadas: o agente percorre a tarefa inteira, e o que se verifica é o resultado final. Quanto mais chamadas, mais caro e mais lento é o teste, por isso a maior parte das verificações deve ficar nos níveis inferiores, baratos. Mas o sucesso depende de toda a cadeia (encontrar a cafeteria, filtrar pelas condições, fazer o pedido), e cada etapa isolada pode parecer razoável.
Por isso, para verificar o sucesso, é preciso um E2E-eval. Benchmarks populares como o SWE-bench e o Terminal-Bench seguem essa lógica.
Exemplo do café: objetivo e métricas
Na demonstração da Vercel, foi usado um serviço fictício chamado SF Beans, com a equipe sfbeans. O pedido do cliente: um latte gelado grande, com leite integral, até as 9:00, por menos de US$ 8 com impostos e gorjeta, para um usuário no bairro Mission. Das quatro cafeterias, três não servem: a Fog City Roasters tem o gerador de gelo quebrado, o latte da 24th St Beans custa US$ 9,27 com impostos e gorjeta, e a Dolores Drip só libera o pedido às 9:20. Só a Valencia Grind serve: US$ 7,42 e pronto às 8:50.
A Vercel recomenda escolher um objetivo estreito: um único resultado que seja importante para os usuários. Ele pode ser identificado no monitoramento, nos chamados de suporte ou no roadmap. No caso da sfbeans, a maioria dos agentes são o Claude Code e o Codex, e a reclamação mais comum é "o agente pediu a bebida errada". O critério de pronto é rigoroso: o pedido está correto em cada tentativa, e não "na maioria das vezes".
São três métricas. A success rate é a fração de tentativas concluídas com sucesso. O pass@k é a chance de pelo menos uma das k tentativas ter dado certo; ele responde se o agente é capaz de fazer aquilo. O pass^k é a chance de todas as k tentativas terem dado certo; ele responde se é possível confiar no agente todas as vezes. Tempo, passos e custo são calculados apenas sobre as tentativas bem-sucedidas, porque as malsucedidas tendem a ser mais curtas: o agente pula etapas, por exemplo não consulta o preço final.
Em cinco tentativas, o agente pediu três vezes na Valencia Grind. Uma vez pulou o cálculo e pediu na 24th St Beans por US$ 9,27, e outra vez escolheu a Dolores Drip, com retirada às 9:20. O cálculo: pass@5 = 1 − 0,4⁵ ≈ 99%, pass^5 = 0,6⁵ ≈ 8%. Com pedidos diários, a pessoa receberá ao menos um café errado em 92% das semanas. Uma tentativa bem-sucedida leva em média cerca de 9 passos e 3 minutos e 50 segundos e custa US$ 0,56, mas, contando as tentativas fracassadas pagas, sai por US$ 0,78 por sucesso.
Qual métrica colocar em primeiro lugar depende do custo do erro. Um café da manhã errado não pode ser refeito, então a sfbeans acompanha o pass^5. Um agente de código com um conjunto de testes pode corrigir a si mesmo a partir do feedback, então para ele serve o pass@k. Um e-mail que a pessoa vai revisar antes de enviar pode ser avaliado com a success rate comum.
Como montar o conjunto de tarefas e o que não esperar
Uma boa tarefa tem uma instrução, um ambiente com o mesmo ponto de partida em cada tentativa, um verificador (uma checagem do estado final, de preferência para cada restrição separadamente) e, opcionalmente, uma solução de referência. O conjunto deve incluir um caso típico, casos de borda e pelo menos uma requisição em que o correto é não fazer nada. No exemplo há quatro tarefas: um pedido comum, "a cafeteria favorita não faz a bebida pedida", um pedido em grupo de 6 bebidas e US$ 45 com um único ponto de retirada, e uma requisição impossível, em que o agente deve informar ao usuário que nada atende ao pedido.
Para esta última, o verificador lê o log de comandos, que o agente não tem permissão de escrever, para confirmar que ele procurou antes de desistir. Tudo isso roda com o Harbor, um framework aberto dos autores do Terminal-Bench: ele executa os agentes em contêineres, verifica os resultados e registra as ações.
Algumas ressalvas. Não é possível cobrir todas as ações que um LLM pode realizar no seu produto, então comece com um problema e um punhado de tarefas. Médias gerais escondem a tarefa que falha o tempo todo, então analise os resultados de cada uma. E com cinco tentativas, 100% significa apenas "ainda não vimos erros", não "nunca erra". Os números do exemplo do café são ilustrativos.
Conclusão prática: pegue a reclamação mais frequente sobre seus agentes, transforme-a em algumas tarefas com verificação automática e execute cada uma várias vezes. Escolha a métrica de acordo com o custo do erro e, para cenários recorrentes, pense na confiabilidade do tipo "toda vez".
- 21 de nov. de 2026Quatro regras de Karpathy para um agente de código em um único arquivo somam 232 mil estrelas no GitHub
- 21 de nov. de 2026Hotel avisou sobre invasão só após 9 dias, e o autor colocou Claude e Codex para caçar vulnerabilidades
- 21 de nov. de 2026A Amazon liberou o agente de IA AWS Quick com Claude de graça; o plano pago Plus custa US$ 25 por mês
- 21 de nov. de 2026GigaChat — 7º no ranking cego em russo, mas 78 pontos Elo atrás do líder
Perguntas frequentes sobre a notícia
O que se sabe sobre Em que um eval difere de um teste comum?
Um teste comum responde à pergunta "funcionou ou não". Um eval responde "com que frequência e com que qualidade". Isso é necessário porque as respostas de um LLM mudam de uma execução para outra: uma única execução manual bem-sucedida não prova nada. Para entender se uma correção ajudou, as tarefas devem ser repetidas antes e depois da mudança, e os resultados precisam ser comparados. A Vercel divide os testes de software agêntico pelo número de chamadas ao modelo.
O que se sabe sobre Exemplo do café: objetivo e métricas?
Na demonstração da Vercel, foi usado um serviço fictício chamado SF Beans, com a equipe sfbeans. O pedido do cliente: um latte gelado grande, com leite integral, até as 9:00, por menos de US$ 8 com impostos e gorjeta, para um usuário no bairro Mission. Das quatro cafeterias, três não servem: a Fog City Roasters tem o gerador de gelo quebrado, o latte da 24th St Beans custa US$ 9,27 com impostos e gorjeta, e a Dolores Drip só libera o pedido às 9:20. Só a Valencia Grind serve: US$ 7,42 e pronto às 8:50.
Como montar o conjunto de tarefas e o que não esperar?
Uma boa tarefa tem uma instrução, um ambiente com o mesmo ponto de partida em cada tentativa, um verificador (uma checagem do estado final, de preferência para cada restrição separadamente) e, opcionalmente, uma solução de referência. O conjunto deve incluir um caso típico, casos de borda e pelo menos uma requisição em que o correto é não fazer nada.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.