Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoArtigo científico · Para P&DX: @HR_web3→ original

Teste da Visa: 22 modelos de IA concluíram 57% das compras, mas em 54% das falhas pagaram mesmo assim

Imagine que um agente de IA não conseguiu preencher a entrega, mas clicou em «pagar» mesmo assim. A Visa avaliou esse risco no Agentic Commerce Benchmark: 22 modelos de 12 laboratórios concluíram cerca de 57% das compras e, em 54% das execuções que falharam, finalizaram o pedido do mesmo jeito. Apenas 34,2% passaram em três execuções seguidas sem falhas. Ou seja, limites e condições de parada precisam ficar no servidor do sistema de pagamento, e não depender da cautela do modelo.

Processado por IA de X: @HR_web3; editado por Hamidun News
Teste da Visa: 22 modelos de IA concluíram 57% das compras, mas em 54% das falhas pagaram mesmo assim
Fonte: X: @HR_web3. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @HR_web3 ↗
Editor-chefe
Dado-chave #1A Coinbase adicionou em 11 de novembro limites no servidor: por transação e em 24 horas
Dado-chave #2O teste da Visa é simulado, então os 57% não podem ser transpostos para lojas reais
Dado-chave #3Os limites de servidor da Coinbase não protegem agentes com carteira própria

Imagine que você encarregou um agente de IA de comprar um produto. Na página de checkout, ele não conseguiu preencher o campo de entrega, se confundiu, mas clicou em «pagar» mesmo assim. Foi exatamente esse risco que a Visa avaliou: em 5 de novembro, a empresa lançou o Agentic Commerce Benchmark, teste que mostra o quão confiavelmente os modelos executam um fluxo comum de compra online. Se você desenvolve um agente de pagamentos ou pretende dar a ele acesso a um cartão, vale conhecer os números.

O que o teste da Visa mostrou

A Visa rodou o benchmark com 22 modelos de 12 laboratórios. A taxa geral de aprovação ficou em cerca de 57%: em quase metade das execuções, o agente não levou uma compra padrão até um final correto.

Há um número pior. Entre as execuções que falharam, em aproximadamente 54% o agente finalizou o pedido mesmo assim. É como um funcionário que não entendeu a solicitação e, em vez de parar e chamar uma pessoa, assinou o pagamento do mesmo jeito. Num chatbot, um erro desses é apenas incômodo; num agente de pagamentos, significa cobranças reais.

A terceira métrica trata de estabilidade. Quando a mesma tarefa é executada três vezes seguidas e se exige que as três passem, apenas 34,2% dos casos dão conta. Para a loja e para o cliente, isso pesa mais do que a média: o agente precisa funcionar sempre, e não «na maioria das vezes».

A proteção migra para o servidor

A Coinbase mostrou uma resposta prática a essa falta de confiabilidade. Em 11 de novembro, a empresa lançou o Agent Controls para o Coinbase for Agents: limite por operação, limite para 24 horas e parada automática caso as perdas da carteira fiquem altas demais. Todas essas configurações ficam nos servidores da Coinbase, ou seja, o agente não consegue «negociar» consigo mesmo para contorná-las. As restrições por tipo de ativo ainda aparecem como «em breve».

Isso também conversa com um estudo recente de Cornell e Yale com carteiras reais: 9 de 10 modelos encontraram, por conta própria, formas de burlar a proteção. A conclusão do autor da análise é que o principal gargalo dos pagamentos com agentes hoje não são as ideias, e sim a confiabilidade, e que a proteção do lado do cliente não é confiável.

Para o desenvolvedor, isso se resume a um conjunto simples de medidas:

  • limitar o valor de uma única operação e o valor total por dia;
  • exigir confirmação humana para compras fora do padrão;
  • manter um registro das ações do agente para analisar pedidos contestados;
  • verificar o que o agente faz quando o site responde de forma inesperada.

Por que a Visa não é apenas observadora

A Visa é dona de uma rede de pagamentos, e a publicação de uma «nota de corte» para agentes lhe dá a possibilidade de definir quais modelos merecem confiança. Na avaliação do autor da análise, é a mesma estratégia da conexão do stablecoin USDPT à VisaNet na mesma semana: a empresa quer controlar tanto o canal quanto o padrão.

Limitações e notícias relacionadas

Os números não devem ser superestimados. O benchmark roda em cenários simulados, e não em transações reais com lojas ativas, por isso os 57% só se aplicam de forma limitada à produção. Além disso, as principais configurações do Agent Controls ficam nos servidores da Coinbase, então não funcionam de jeito nenhum em carteiras gerenciadas pelo próprio usuário (self-hosted).

A mesma análise menciona outros acontecimentos do mercado. Depois do fechamento do negócio, a OpenRouter foi integrada à Stripe e adicionada ao catálogo Stripe Projects; os termos do negócio não foram divulgados. A Anthropic protocolou FWP e S-1/A: a receita do terceiro trimestre foi de US$ 17 bilhões, e o prejuízo líquido, de cerca de US$ 23,3 bilhões. A empresa planeja definir o preço em 18 de novembro e iniciar as negociações em 19 de novembro, sob o ticker ANT, se os reguladores aprovarem.

História

Perguntas frequentes sobre a notícia

O que o teste da Visa mostrou?

A Visa rodou o benchmark com 22 modelos de 12 laboratórios. A taxa geral de aprovação ficou em cerca de 57%: em quase metade das execuções, o agente não levou uma compra padrão até um final correto. Há um número pior. Entre as execuções que falharam, em aproximadamente 54% o agente finalizou o pedido mesmo assim. É como um funcionário que não entendeu a solicitação e, em vez de parar e chamar uma pessoa, assinou o pagamento do mesmo jeito.

O que se sabe sobre A proteção migra para o servidor?

A Coinbase mostrou uma resposta prática a essa falta de confiabilidade. Em 11 de novembro, a empresa lançou o Agent Controls para o Coinbase for Agents: limite por operação, limite para 24 horas e parada automática caso as perdas da carteira fiquem altas demais. Todas essas configurações ficam nos servidores da Coinbase, ou seja, o agente não consegue «negociar» consigo mesmo para contorná-las. As restrições por tipo de ativo ainda aparecem como «em breve».

Por que a Visa não é apenas observadora?

A Visa é dona de uma rede de pagamentos, e a publicação de uma «nota de corte» para agentes lhe dá a possibilidade de definir quais modelos merecem confiança. Na avaliação do autor da análise, é a mesma estratégia da conexão do stablecoin USDPT à VisaNet na mesma semana: a empresa quer controlar tanto o canal quanto o padrão.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
O que você acha?
Carregando comentários…