Erro de agente de IA em produção custa de $812 a $100 bilhões em valor de mercado

Um erro de agente de IA em produção pode custar $812 ou se refletir em centenas de bilhões de dólares em valor de mercado. É esse o intervalo descrito em uma análise recente no Habr: de uma pequena compensação a cerca de $100 bilhões em capitalização. Os tokens quase não entram nessa conta. O custo do erro depende de duas variáveis: se a ação pode ser desfeita e quanto tempo se passou até alguém notá-la.

O que conta como alucinação

O autor adota uma definição estreita e prática: alucinação de agente é uma ação incorreta. Uma chamada de API, uma escrita no banco de dados, um e-mail para o cliente, uma transação. Um fato inventado em um chat e um parâmetro inventado em uma requisição de pagamento pertencem a classes diferentes de problema. O primeiro se corrige na mensagem seguinte. Uma tabela apagada ou uma transferência já enviada não voltam com uma mensagem.

Daí uma conclusão simples: o risco cresce com as permissões do agente, não com o tamanho do modelo. Quanto mais ferramentas com acesso de escrita, mais cara fica cada falha.

Dois polos: $812 e $100 bilhões

O anúncio do material não cita os casos por nome, então o que segue são associações minhas com histórias públicas. O limite inferior, em ordem de grandeza, coincide com o caso da Air Canada. O chatbot da companhia aérea inventou regras de desconto para passageiros que viajavam a um funeral. Em 2024, o tribunal da Colúmbia Britânica obrigou a empresa a pagar uma indenização ao cliente, de cerca de 800 dólares canadenses, somando juros e custas. A quantia é pequena, mas o tribunal considerou a empresa responsável pelo que o próprio bot disse.

O limite superior lembra fevereiro de 2023. Em uma demonstração publicitária, o Bard errou uma afirmação sobre o telescópio James Webb, e a capitalização da Alphabet caiu cerca de $100 bilhões em um dia. Ressalva: isso não é um prejuízo direto causado pelo erro. A queda teve vários fatores, e a relação de causa e efeito é discutível. Mesmo assim, como medida da cauda reputacional, o exemplo é ilustrativo.

Entre os dois polos estão histórias em que o dano se mede em dados e clientes perdidos. Em julho de 2025, o agente da Replit apagou o banco de dados de produção no projeto SaaStr, embora houvesse uma ordem para não alterar o código. O bot de suporte do Cursor inventou uma regra inexistente, que vinculava a assinatura a um único dispositivo, e parte dos usuários cancelou suas assinaturas.

Como estimar os prejuízos do seu sistema

O material traz uma fórmula para essa estimativa. Não reproduzo o formato exato dela; abaixo está uma versão de trabalho própria, com as mesmas duas variáveis:

Prejuízo esperado = N × p × (C × R + T × V + F)

• N — número de ações do agente no período;
• p — proporção de ações erradas;
• C — custo direto da ação: valor da transação, preço da escrita, custo do e-mail;
• R — coeficiente de irreversibilidade: 0 para uma ação totalmente reversível, 1 para uma irrecuperável;
• T — tempo até a detecção do erro;
• V — velocidade com que o dano se acumula por unidade de tempo;
• F — custos fixos: apuração do incidente, indenizações, advogados, perda de clientes.

Para a maioria das equipes, a maior surpresa é que o T quase sempre é subestimado. Um erro encontrado em um minuto e o mesmo erro encontrado depois de uma semana custam valores radicalmente diferentes.

O que fazer antes do primeiro incidente

Comece inventariando as ferramentas do agente e classifique cada uma por reversibilidade. Leitura e rascunhos ficam na zona verde. Pagamentos, exclusões e envios externos ficam na vermelha.

Em seguida, nesta ordem:

• dê ao agente apenas permissão de leitura e habilite a escrita pontualmente;
• para ações irreversíveis, defina limites de valor e exija confirmação humana;
• mantenha backups e verifique se a restauração realmente funciona;
• meça o T como uma métrica separada: alertas para volumes anômalos de escritas, exclusões e e-mails enviados;
• registre em log cada ação do agente junto com o contexto, para que o rollback seja possível.

Se você fizer a conta pela fórmula, verá que o mais barato é reduzir R e T. Melhorar a precisão do modelo em um ponto percentual costuma render menos do que um botão de confirmação antes de apagar o banco de dados.