Amazon Bedrock: como a Pushpay aprendeu a controlar as alucinações dos seus agentes

O setor de inteligência artificial vive um período estranho. De um lado, vemos demos incríveis de agentes autônomos que supostamente poderiam substituir departamentos inteiros. De outro, qualquer desenvolvedor que tentou levar um LLM para produção real conhece o segredo sujo: esses modelos são catastroficamente instáveis. Um espaço a mais no prompt ou uma atualização de versão do modelo pelo provedor pode transformar um produto que funciona em um gerador de besteiras aleatórias. Foi esse problema que a Pushpay tentou resolver, escolhendo o Amazon Bedrock como base. O caminho dela não é apenas uma história de sucesso, mas um manual de sobrevivência para quem quer construir um negócio com IA, e não brinquedos.

O problema da maioria dos projetos de IA atuais é a falta de um sistema de avaliação sensato. Os desenvolvedores costumam confiar no chamado "vibe check": revisam à mão cinco ou dez respostas do modelo e, se parecerem decentes, mandam o código para o ar. Mas quando o produto processa milhares de transações ou interage com clientes reais, essa abordagem vira uma aposta perigosa.

A Pushpay percebeu isso cedo e decidiu que precisava de um pipeline automatizado que verificasse a qualidade da geração com o mesmo rigor com que o código comum é verificado por testes unitários. O Amazon Bedrock deu acesso a diferentes modelos por meio de uma única API, mas a verdadeira mágica estava em criar um framework de avaliação próprio.

A equipe da Pushpay se concentrou em criar ciclos de feedback rápido. Em vez de esperar a opinião dos usuários, incorporou um sistema contínuo de controle de qualidade (QA) diretamente ao processo de desenvolvimento. Isso permitiu iterar muitas vezes mais rápido. Se uma nova versão do agente começava a "alucinar" ou dar respostas menos precisas, o sistema detectava na hora. Essa abordagem muda o próprio paradigma do desenvolvimento: você deixa de tratar a IA como uma caixa-preta mágica e passa a trabalhar com ela como um sistema de engenharia, cujos parâmetros podem e devem ser medidos.

Por que isso importa para todo o mercado agora? Estamos saindo dos chatbots simples para sistemas "agênticos", que tomam decisões e executam ações em nome do usuário. Nessas condições, o custo de um erro aumenta muito. A experiência da Pushpay mostra que a infraestrutura da AWS e as ferramentas do Bedrock permitem montar um sistema de proteção que minimiza os riscos. A empresa não se limitou a usar um modelo pronto da Anthropic ou da Meta*, e criou uma camada de verificação em volta dele. Essa é a parte "chata" da revolução da IA, da qual raramente se fala nas redes sociais, mas que separa as startups que sobrevivem das que fecham após a primeira grande falha.

Ao analisar esse caso, fica claro que, nos próximos anos, a vantagem competitiva não será de quem tem o maior modelo, mas de quem tem o melhor sistema de avaliação de dados. O Amazon Bedrock funciona aqui como um canivete suíço prático, mas a mão que o empunha precisa saber exatamente o que está medindo. A Pushpay provou que, mesmo em uma área tão volátil quanto a IA generativa, é possível alcançar previsibilidade. Isso exige disciplina e abrir mão da fé na "mágica" dos algoritmos em favor de números e métricas secos.

O principal: a era de confiar na IA "na palavra" acabou oficialmente. O futuro é das empresas que investem em ferramentas de avaliação e controle de modelos com o mesmo afinco que no próprio desenvolvimento. Você está disposto a admitir que seu agente pode errar e a construir um sistema que o pare a tempo?

*A Meta é considerada organização extremista e está proibida na Federação Russa.