AWS e Artificial Genius mostram como reduzir alucinações de LLMs em finanças e saúde

A AWS, em parceria com a Artificial Genius, mostrou como adaptar grandes modelos de linguagem para tarefas em que o erro é inaceitável. A abordagem se baseia no Amazon Nova e no SageMaker, mas a ideia central não é um novo tamanho de modelo, e sim aproveitar sua compreensão de linguagem sem deixar que ele gere a resposta livremente.

Por que isso é um problema

Para serviços financeiros, saúde, seguros e processos jurídicos, os LLMs comuns ainda parecem arriscados. Eles escrevem, resumem e explicam bem, mas por natureza continuam sendo sistemas probabilísticos: o modelo prevê o próximo token, em vez de extrair um fato garantidamente correto. Daí surgem as alucinações: respostas que soam convincentes, mas não são sustentadas pelos dados de origem. Em um ambiente em que auditoria, reprodutibilidade e responsabilização importam, esse modo de funcionamento combina mal com produção.

Os autores do artigo sugerem enxergar a evolução da IA em três etapas. A primeira onda foi construída sobre lógica simbólica e regras rígidas: eram sistemas determinísticos, mas inflexíveis demais. A segunda onda, que inclui os transformers atuais, deu um salto enorme em fluência e compreensão de linguagem, mas trouxe imprevisibilidade. A Artificial Genius chama sua abordagem de terceira geração: o modelo continua entendendo linguagem natural como um LLM moderno, mas a resposta final passa por uma lógica determinística e não deve ultrapassar o que realmente existe no contexto de entrada.

Como o esquema funciona

A tese central da AWS e da Artificial Genius é esta: um modelo generativo pode ser usado de forma estritamente não generativa. Ou seja, ele não "completa" a resposta pela probabilidade do próximo token, mas verifica se é possível extraí-la do documento e, se não for, recusa-se a responder. Esse modo é especialmente útil para perguntas sobre datas, valores, nomes, trechos de um relatório ou confirmação de um fato específico.

O artigo formula isso de maneira bem direta:

«Se a pergunta não puder ser respondida a partir do documento, o

modelo deve responder: "Unknown"».

• como modelo base, escolheram o Amazon Nova Lite, porque ele se adapta melhor a respostas curtas e precisas, sem conversa desnecessária;
• o ajuste fino é feito no SageMaker via supervised fine-tuning, para que o modelo siga uma única regra do sistema: não inventar nada;
• para o treinamento, usa-se um conjunto sintético de perguntas e respostas, com consultas que podem ser respondidas e outras deliberadamente sem resposta;
• em vez do RAG clássico, que continua sendo generativo, a ênfase está em uma ligação mais estreita entre o texto do documento e a pergunta específica;
• por cima, tudo é empacotado em uma plataforma de agentes, em que uma consulta livre pode ser convertida em uma especificação mais rígida, e a única verificação manual fica na etapa dessa conversão.

Um detalhe importante: os autores contrapõem explicitamente seu método ao conselho habitual de "colocar a temperature em zero". Na visão deles, isso não resolve o problema de fundo, porque o modelo continua gerando. Na versão deles, muda não apenas o grau de aleatoriedade, mas a própria lógica de uso do modelo: a compreensão probabilística é mantida na entrada, e na saída o sistema busca um modo binário: responder apenas com o que o texto confirma ou dizer honestamente que não há resposta.

O que os testes mostraram

Tecnicamente, o esquema parece bem pé no chão, e por isso é interessante. Os dados de treinamento ficam no Amazon S3, o ajuste fino do modelo Nova base roda em SageMaker Training Jobs e, depois, a versão personalizada é importada para o Amazon Bedrock e entregue à aplicação pelo circuito de inferência padrão. Para equipes corporativas, isso importa não só pela conveniência, mas também pela linha transparente de dados: fica mais fácil entender com o que o modelo foi treinado, onde foi alterado e como foi implantado depois em produção.

A equipe também revelou algumas conclusões de engenharia. No fine-tuning, usou LoRA para não quebrar a compreensão básica de linguagem do modelo. Em experimentos anteriores com outro modelo, foi preciso até desligar à força o chain-of-thought por meio do token de serviço `</think>`, porque o raciocínio extenso atrapalhava as respostas curtas e determinísticas. Para a versão com Nova Lite, os autores combinaram LoRA dropout de 50%, early stopping manual e a ampliação do conjunto de dados sintético para 30 mil exemplos. Segundo eles, isso reduziu a taxa de alucinação de percentuais e frações de percentual nas configurações iniciais para 0,03% na melhor variante.

O que isso significa

A história importa não só para usuários da AWS. Ela mostra uma mudança mais ampla: o mercado começa a buscar não simplesmente os LLMs mais "inteligentes", mas modelos com limites de comportamento definidos por engenharia. Para bancos, seguradoras, clínicas e legal techs, é um sinal de que a adoção de IA será cada vez mais construída em torno de verificabilidade, recusa de resposta e fluxos de trabalho controlados, e não em torno de uma geração bonita a qualquer custo.