Por que os modelos de OpenAI, Google e Anthropic estão mais convincentes, mas erram mais

O principal problema dos maiores laboratórios de IA hoje não é que seus modelos soem pouco convincentes, mas que, por trás de uma apresentação confiante, escondem-se cada vez mais erros de nível superior. Nos últimos dois anos, OpenAI, Google e Anthropic tentam resolver isso aumentando a computação durante a resposta: adicionam cadeias de raciocínio, busca entre várias opções, autoverificação e mais tokens por consulta. De fora, parece progresso. Mas, se o modelo base não ficou mais preciso, o "pensamento" extra apenas deixa seus erros mais organizados e plausíveis.

A ideia de escalar a inferência parece lógica. Se o modelo ganha mais tempo e mais etapas para resolver uma tarefa, deveria errar menos. Na prática, essa abordagem de fato eliminou parte das falhas superficiais: menos deslizes factuais absurdos, menos respostas que desmoronam na primeira checagem, menos fiascos em demonstrações. Por isso os modelos de raciocínio causam tanta impressão: falam com mais consistência, estruturam melhor a resposta e sabem imitar um processo de análise cuidadoso. O problema é que a coerência do texto e a confiabilidade da conclusão não são a mesma coisa.

A diferença é especialmente visível entre alucinações simples e profundas. Uma alucinação simples é uma data inventada, um nome trocado ou um link inexistente. Ainda dá para perceber rápido. Um erro estrutural profundo é mais perigoso: o modelo parte de uma premissa falsa, constrói sobre ela uma longa cadeia lógica, acrescenta um tom confiante e entrega uma resposta coesa e convincente. O usuário não vê caos, e sim uma mentira bem embalada. Em tarefas como análise de dados, preparação de documentos, programação, medicina ou consultoria jurídica, esse tipo de erro é muito mais arriscado do que um deslize aleatório comum.

Os números também preocupam. Em uma comparação recente, grandes modelos da OpenAI apresentaram no benchmark SimpleQA uma taxa de alucinação de cerca de 50%. Se uma em cada duas respostas a perguntas factuais simples está errada ou inventada, isso não é mais um defeito cosmético, e sim uma vulnerabilidade sistêmica.

É verdade que todo benchmark tem limites: muita coisa depende da formulação, da metodologia de avaliação e da versão específica do modelo. Mas a tendência é reveladora. Os lançamentos ficam mais eloquentes e mais caros em computação, enquanto a confiabilidade profunda não cresce no mesmo ritmo, e às vezes parece até piorar.

Em cenários corporativos, isso basta para que um erro passe despercebido para dentro de uma apresentação, um relatório ou uma base de código.

A causa pode estar na própria abordagem. A computação extra na etapa de inferência não cria conhecimento novo nem corrige fragilidades nos dados de treinamento. Ela apenas faz o modelo procurar por mais tempo a resposta dentro de um espaço de representações que já existe. Se a imagem de mundo do modelo é distorcida, uma longa cadeia de raciocínio não necessariamente o levará à verdade. Ao contrário, pode reforçar o efeito de autoconfirmação: o modelo reverifica a mesma hipótese errada várias vezes, com palavras diferentes, e assim torna o erro ainda mais convincente.

O resultado é um paradoxo: mais computação reduz a probabilidade de um erro bobo, mas aumenta o risco de um erro bonito. Quanto mais confiante o sistema soa, menor a chance de o usuário parar a tempo e checar a base do raciocínio.

Daí sai uma conclusão mais ampla para o mercado. A ameaça aos líderes de IA pode vir não só de uma nova "supermodelo", mas de equipes capazes de construir sistemas mais confiáveis sobre os modelos: com retrieval de qualidade, vínculo com fontes, calibração de confiança, checagens rigorosas de fatos e avaliação não só da fluência, mas da veracidade. O vencedor não será quem gera a resposta mais longa, e sim aquele cuja resposta merece confiança no trabalho real. Se a indústria continuar confundindo poder de persuasão com inteligência, a janela de oportunidade para novos players já se abriu.