As redes neurais realmente raciocinam? Um estudo sobre erros estruturais na lógica dos LLMs

As redes neurais realmente raciocinam? Um estudo sobre erros estruturais na lógica dos LLMs

Quando o GPT-4 resolve um problema de matemática ou o Claude analisa um documento jurídico complexo, um observador externo naturalmente se pergunta: isso é pensamento de verdade ou uma ilusão habilidosa? Um novo estudo sistemático das capacidades cognitivas dos grandes modelos de linguagem dá uma resposta incômoda: provavelmente a segunda opção. Os cientistas registraram o que chamam de "falhas estruturais": erros de lógica previsíveis e reproduzíveis que revelam uma diferença fundamental entre imitar o raciocínio e raciocinar de fato.

Nos últimos dois anos, os modelos de linguagem alcançaram resultados impressionantes em benchmarks acadêmicos, o que alimentou um otimismo generalizado sobre suas capacidades intelectuais. Empresas passaram a adotar LLMs em medicina, direito e análise financeira, áreas em que o custo de um erro se mede não apenas em reputação, mas em vidas humanas. Foi essa distância entre as declarações públicas sobre sistemas "inteligentes" e suas capacidades reais que levou os pesquisadores a conduzir um estudo metódico e sistemático de como os modelos lidam com tarefas que exigem inferência lógica sequencial.

A essência da descoberta é a seguinte: os LLMs não constroem cadeias de raciocínio; eles buscam continuações de texto estatisticamente plausíveis. A diferença parece sutil, mas na prática é crítica. Quando o modelo encontra uma tarefa parecida com as dos dados de treinamento, entrega uma resposta convincente. Mas basta mudar um pouco as condições, seja reformulando a pergunta, acrescentando uma etapa intermediária ou exigindo raciocínio no sentido inverso, para o sistema começar a errar de forma sistemática, e não aleatória. Os pesquisadores chamaram essas falhas de "estruturais" porque elas não decorrem da falta de dados, mas de limitações arquiteturais da própria abordagem.

Os experimentos com tarefas de várias etapas são especialmente reveladores. Os modelos exibem algo como uma "degradação de profundidade": quanto mais longa a cadeia de raciocínio exigida, maior a probabilidade de erro em algum dos elos intermediários. Além disso, o modelo raramente percebe a própria falha: continua gerando um texto confiante e gramaticalmente impecável, que parece uma resposta correta, mas contém contradições lógicas. Essa autoconfiança torna os erros estruturais particularmente perigosos: o usuário não recebe nenhum sinal de que algo deu errado.

O estudo também põe em dúvida a interpretação popular do sucesso dos modelos nos testes. As pontuações altas em benchmarks padrão podem ser explicadas não por um avanço da capacidade lógica, mas por uma "calibração" cada vez mais precisa aos padrões presentes nos conjuntos de teste. Em outras palavras, o modelo aprende a responder corretamente a certo tipo de pergunta sem adquirir uma compreensão transferível. Essa é a diferença fundamental entre decorar e compreender, e é ela que explica por que os LLMs conseguem resolver problemas de nível de doutorado e, ao mesmo tempo, tropeçar em quebra-cabeças elementares formulados de maneira fora do padrão.

Para a indústria, essas conclusões têm consequências práticas concretas. Adotar modelos de linguagem em infraestruturas críticas, como diagnóstico médico, análise jurídica e gestão de riscos, exige repensar a abordagem. Empresas que constroem produtos partindo do pressuposto de que os LLMs são capazes de inferência lógica confiável assumem riscos difíceis de medir de antemão. Os pesquisadores não pedem que essas tecnologias sejam abandonadas, mas insistem em padrões de verificação mais rigorosos: cada uso deve vir acompanhado de limites claros sobre onde o modelo funciona de forma previsível e onde não funciona.

A questão fundamental levantada por este estudo vai além do técnico: o que estamos de fato criando? Se os modelos de linguagem são sistemas muito precisos de previsão do próximo token, e não sistemas de compreensão, toda a narrativa sobre a "inteligência artificial" precisa ser reformulada. Uma imitação de qualidade do raciocínio pode ser uma ferramenta útil, mas não é o mesmo que raciocinar. Entender essa fronteira não é pessimismo, e sim condição necessária para construir algo realmente confiável sobre os LLMs.