Centaur sabia as respostas, mas não entendia as perguntas: estudo refuta o "pensamento" da IA

O modelo Centaur anunciou um avanço: a IA supostamente aprendeu a imitar o pensamento humano em 160 tarefas cognitivas ao mesmo tempo, de memória a tomada de decisões. Um novo estudo rejeita essa alegação: o modelo não pensava, memorizava padrões.

Uma velha disputa, um novo personagem

A natureza da mente humana é uma das perguntas mais antigas da psicologia. O pensamento é um sistema único com um "motor" comum ou um conjunto de módulos especializados, cada um responsável por uma função: memória, atenção, linguagem, navegação espacial, tomada de decisões? Não é um jogo de palavras acadêmico. Da resposta dependem a forma de construir testes de capacidade cognitiva, o tratamento de transtornos como demência ou dislexia e o projeto de sistemas de IA que dizem "compreender".

Após décadas de debate, não surgiu um consenso.

O Centaur apareceu como uma possível resposta vinda de um lado inesperado. A ideia: treinar uma IA com dados do comportamento humano em testes cognitivos e depois verificar se o modelo reproduz o mesmo comportamento. Se reproduz, ele teria "captado" a estrutura do pensamento. Os autores afirmaram que o Centaur lida com 160 tarefas cognitivas diferentes com precisão comparável à humana. A escala da alegação era rara: nenhum modelo anterior havia reivindicado tamanha cobertura cognitiva.

Onde o argumento falha

Pesquisadores que verificaram o trabalho do Centaur de forma independente encontraram um problema fundamental: os bons resultados se explicam pela memorização, não pela "compreensão". As vulnerabilidades específicas da metodologia:

• Sobreposição de dados: a amostra de treinamento se sobrepõe à de teste, e o modelo na prática "viu" as respostas certas antes da avaliação
• Sem transferência: em tarefas desconhecidas com a mesma estrutura, o modelo não apresentou resultados estáveis
• Padrão sem mecanismo: alta correspondência com as respostas humanas não significa que os processos cognitivos sejam reproduzidos, apenas sua forma externa
• Verificação fraca: os autores não fizeram testes com tarefas deliberadamente alteradas, nas quais respostas memorizadas não funcionariam

Segundo os críticos, é um caso clássico: o modelo sabia o que responder sem entender a pergunta.

Por que isso importa

A alegação do Centaur não era apenas científica, era instrumental. Se a IA realmente modela processos cognitivos, abre-se um novo método para estudar a mente: em vez de caros experimentos neuropsicológicos, as teorias poderiam ser testadas diretamente em um modelo de IA. Isso aceleraria radicalmente a ciência cognitiva.

Mas a fronteira entre "memorização" e "pensamento" na avaliação de IA continua sem ser traçada. Modelos de linguagem costumam ir bem em benchmarks e, numa análise detalhada, descobre-se que por trás há reprodução de padrões dos dados de treinamento, e não generalização.

"O modelo sabia o que responder, mas não sabia por que era assim": é mais ou menos assim que os críticos resumem a objeção ao

Centaur.

A história não é nova. Toda vez que uma IA recebe nota alta em "compreensão", segue-se uma verificação detalhada e se descobre que o teste media outra coisa. O Centaur se encaixa nesse padrão.

O que isso significa

Um benchmark convincente e a compreensão real são coisas diferentes. Até que surjam padrões que separem de forma rigorosa a memorização de padrões da generalização cognitiva, as alegações sobre uma "IA que pensa como um humano" continuarão em dúvida. Para a ciência cognitiva, o próximo passo é óbvio: criar testes que, por definição, não possam ser superados na base da decoreba.