Centaur sabia as respostas, mas não entendia as perguntas: pesquisa refuta 'pensamento' de IA

Centaur Conhecia as Respostas, Mas Não Entendia as Perguntas: Pesquisa Refuta a 'Inteligência' da IA

A Centaur afirmou um avanço: uma IA supostamente aprendeu a imitar o pensamento humano em 160 tarefas cognitivas simultaneamente — da memória à tomada de decisões. Uma nova pesquisa refuta essa afirmação: o modelo não estava pensando, estava memorizando padrões.

O Velho Debate, um Novo Jogador

A questão sobre a natureza do pensamento humano é uma das mais longas na psicologia. O pensamento é um sistema unificado com um "motor" comum, ou é um conjunto de módulos especializados, cada um responsável por seu domínio: memória, atenção, linguagem, navegação espacial, tomada de decisões? Não é um jogo de palavras acadêmico.

A resposta determina como projetar testes para habilidades cognitivas, como tratar transtornos como demência ou dislexia, e como projetar sistemas de IA que pretendem ter "compreensão". Ao longo de décadas de debate, nenhum consenso único emergiu. A Centaur apareceu como uma possível resposta de uma direção inesperada.

A ideia: treinar uma IA com dados sobre o comportamento humano em testes cognitivos e depois observar — se o modelo reproduz o mesmo comportamento, ele "captou" a estrutura do pensamento. Os autores afirmaram que a Centaur realizava 160 tarefas cognitivas diferentes com precisão comparável à humana. A escala da alegação era rara: nenhum modelo anterior havia reivindicado tal cobertura cognitiva.

Onde o Argumento se Quebra

Pesquisadores que verificaram independentemente o trabalho da Centaur descobriram um problema fundamental: os altos resultados são explicados não por "compreensão", mas por memorização. Vulnerabilidades metodológicas específicas:

• Sobreposição de dados: a amostra de treinamento se sobrepõe ao conjunto de teste — o modelo efetivamente "viu" as respostas corretas antes da avaliação
• Sem transferência: em tarefas desconhecidas com a mesma estrutura, o modelo não mostrou resultados consistentes
• Padrão sem mecanismo: alta correspondência com respostas humanas não significa reproduzir processos cognitivos — apenas sua forma externa
• Verificação fraca: os autores não realizaram testes em tarefas especialmente modificadas onde respostas memorizadas não funcionariam

De acordo com os críticos, este é um caso clássico: o modelo sabia o que responder sem compreender a pergunta.

Por Que Isso Importa

A alegação da Centaur não era apenas científica — era instrumental. Se a IA realmente modelasse processos cognitivos, abriria um novo método para estudar a mente: em vez de experimentos neuropsicológicos caros, as teorias poderiam ser testadas diretamente em modelos de IA. Isso aceleraria radicalmente a ciência cognitiva. Mas o limite entre "memorização" e "pensamento" na avaliação de IA permanece não atravessado. Modelos de linguagem regularmente mostram altos escores em benchmarks — e após exame detalhado, descobre-se que por trás disso está a reprodução de padrões de dados de treinamento, não generalização.

"O modelo sabia o que responder — mas não sabia por quê," — é assim que os críticos formulam aproximadamente a essência da objeção à

Centaur.

A história aqui não é nova. Toda vez que uma IA obtém uma pontuação alta em "compreensão", uma revisão detalhada se segue — e descobre-se que o teste estava medindo outra coisa. Centaur se encaixa nesse padrão.

O Que Isso Significa

Um benchmark convincente e a compreensão real são coisas diferentes. Até que surjam padrões que fundamentalmente separem memorização de padrões de generalização cognitiva, afirmações sobre "IA que pensa como humanos" permanecerão questionáveis. Para a ciência cognitiva, o próximo passo é óbvio: desenvolver testes que por definição não possam ser passados por memorização.