Centaur connaissait les réponses, mais pas les questions : une étude réfute le « raisonnement » de l'IA

Le modèle Centaur a annoncé une percée : l'IA aurait appris à imiter la pensée humaine sur 160 tâches cognitives à la fois, de la mémoire à la prise de décision. Une nouvelle étude rejette cette affirmation : le modèle ne pensait pas, il mémorisait des motifs.

Un vieux débat, un nouvel acteur

La nature de l'esprit humain est l'une des plus anciennes questions de la psychologie. La pensée est-elle un système unique doté d'un « moteur » commun, ou un ensemble de modules spécialisés, chacun responsable de son domaine : mémoire, attention, langage, navigation spatiale, prise de décision ? Ce n'est pas un jeu de mots académique. De la réponse dépendent la façon de concevoir les tests de capacités cognitives, le traitement de troubles comme la démence ou la dyslexie, et la conception des systèmes d'IA qui prétendent « comprendre ».

Après des décennies de débat, aucun consensus ne s'est dégagé.

Centaur est apparu comme une réponse possible venue d'un côté inattendu. L'idée : entraîner une IA sur des données de comportement humain dans des tests cognitifs, puis vérifier si le modèle reproduit le même comportement. Si c'est le cas, il aurait « saisi » la structure de la pensée. Les auteurs affirmaient que Centaur réussit 160 tâches cognitives différentes avec une précision comparable à celle des humains. L'ampleur de l'affirmation était rare : aucun modèle n'avait jusque-là revendiqué une telle couverture cognitive.

Où l'argument se brise

Des chercheurs ayant vérifié indépendamment le travail sur Centaur ont relevé un problème de fond : les bons résultats s'expliquent par la mémorisation, non par la « compréhension ». Les failles précises de la méthodologie :

• Chevauchement des données : l'échantillon d'entraînement recoupe l'échantillon de test, si bien que le modèle a de fait « vu » les bonnes réponses avant l'évaluation
• Pas de transfert : sur des tâches inconnues de même structure, le modèle n'a pas montré de résultats stables
• Motif sans mécanisme : une forte correspondance avec les réponses humaines ne signifie pas que les processus cognitifs sont reproduits, seulement leur forme extérieure
• Vérification faible : les auteurs n'ont pas mené de tests sur des tâches délibérément modifiées, où les réponses mémorisées ne fonctionneraient pas

Selon les critiques, c'est un cas classique : le modèle savait quoi répondre sans comprendre la question.

Pourquoi c'est important

L'affirmation de Centaur n'était pas seulement scientifique, elle était instrumentale. Si l'IA modélise réellement les processus cognitifs, cela ouvre une nouvelle méthode d'étude de l'esprit : au lieu d'expériences neuropsychologiques coûteuses, on pourrait tester les théories directement sur un modèle d'IA. Cela accélérerait radicalement les sciences cognitives.

Mais la frontière entre « mémorisation » et « pensée » dans l'évaluation de l'IA reste à tracer. Les modèles de langage affichent régulièrement de bons résultats aux benchmarks, et l'examen détaillé révèle qu'il s'agit de reproduction de motifs issus des données d'entraînement, non de généralisation.

«

Le modèle savait quoi répondre, mais ne savait pas pourquoi » : c'est à peu près ainsi que les critiques résument leur reproche à Centaur.

L'histoire n'est pas nouvelle. Chaque fois qu'une IA obtient un score élevé en « compréhension », une vérification détaillée suit et révèle que le test mesurait autre chose. Centaur s'inscrit dans cette logique.

Ce que cela signifie

Un benchmark convaincant et une compréhension réelle sont deux choses différentes. Tant qu'il n'existera pas de standards séparant rigoureusement la mémorisation de motifs et la généralisation cognitive, les affirmations sur une « IA qui pense comme un humain » resteront sujettes à caution. Pour les sciences cognitives, la prochaine étape est évidente : concevoir des tests qui, par définition, ne peuvent pas être réussis par simple apprentissage par cœur.