DeepMind propose dix échelles cognitives pour mesurer la progression vers l'AGI

Google DeepMind a publié « Measuring Progress Toward AGI », une tentative de doter l'industrie d'un véritable outil de mesure de la progression vers l'AGI, plutôt que d'une énième classification invérifiable.

D'où vient le problème

Il y a près de trois ans, DeepMind publiait « Levels of AGI », un système de cinq niveaux d'intelligence (du niveau initial au niveau surhumain) et de six niveaux d'autonomie (de l'outil simple à l'agent entièrement indépendant). L'analogie avec les niveaux de conduite autonome a bien fonctionné : structurée, lisible, facile à expliquer aux investisseurs et aux journalistes. L'industrie a obtenu un vocabulaire commun, une sorte de terminologie partagée pour parler d'AGI.

Mais cette classification avait un défaut de fond : aucun outil ne permettait de vérifier où se situe réellement un système. N'importe quelle entreprise pouvait qualifier son modèle de « level 2 » ou « level 3 » sans que personne puisse la contredire. « AGI » est devenu une étiquette marketing, pratique pour les communiqués de presse et la levée de fonds, mais très peu pratique pour la science. Le nouveau travail s'attaque précisément à ce problème.

Dix échelles au lieu d'un seul score

Le document, paru en mars 2026, adopte une approche radicalement différente. Au lieu d'un classement global unique, il définit dix échelles distinctes, chacune mesurant un aspect précis des capacités cognitives. Ces échelles sont indépendantes : un système peut obtenir un score élevé en raisonnement mais faible en adaptation à de nouvelles tâches, et cet écart sera clairement visible plutôt que masqué par une moyenne. On obtient un portrait multidimensionnel du système, et non un chiffre unique.

La différence essentielle avec le benchmarking habituel : les échelles ne reposent ni sur des jeux de données ni sur des recueils d'exercices, mais sur la boîte à outils de la psychologie cognitive, une science qui étudie depuis des décennies l'intelligence chez des personnes réelles et a mis au point des méthodes résistantes aux effets d'entraînement. Parmi les aspects mesurés :

• Mémoire de travail et rétention du contexte
• Planification et raisonnement en plusieurs étapes
• Transfert des connaissances vers de nouveaux domaines
• Apprentissage à partir de peu d'exemples (few-shot)
• Métacognition : comprendre les limites de ses propres connaissances
• Raisonnement causal
• Adaptation à des données hors de la distribution d'entraînement

Les auteurs présentent le cadre comme un point de départ pour la discussion, et non comme un standard définitif. La liste des échelles reste ouverte à des ajouts.

Pourquoi c'est plus important que les benchmarks

Jusqu'ici, la progression de l'IA se mesurait indirectement : MMLU, HumanEval, ARC-Challenge, GSM8K. Le problème, c'est que les modèles ont appris à faire du surapprentissage délibéré sur des benchmarks précis. Un score élevé sur MMLU a cessé depuis longtemps d'être un indicateur fiable de raisonnement réel. Tout le monde le sait dans l'industrie, mais les standards ne bougent pas.

Une approche issue de la psychologie cognitive est bien plus difficile à tromper. Si un modèle ne sait pas généraliser à des tâches radicalement nouvelles, aucun fine-tuning sur le jeu de test ne le masquera. Les méthodes conçues pour mesurer l'intelligence humaine résistent au « bachotage » par leur nature même.

Pour les investisseurs, les acheteurs d'IA en entreprise et les régulateurs, cela pourrait signifier la fin d'une époque où n'importe quel laboratoire pouvait annoncer une « percée vers l'AGI » sans vérification indépendante possible. Des échelles communes et mesurables rendent comparables les systèmes de différentes entreprises, et donc responsabilisent leurs auteurs.

Ce que cela signifie

DeepMind fait passer le débat sur l'AGI de « nous avons le niveau N » à « voici concrètement comment le mesurer ». Ce n'est ni une réponse sur le calendrier de l'AGI ni une garantie de consensus : chaque laboratoire interprétera les échelles à sa façon. Mais c'est le premier pas sérieux vers des standards d'évaluation communs, fondés sur la science plutôt que sur le marketing.