Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarMIT Technology Review→ original

METR met à jour son célèbre graphique sur l'IA : la durée des tâches double tous les 4 mois, mais le jugement reste à la traîne

METR a mis à jour son graphique, qui mesure la durée des tâches que l'IA accomplit seule, calculée d'après le temps de travail d'un humain. Jusqu'ici, l'horizon des modèles de pointe doublait tous les quatre mois, et la tendance se maintient en programmation. En revanche, les chercheurs de METR n'ont jugé utile aucun des tests d'évaluation de l'IA conçus par les modèles eux-mêmes. La force des modèles en code ne se transpose donc pas aux tâches qui exigent du goût et du jugement.

Traité par IA depuis MIT Technology Review ; édité par Hamidun News
METR met à jour son célèbre graphique sur l'IA : la durée des tâches double tous les 4 mois, mais le jugement reste à la traîne
Source : MIT Technology Review. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireMIT Technology Review ↗
Rédacteur en chef
Chiffre clé #1Tous les 4 mois, la durée des tâches accessibles aux modèles a doublé
Chiffre clé #2Aucun des tests conçus par l'IA n'a servi aux chercheurs de METR
Chiffre clé #3Opus 5.5 atteint le niveau « presque acceptable » ; il y a un an, tous les modèles étaient « nettement en dessous »

Si vous avez croisé sur les réseaux sociaux ce graphique à courbe ascendante illustrant des « tâches de plus en plus longues réalisées par l'IA », il venait très probablement de METR. Il a été repris des dizaines de fois, et tout aussi souvent mal compris. Ce laboratoire à but non lucratif, qui évalue les modèles, publie aujourd'hui une mise à jour majeure. Pour ceux qui construisent des produits à base d'agents, l'essentiel est le suivant : la courbe ne s'est pas brisée en programmation, mais sur les tâches qui demandent du jugement, les modèles accusent toujours des lacunes sensibles.

Que montre exactement ce graphique ?

L'idée est simple. METR s'appuie sur un large jeu de tâches, toutes déjà résolues par des humains. La difficulté d'une tâche se mesure au temps qu'il a fallu à une personne pour la terminer. METR regarde ensuite quelle « durée humaine » de tâche un modèle parvient à accomplir avec succès. Il ne s'agit pas d'« une heure de travail de l'IA », mais d'une « tâche qui prend une heure à un spécialiste ».

La première version du graphique montrait que, tous les quatre mois, la durée des tâches dont viennent à bout les modèles de pointe doublait. Mais le jeu de tâches était biaisé. Toutes relevaient de problèmes dont le résultat se vérifie automatiquement : le test passe ou échoue. Or c'est sur ce type de tâches que l'on entraîne le mieux les réseaux de neurones. Le modèle tente de résoudre la tâche un grand nombre de fois, et l'apprentissage par renforcement renforce ce qui a mené au succès et atténue ce qui a conduit à l'échec. C'est pourquoi l'IA est si performante en code et en mathématiques, où une machine peut vérifier la justesse d'une solution.

Ce que la nouvelle version ajoute

Le jeu de données mis à jour comprend des tâches qui prennent beaucoup plus de temps à un humain, ainsi que des tâches plus ouvertes, sans critère de réussite clair. Par exemple, on a demandé aux modèles de concevoir de nouveaux tests d'évaluation de l'IA que METR pourrait utiliser dans ses propres recherches, puis les collaborateurs de l'organisation ont évalué le résultat. Bien que les meilleurs modèles surpassent aujourd'hui presque n'importe quel humain en développement logiciel, ils ont échoué ici : aucun test créé par l'IA n'a été jugé utile pour le travail de METR.

Dans une autre tâche, les modèles devaient évaluer des arguments philosophiques, afin de tester la qualité de leur jugement. Là encore, ils restent derrière les humains. Les chercheurs reconnaissent eux-mêmes qu'au sein de METR, on débat du lien entre cette tâche et l'automatisation de la recherche en IA.

La dynamique reste pourtant encourageante. Les modèles les plus récents, comme Opus 5.5, obtiennent plus souvent la note « légèrement au-dessus du seuil » sur les tâches de conception de tests : pour les recherches de METR, cela ne suffit pas encore, mais le progrès est déjà notable. Il y a un an, tous les modèles tombaient dans la catégorie « nettement en dessous du seuil ».

Pourquoi c'est important, et où sont les limites

Le sujet est source de fortes tensions. Plus tôt ce mois-ci, METR a publié un autre rapport, fortement expurgé, indiquant que l'IA pourrait accélérer d'environ un facteur deux le rythme de développement chez Anthropic. Cela a fait craindre que l'entreprise soit proche de l'auto-amélioration récursive, où l'IA conçoit elle-même ses successeurs. Le nouveau rapport ne confirme ni n'infirme ces craintes, mais il montre que les modèles peinent encore précisément sur ce qu'exigerait une telle automatisation : choisir des directions de recherche et évaluer des idées.

Les experts cités par MIT Technology Review restent prudents. Sayash Kapoor, futur professeur à UC Berkeley, estime qu'il est temps que les évaluations de l'IA gagnent en inventivité, et voit dans le « goût de la recherche » (la capacité à choisir des questions et des expériences prometteuses) le principal goulot d'étranglement. L'échec sur les tâches ouvertes ne le surprend pas : son préprint d'août montre que les modèles ne savent pas encore reproduire de façon autonome des recherches humaines en informatique.

Mercredi, OpenAI a écrit sur son blog que ses modèles se débrouillent moins bien sur les tâches réelles de ses employés que sur les tâches plus simples et vérifiables du jeu de données initial de METR. D'autres spécialistes, au contraire, sont convaincus que les modèles entraînés sur des tâches vérifiables finiront par maîtriser aussi les tâches ouvertes.

Le nouveau graphique comporte des limites assumées. Pour les tâches les plus longues, le temps d'exécution est surtout estimé, et non mesuré : payer des humains pour des centaines d'heures de travail, ou trouver les rares experts qualifiés, coûte trop cher. Dans la tâche des arguments philosophiques, la plupart des arguments ont été évalués par une seule personne, et les agents sont jugés sur la proximité de leur avis avec le sien.

Par ailleurs, le jeu de données compte peu de tâches ouvertes, ce qui rend les prévisions difficiles. Matt Putz, de METR, déclare sans détour qu'il sera impossible de dégager pour ces tâches des tendances aussi nettes que pour celles qui se formalisent facilement. Najoung Kim, de l'université de Boston, note que la croissance observée dit quelque chose du moment présent, mais que la manière de l'extrapoler reste pour l'instant incertaine.

Ce que cela change pour les praticiens

Si vous développez des agents pour le code, les tests ou d'autres tâches à vérification automatique, la courbe de METR reste un repère raisonnable : l'horizon progresse vite. Si, en revanche, vous confiez à un agent l'évaluation d'idées, le choix de priorités ou la conception de métriques, intégrez un humain à la boucle de contrôle. Les résultats obtenus sur les tests de code ne se transposent pas automatiquement à ces tâches. Et face à tout graphique sur la « durée des tâches », gardez en tête qu'il indique le temps qu'un humain consacre à la tâche, et non le temps de travail du modèle.

Dossier

Questions clés sur cet article

Que montre exactement ce graphique ?

L'idée est simple. METR s'appuie sur un large jeu de tâches, toutes déjà résolues par des humains. La difficulté d'une tâche se mesure au temps qu'il a fallu à une personne pour la terminer. METR regarde ensuite quelle « durée humaine » de tâche un modèle parvient à accomplir avec succès. Il ne s'agit pas d'« une heure de travail de l'IA », mais d'une « tâche qui prend une heure à un spécialiste ».

Que sait-on sur Ce que la nouvelle version ajoute ?

Le jeu de données mis à jour comprend des tâches qui prennent beaucoup plus de temps à un humain, ainsi que des tâches plus ouvertes, sans critère de réussite clair. Par exemple, on a demandé aux modèles de concevoir de nouveaux tests d'évaluation de l'IA que METR pourrait utiliser dans ses propres recherches, puis les collaborateurs de l'organisation ont évalué le résultat.

Pourquoi c'est important, et où sont les limites?

Le sujet est source de fortes tensions. Plus tôt ce mois-ci, METR a publié un autre rapport, fortement expurgé, indiquant que l'IA pourrait accélérer d'environ un facteur deux le rythme de développement chez Anthropic. Cela a fait craindre que l'entreprise soit proche de l'auto-amélioration récursive, où l'IA conçoit elle-même ses successeurs.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…