Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarMETR→ original

METR : la durée des tâches qu'un agent IA réussit avec 50 % de chances double tous les 3,6 mois

Comment savoir quelle part d'un travail complexe un agent IA peut réaliser seul ? METR mesure cela en heures de travail humain : si une tâche prend une demi-journée à un ingénieur et que l'agent la résout dans la moitié des tentatives, son « horizon » est de une demi-journée. Pour les modèles allant jusqu'à Opus 5.5 et GPT-6 Astra, cet horizon double environ tous les 3,6 mois. Il est donc raisonnable de confier plus volontiers aux agents les tâches dont le résultat se vérifie clairement, et de laisser aux humains les décisions qui ne peuvent pas être contrôlées rapidement.

Traité par IA depuis METR ; édité par Hamidun News
METR : la durée des tâches qu'un agent IA réussit avec 50 % de chances double tous les 3,6 mois
Source : METR. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireMETR ↗
Rédacteur en chef
Chiffre clé #1Une tâche deux fois plus chère à développer : l'horizon de l'agent est grossièrement deux fois plus court
Chiffre clé #2Les modèles juges surévaluent les travaux produits par un modèle aussi puissant qu'eux
Chiffre clé #3Un essaim d'agents ne dépasse la meilleure tentative isolée que sur les tâches à vérification rapide

Imaginez que vous confiez une tâche à un junior et que vous devez savoir quelle part il peut mener seul, et à quel moment vous devrez intervenir. Avec les agents IA, les chercheurs font face au même problème, mais la mesure devient de plus en plus difficile. L'organisation METR, qui évalue les capacités des modèles, a publié en novembre 2026 un rapport étendu sur les modèles publics, dont Opus 5.5 et GPT-6 Astra. L'idée centrale : les capacités qui comptent pour accélérer le développement de l'IA elle-même progressent vite, et les mesurer devient plus complexe.

Qu'est-ce que l'« horizon de tâche », sur un exemple simple

La métrique s'appelle time horizon, « horizon temporel ». On prend une tâche et on calcule le temps qu'il faut à un humain expérimenté pour la réaliser. Supposons une demi-journée. Si un agent réussit ce type de tâche dans 50 % des tentatives, son horizon à 50 % est d'une demi-journée. Plus cet indicateur est élevé, plus on peut confier à l'agent des morceaux de travail longs et autonomes.

Auparavant, METR utilisait cette métrique pour mesurer les capacités agentiques de l'IA en ingénierie logicielle. Or l'ancien jeu de tâches TH1.1 ne suffit plus : les modèles le maîtrisent presque. Les chercheurs l'ont donc combiné avec un jeu plus difficile, TH2. Sur ce jeu combiné, l'horizon double environ tous les 3,6 mois. En raison de la difficulté de TH2, l'horizon absolu de n'importe quel modèle sur le jeu commun est inférieur à celui mesuré sur TH1.1 seul.

Il y a une nuance. Sur la partie vérifiable de TH2 sans TH1.1, le doublement va plus vite. Il est possible que l'accélération récente soit masquée par la tendance générale. METR précise toutefois que d'autres explications sont envisageables. OpenAI a récemment avancé un rythme similaire pour ses propres tâches de recherche internes.

Où les agents sont forts, et où ils jugent moins bien que les humains

Lorsqu'une tâche dispose d'une métrique claire et d'un retour rapide, par exemple l'optimisation de code, les modèles sont généralement au niveau des experts humains. Quand METR a recruté ses propres exécutants pour comparaison, il s'est rarement avéré possible de trouver des humains qui dépassent les modèles de pointe. Lorsque l'organisation disposait de données provenant d'au moins dix spécialistes, les modèles se situaient dans un percentile très élevé, sans toutefois atteindre le sommet.

La situation change lorsqu'il faut décider sans signal clair. Par exemple, lorsque les tests disent peu de choses sur le fonctionnement de la solution dans d'autres conditions, ou lorsque la vérification prend énormément de temps. Dans ces cas, le jugement des agents est moins fiable que celui des experts. Dans un exemple, des modèles juges surévaluaient la qualité d'un résultat lorsqu'il était produit par un modèle aussi fort, voire plus fort. Pour la pratique, cela signifie qu'une évaluation automatique par un « modèle juge » tend à complimenter ses pairs.

Par ailleurs, METR a introduit un indicateur de « coût du cycle de vie » : le coût de la conception d'une tâche, de son lancement et de sa vérification. Les tâches réalistes sont généralement plus coûteuses. Selon METR, doubler ce coût à longueur de tâche égale revient grossièrement à réduire de moitié l'horizon de l'agent. Pourtant, la progression est comparable sur les tâches bon marché et les tâches coûteuses, et même pour les plus onéreuses, les résultats s'améliorent au fil du temps.

Ce que montrent les vérifications et quoi faire en pratique

Pour donner une vue d'ensemble, METR a construit un indice agrégé, MCI. Il repose sur une technique statistique d'IRT, proche de celle qui sous-tend l'Epoch Capabilities Index. Sur la frontière publique, cet indice ne montre ni accélération forte ni ralentissement marqué. Pour certains développeurs, des signes incertains de changement de pente apparaissent, mais le résultat est sensible aux choix méthodologiques, et METR elle-même doute de sa fiabilité.

Parmi les tests de robustesse, les chercheurs ont examiné le détournement de métriques (reward hacking) et les défaillances des modèles. Ils ont aussi évalué les essaims d'agents. Comparés au fait de retenir la meilleure de plusieurs tentatives indépendantes, les essaims aident sur les tâches vérifiables avec une métrique claire et un retour rapide. Sur les autres tâches, l'effet est incertain ou négatif.

La position finale de METR est prudente. Les données publiques ne suffisent pas à exclure une accélération brutale du développement de l'IA dans les deux prochaines années. Par là, l'organisation entend une situation où les capacités progressent si vite que les humains ne peuvent plus comprendre de façon réfléchie les nouveaux systèmes, les évaluer et réagir aux risques catastrophiques.

Conséquences pour les équipes :

  • Les tâches à vérification claire, comme l'optimisation de code selon une métrique mesurable, peuvent être confiées plus volontiers aux agents.
  • Les décisions sans retour rapide doivent rester sous le contrôle d'experts.
  • Ne vous fiez pas uniquement à un modèle juge, surtout s'il évalue le travail d'un modèle de même niveau.
  • Activez un essaim d'agents là où le résultat se vérifie rapidement.

Il existe aussi des limites. Il s'agit du rapport de l'organisation d'évaluation elle-même, et non d'un audit indépendant. Certaines conclusions, notamment les tendances concernant des développeurs particuliers, sont qualifiées d'incertaines par METR. Par ailleurs, le texte source dont nous disposons est tronqué : les détails de la méthodologie et des annexes figurent dans la version complète du rapport.

Dossier

Questions clés sur cet article

Qu'est-ce que l'« horizon de tâche », sur un exemple simple?

La métrique s'appelle time horizon, « horizon temporel ». On prend une tâche et on calcule le temps qu'il faut à un humain expérimenté pour la réaliser. Supposons une demi-journée. Si un agent réussit ce type de tâche dans 50 % des tentatives, son horizon à 50 % est d'une demi-journée. Plus cet indicateur est élevé, plus on peut confier à l'agent des morceaux de travail longs et autonomes. Auparavant, METR utilisait cette métrique pour mesurer les capacités agentiques de l'IA en ingénierie logicielle.

Que sait-on sur Où les agents sont forts, et où ils jugent moins bien que les humains ?

Lorsqu'une tâche dispose d'une métrique claire et d'un retour rapide, par exemple l'optimisation de code, les modèles sont généralement au niveau des experts humains. Quand METR a recruté ses propres exécutants pour comparaison, il s'est rarement avéré possible de trouver des humains qui dépassent les modèles de pointe. Lorsque l'organisation disposait de données provenant d'au moins dix spécialistes, les modèles se situaient dans un percentile très élevé, sans toutefois atteindre le sommet.

Que sait-on sur Ce que montrent les vérifications et quoi faire en pratique ?

Pour donner une vue d'ensemble, METR a construit un indice agrégé, MCI. Il repose sur une technique statistique d'IRT, proche de celle qui sous-tend l'Epoch Capabilities Index. Sur la frontière publique, cet indice ne montre ni accélération forte ni ralentissement marqué. Pour certains développeurs, des signes incertains de changement de pente apparaissent, mais le résultat est sensible aux choix méthodologiques, et METR elle-même doute de sa fiabilité.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…