METR : la durée des tâches qu'un agent IA réussit avec 50 % de chances double tous les 3,6 mois
Comment savoir quelle part d'un travail complexe un agent IA peut réaliser seul ? METR mesure cela en heures de travail humain : si une tâche prend une demi-journée à un ingénieur et que l'agent la résout dans la moitié des tentatives, son « horizon » est de une demi-journée. Pour les modèles allant jusqu'à Opus 5.5 et GPT-6 Astra, cet horizon double environ tous les 3,6 mois. Il est donc raisonnable de confier plus volontiers aux agents les tâches dont le résultat se vérifie clairement, et de laisser aux humains les décisions qui ne peuvent pas être contrôlées rapidement.
Traité par IA depuis METR ; édité par Hamidun News
Imaginez que vous confiez une tâche à un junior et que vous devez savoir quelle part il peut mener seul, et à quel moment vous devrez intervenir. Avec les agents IA, les chercheurs font face au même problème, mais la mesure devient de plus en plus difficile. L'organisation METR, qui évalue les capacités des modèles, a publié en novembre 2026 un rapport étendu sur les modèles publics, dont Opus 5.5 et GPT-6 Astra. L'idée centrale : les capacités qui comptent pour accélérer le développement de l'IA elle-même progressent vite, et les mesurer devient plus complexe.
Qu'est-ce que l'« horizon de tâche », sur un exemple simple
La métrique s'appelle time horizon, « horizon temporel ». On prend une tâche et on calcule le temps qu'il faut à un humain expérimenté pour la réaliser. Supposons une demi-journée. Si un agent réussit ce type de tâche dans 50 % des tentatives, son horizon à 50 % est d'une demi-journée. Plus cet indicateur est élevé, plus on peut confier à l'agent des morceaux de travail longs et autonomes.
Auparavant, METR utilisait cette métrique pour mesurer les capacités agentiques de l'IA en ingénierie logicielle. Or l'ancien jeu de tâches TH1.1 ne suffit plus : les modèles le maîtrisent presque. Les chercheurs l'ont donc combiné avec un jeu plus difficile, TH2. Sur ce jeu combiné, l'horizon double environ tous les 3,6 mois. En raison de la difficulté de TH2, l'horizon absolu de n'importe quel modèle sur le jeu commun est inférieur à celui mesuré sur TH1.1 seul.
Il y a une nuance. Sur la partie vérifiable de TH2 sans TH1.1, le doublement va plus vite. Il est possible que l'accélération récente soit masquée par la tendance générale. METR précise toutefois que d'autres explications sont envisageables. OpenAI a récemment avancé un rythme similaire pour ses propres tâches de recherche internes.
Où les agents sont forts, et où ils jugent moins bien que les humains
Lorsqu'une tâche dispose d'une métrique claire et d'un retour rapide, par exemple l'optimisation de code, les modèles sont généralement au niveau des experts humains. Quand METR a recruté ses propres exécutants pour comparaison, il s'est rarement avéré possible de trouver des humains qui dépassent les modèles de pointe. Lorsque l'organisation disposait de données provenant d'au moins dix spécialistes, les modèles se situaient dans un percentile très élevé, sans toutefois atteindre le sommet.
La situation change lorsqu'il faut décider sans signal clair. Par exemple, lorsque les tests disent peu de choses sur le fonctionnement de la solution dans d'autres conditions, ou lorsque la vérification prend énormément de temps. Dans ces cas, le jugement des agents est moins fiable que celui des experts. Dans un exemple, des modèles juges surévaluaient la qualité d'un résultat lorsqu'il était produit par un modèle aussi fort, voire plus fort. Pour la pratique, cela signifie qu'une évaluation automatique par un « modèle juge » tend à complimenter ses pairs.
Par ailleurs, METR a introduit un indicateur de « coût du cycle de vie » : le coût de la conception d'une tâche, de son lancement et de sa vérification. Les tâches réalistes sont généralement plus coûteuses. Selon METR, doubler ce coût à longueur de tâche égale revient grossièrement à réduire de moitié l'horizon de l'agent. Pourtant, la progression est comparable sur les tâches bon marché et les tâches coûteuses, et même pour les plus onéreuses, les résultats s'améliorent au fil du temps.
Ce que montrent les vérifications et quoi faire en pratique
Pour donner une vue d'ensemble, METR a construit un indice agrégé, MCI. Il repose sur une technique statistique d'IRT, proche de celle qui sous-tend l'Epoch Capabilities Index. Sur la frontière publique, cet indice ne montre ni accélération forte ni ralentissement marqué. Pour certains développeurs, des signes incertains de changement de pente apparaissent, mais le résultat est sensible aux choix méthodologiques, et METR elle-même doute de sa fiabilité.
Parmi les tests de robustesse, les chercheurs ont examiné le détournement de métriques (reward hacking) et les défaillances des modèles. Ils ont aussi évalué les essaims d'agents. Comparés au fait de retenir la meilleure de plusieurs tentatives indépendantes, les essaims aident sur les tâches vérifiables avec une métrique claire et un retour rapide. Sur les autres tâches, l'effet est incertain ou négatif.
La position finale de METR est prudente. Les données publiques ne suffisent pas à exclure une accélération brutale du développement de l'IA dans les deux prochaines années. Par là, l'organisation entend une situation où les capacités progressent si vite que les humains ne peuvent plus comprendre de façon réfléchie les nouveaux systèmes, les évaluer et réagir aux risques catastrophiques.
Conséquences pour les équipes :
- Les tâches à vérification claire, comme l'optimisation de code selon une métrique mesurable, peuvent être confiées plus volontiers aux agents.
- Les décisions sans retour rapide doivent rester sous le contrôle d'experts.
- Ne vous fiez pas uniquement à un modèle juge, surtout s'il évalue le travail d'un modèle de même niveau.
- Activez un essaim d'agents là où le résultat se vérifie rapidement.
Il existe aussi des limites. Il s'agit du rapport de l'organisation d'évaluation elle-même, et non d'un audit indépendant. Certaines conclusions, notamment les tendances concernant des développeurs particuliers, sont qualifiées d'incertaines par METR. Par ailleurs, le texte source dont nous disposons est tronqué : les détails de la méthodologie et des annexes figurent dans la version complète du rapport.
- 21 nov. 2026Le navigateur Ego lite attribue à chaque agent IA son propre espace de travail Space
- 21 nov. 2026Instinct, évalué à 10 milliards de dollars, prend la tête du marché des agents IA qu'on gère comme une messagerie
- 21 nov. 2026Docker a changé d'image pour les agents IA, mais les Sandboxes sont sorties dès septembre
- 21 nov. 2026Google lance Gemini 4 Neon : 65,2 % sur Terminal-Bench 4.1 pour 3 $ par million de tokens
Questions clés sur cet article
Qu'est-ce que l'« horizon de tâche », sur un exemple simple?
La métrique s'appelle time horizon, « horizon temporel ». On prend une tâche et on calcule le temps qu'il faut à un humain expérimenté pour la réaliser. Supposons une demi-journée. Si un agent réussit ce type de tâche dans 50 % des tentatives, son horizon à 50 % est d'une demi-journée. Plus cet indicateur est élevé, plus on peut confier à l'agent des morceaux de travail longs et autonomes. Auparavant, METR utilisait cette métrique pour mesurer les capacités agentiques de l'IA en ingénierie logicielle.
Que sait-on sur Où les agents sont forts, et où ils jugent moins bien que les humains ?
Lorsqu'une tâche dispose d'une métrique claire et d'un retour rapide, par exemple l'optimisation de code, les modèles sont généralement au niveau des experts humains. Quand METR a recruté ses propres exécutants pour comparaison, il s'est rarement avéré possible de trouver des humains qui dépassent les modèles de pointe. Lorsque l'organisation disposait de données provenant d'au moins dix spécialistes, les modèles se situaient dans un percentile très élevé, sans toutefois atteindre le sommet.
Que sait-on sur Ce que montrent les vérifications et quoi faire en pratique ?
Pour donner une vue d'ensemble, METR a construit un indice agrégé, MCI. Il repose sur une technique statistique d'IRT, proche de celle qui sous-tend l'Epoch Capabilities Index. Sur la frontière publique, cet indice ne montre ni accélération forte ni ralentissement marqué. Pour certains développeurs, des signes incertains de changement de pente apparaissent, mais le résultat est sensible aux choix méthodologiques, et METR elle-même doute de sa fiabilité.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.