Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarAI Alignment Forum→ original

Redwood Research : l’IA accélère notre travail de 2–3 fois, et non de 5–10 comme chez Anthropic

Selon une estimation de METR, l’IA accélère les progrès d’Anthropic d’un facteur 1,7, et la recherche elle-même de 5–12 fois selon les estimations. Un chercheur de Redwood Research s’attendait à des gains similaires pour les équipes externes, puisqu’elles disposent de moyens pour financer le calcul. En pratique, avec Opus 5.5 et Claude Code, le gain n’est que de 2–3x. Il cherche des explications dans les limites des modèles, la nature des tâches et le manque d’attention humaine.

Traité par IA depuis AI Alignment Forum ; édité par Hamidun News
Redwood Research : l’IA accélère notre travail de 2–3 fois, et non de 5–10 comme chez Anthropic
Source : AI Alignment Forum. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAI Alignment Forum ↗
Rédacteur en chef
Chiffre clé #1L’agent fait parfois des choix « aberrants » qui compromettent les résultats
Chiffre clé #2Le goulot d’étranglement est le discernement des responsables, pas la vitesse des agents
Chiffre clé #3Si le gain de 5x est réel, les équipes externes devraient bientôt nous submerger de publications

Tout le monde s’est habitué à ce chiffre séduisant : l’IA accélère le développement de l’IA. Mais dès qu’on le confronte à un lundi de travail bien concret, on constate qu’il varie sensiblement d’une équipe à l’autre. Un chercheur de Redwood Research a posé une question dérangeante : si tout se passe si bien chez Anthropic, pourquoi n’y arrivons-nous pas avec les mêmes modèles ?

D’où viennent les 5–10x ?

METR a récemment estimé qu’Anthropic bénéficiait d’une accélération globale d’un facteur 1,7 dans la progression des capacités de ses modèles grâce à l’aide de l’IA dans ses propres travaux. Ce résultat global implique une accélération bien plus importante de la recherche elle-même. Ajeya Cotra avance environ 10x ; des employés d’Anthropic ont évoqué quelque 12x. Pour Mythos 5, les chercheurs de l’entreprise ont parlé de 5x. Les équipes externes ont accès à Opus 5.5, qui, selon l’auteur, est légèrement meilleur.

L’auteur en tire une conclusion simple. Si l’IA accélère aussi la recherche en sécurité, les spécialistes d’Anthropic devraient travailler environ 10 fois plus vite en interne, et les équipes externes 5 fois plus vite dès maintenant. Ces dernières disposent en outre d’un avantage : elles peuvent rapidement augmenter leurs dépenses de calcul. Redwood bénéficie d’un financement solide et multiplierait volontiers ses dépenses par 5 si le nombre d’expériences était multiplié par 5. L’accélération du travail devrait donc se traduire par une accélération équivalente des projets.

En pratique, l’auteur situe plutôt son gain autour de 2–3 fois. C’est déjà beaucoup, mais ce n’est pas 5x.

Trois explications possibles

Nous avons mal intégré l’IA. C’est possible. Mais l’équipe utilise activement des agents, principalement Claude Code et, depuis peu, Claude Tag. Elle dispose aussi de sa propre infrastructure de recherche autonome, qui a déjà produit des résultats publiés. Les faiblesses sont connues : Claude prend parfois des décisions « complètement aberrantes » qui compromettent l’ensemble du résultat, et rédige mal le rapport final. Si Anthropic disposait d’une infrastructure améliorant radicalement l’utilité des modèles, elle en ferait probablement un produit. Il reste toutefois possible qu’elle possède des outils internes spécifiques qu’elle ne diffuse pas. L’auteur penche davantage pour des limites fondamentales des modèles que pour un problème d’infrastructure.

Les tâches sont différentes. La recherche sur les capacités se prête peut-être mieux à l’accélération. Par exemple, si le principal obstacle aux expériences sur une nouvelle architecture est son implémentation efficace, le point fort du modèle répond précisément au besoin. Un employé d’Anthropic a expliqué à l’auteur que la recherche sur les capacités avait été nettement plus accélérée que leurs travaux à court terme sur l’alignement.

Le discernement est devenu le goulot d’étranglement. Une grande partie des recherches de Redwood est menée par des stagiaires et des collaborateurs juniors, qui travaillent étroitement avec un responsable pour définir les priorités. Les personnes chargées de l’exécution ont peut-être réellement accéléré, mais leur responsable manque désormais de temps pour comprendre ce qu’elles font. Anthropic compte peut-être davantage de chercheurs seniors autonomes, ou ses tâches exigent moins de décisions délicates.

Il existe aussi un exemple de véritable bond en avant. L’enquête de Ryan sur Hugging Face a été accélérée « de façon spectaculaire » grâce à un travail intensif avec des agents : le projet nécessitait de lire une immense quantité de documents, et Ryan sait lui-même très bien organiser des processus de travail avec des agents.

Ce que cela implique sur le terrain

Premièrement, les chiffres d’accélération ne sont pas transposables d’une équipe à l’autre. Un même modèle offre 10x lorsque la tâche est facilement vérifiable et que les personnes sont expérimentées, et 2–3x lorsqu’il faut prendre des décisions délicates et assurer un contrôle manuel. Si vous déployez des agents, examinez les goulots d’étranglement : vérification des résultats, rapports et disponibilité des collaborateurs expérimentés.

Deuxièmement, le principal risque est un agent qui compromet la méthodologie avec assurance. Des expériences rapides ne servent à rien si une partie des conclusions est invalide. Il faut des contrôles automatiques et une personne qui examine aussi bien le résultat final que le déroulement du travail.

Troisièmement, cette hypothèse a une conséquence vérifiable. Si les travaux empiriques sur la sécurité sont réellement accélérés de 5–10 fois, le flux de publications utiles provenant de chercheurs externes devrait bientôt augmenter sensiblement. L’auteur l’écrit explicitement : si les tâches les plus susceptibles d’être accélérées ne bénéficient d’aucun gain, il en conclura que les chercheurs s’y prennent mal. Il cite également une enquête d’Arcadia Impact dans laquelle des spécialistes externes ont estimé, sur la base de leurs propres déclarations, leur accélération à environ 1,6x.

Les limites sont évidentes : il s’agit du raisonnement d’un chercheur, pas d’une mesure. Les autoévaluations de vitesse sont notoirement peu fiables, et l’auteur reconnaît que les données d’Anthropic lui avaient elles-mêmes paru peu étayées au départ. La question reste néanmoins utile : le gain annoncé est-il une propriété du modèle, ou de l’équipe, des tâches et des processus qui l’entourent ?

Dossier

Questions clés sur cet article

D’où viennent les 5–10x ?

METR a récemment estimé qu’Anthropic bénéficiait d’une accélération globale d’un facteur 1,7 dans la progression des capacités de ses modèles grâce à l’aide de l’IA dans ses propres travaux. Ce résultat global implique une accélération bien plus importante de la recherche elle-même. Ajeya Cotra avance environ 10x ; des employés d’Anthropic ont évoqué quelque 12x. Pour Mythos 5, les chercheurs de l’entreprise ont parlé de 5x. Les équipes externes ont accès à Opus 5.5, qui, selon l’auteur, est légèrement meilleur.

Que sait-on sur Trois explications possibles ?

Nous avons mal intégré l’IA. C’est possible. Mais l’équipe utilise activement des agents, principalement Claude Code et, depuis peu, Claude Tag. Elle dispose aussi de sa propre infrastructure de recherche autonome, qui a déjà produit des résultats publiés. Les faiblesses sont connues : Claude prend parfois des décisions « complètement aberrantes » qui compromettent l’ensemble du résultat, et rédige mal le rapport final.

Que sait-on sur Ce que cela implique sur le terrain ?

Premièrement, les chiffres d’accélération ne sont pas transposables d’une équipe à l’autre. Un même modèle offre 10x lorsque la tâche est facilement vérifiable et que les personnes sont expérimentées, et 2–3x lorsqu’il faut prendre des décisions délicates et assurer un contrôle manuel. Si vous déployez des agents, examinez les goulots d’étranglement : vérification des résultats, rapports et disponibilité des collaborateurs expérimentés.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
Qu'en pensez-vous ?
Chargement des commentaires…