METR : les modèles d'Anthropic progressent deux fois plus vite qu'il y a un an, en grande partie grâce à l'IA

Imaginez une équipe de développeurs dont chaque ingénieur se met soudain à travailler bien plus vite grâce à son propre produit. C'est exactement ce qui se passe actuellement chez Anthropic, selon le nouveau rapport de METR. L'entreprise utilise l'IA pour construire une IA plus puissante, avec un effet notable.

Ce qu'a découvert METR

Les chercheurs de METR ont travaillé 11 semaines au sein de l'entreprise pour étudier l'influence de l'IA sur ses propres développements. Conclusion principale : les modèles d'Anthropic s'améliorent environ deux fois plus vite qu'il y a un an. D'après les benchmarks, l'entreprise a réalisé en un an l'équivalent d'environ deux ans de progrès historique.

Détail important : METR est convaincu qu'il ne s'agit pas simplement d'un achat de puissance de calcul supplémentaire. Auparavant, l'échelle était le principal moteur du progrès. Désormais, selon les chercheurs, l'essentiel de l'accélération en octobre est lié à l'IA elle-même, et sa contribution grandit.

Des sondages sur Slack et des entretiens le confirment. Les employés qui travaillent avec le modèle interne le plus puissant estiment en moyenne leur productivité environ 12 fois supérieure à celle sans IA. C'est environ le double de ce qu'ils déclaraient il y a quelques mois, lorsqu'ils utilisaient Mythos 5. Ces estimations sont subjectives, mais la tendance est visible.

Pour l'instant, l'accélération vient surtout du fait que l'IA aide les chercheurs humains, et non d'un fonctionnement totalement autonome. Toutefois, METR avertit qu'il existe des signes d'une montée prochaine des contributions autonomes. Les chercheurs n'ont trouvé aucun signe manifeste de rendements décroissants ni de goulots d'étranglement susceptibles d'empêcher une accélération supplémentaire.

Les modèles que nous ne voyons pas

Une part importante du gain provient de modèles internes inaccessibles au public. Au cours des six derniers mois, Anthropic a terminé l'entraînement de trois nouveaux modèles, qui ne sont pas encore sortis. METR les appelle Model 2, Model 3 et Model 4 (ce sont des noms de code conventionnels, ils s'appellent autrement en interne). L'entraînement s'est achevé respectivement en juillet, en août-septembre et en septembre-octobre.

Pour un praticien, cela signifie une chose simple : ce que les développeurs utilisent via l'API est en retard sur ce qu'on utilise à l'intérieur du laboratoire. Si vous planifiez un produit à un an, il faut prévoir que les capacités des modèles croîtront plus vite que dans les prévisions de l'an dernier.

Pourquoi les chercheurs s'inquiètent

Anthropic a été autorisée à modifier le rapport final, et elle l'a fait de façon marquée. Selon METR, la version publique a été expurgée de la majeure partie des preuves les plus informatives du rapport complet d'environ 100 pages. Une partie des demandes de données a été refusée, et l'entreprise a annulé la vérification de la part de calcul consacrée à la sécurité plutôt qu'à l'augmentation des capacités.

Le cofondateur d'Anthropic, Sam McCandlish, a reconnu que cela compliquait la vérification, mais a justifié la décision par la sensibilité commerciale et le risque de donner aux concurrents une « feuille de route » de l'accélération. L'entreprise promet de publier son propre rapport dans les semaines à venir.

Les critiques soulignent une contradiction : Anthropic parle de sécurité plus fort que les autres, mais accélère elle-même. Daniel Kokotajlo l'a accusée de « jouer imprudemment avec nos vies ». Marius Hobbhahn, d'Apollo Research, estime que le rythme est même plus rapide que le scénario AI 2027 et conseille de « se préparer à la folie ». Le député Alex Bores a appelé le Congrès à interdire l'auto-amélioration récursive.

Que faire de tout cela

Premièrement, ne considérez pas les capacités actuelles des modèles comme un plafond : planifiez vos produits avec une marge pour une amélioration rapide de la qualité et un raccourcissement du cycle entre les versions. Deuxièmement, suivez la réglementation : la pression sur les laboratoires s'intensifie, et les exigences de transparence pourraient toucher tous ceux qui construisent sur des modèles de pointe (frontier). Troisièmement, abordez les auto-évaluations de productivité avec prudence : la hausse de 12 fois repose sur des sondages, et une grande partie des preuves est masquée. Le public doit se fier à l'évaluation de METR plutôt que de vérifier lui-même les données.