Anthropic a réécrit trois fois son test technique : Claude Opus 4.5 rattrape les meilleurs ingénieurs

Anthropic utilise depuis début 2024 un test technique pour recruter ses ingénieurs en performance. Plus de 1000 candidats l'ont passé, et des dizaines d'entre eux travaillent dans l'entreprise, dont ceux qui ont lancé le cluster Trainium et livré tous les modèles depuis Claude 3 Opus. Aujourd'hui, chaque nouvelle version de Claude met ce test en échec. À durée égale, Claude Opus 4 a devancé la plupart des humains. Claude Opus 4.5 a égalé les meilleurs candidats : sur un test de deux heures, il est devenu impossible de les distinguer du modèle. L'auteur du test, Tristan Hume, responsable au sein de l'équipe d'optimisation des performances, a décrit cette évolution le 21 janvier 2026.

Comment le test était conçu

En novembre 2023, Anthropic préparait le lancement de Claude Opus 3. Les clusters TPU et GPU étaient déjà en place, un gros cluster Trainium était attendu, mais les ingénieurs en performance manquaient. Tristan Hume a publié un message sur Twitter, et la boîte mail a reçu plus de candidatures que le pipeline standard ne pouvait en traiter. Il lui a fallu deux semaines pour concevoir le test.

Il a écrit en Python un simulateur d'accélérateur fictif, proche d'un TPU. Les candidats y optimisent du code en s'appuyant sur une trace Perfetto rechargée à chaud, qui détaille chaque instruction. La machine dispose d'une mémoire scratchpad à gestion manuelle, de VLIW (plusieurs unités d'exécution par cycle), de SIMD et du multicœur. Le problème n'a volontairement rien à voir avec le deep learning : il s'agit d'un parcours d'arbre parallèle, inspiré de l'inférence SIMD sans branchements pour les arbres de décision. Les candidats partent d'une implémentation entièrement séquentielle, passent par un échauffement sur le multicœur, puis choisissent entre SIMD et empaquetage VLIW. La première version contenait encore un bug à déboguer, ce qui obligeait à construire un outil dédié.

Le tout premier résultat a validé l'idée. Un candidat issu de la vague Twitter a obtenu un score nettement supérieur aux autres. Il a rejoint l'équipe et a presque aussitôt trouvé un contournement pour un bug de compilateur qui bloquait une release : le calcul d'indices des tenseurs dépassait 32 bits.

Comment Claude a mis le test en échec

En mai 2025, plus de la moitié des candidats auraient obtenu un meilleur résultat en confiant simplement la tâche à Claude 3.7 Sonnet via Claude Code. La version préliminaire d'Opus 4 a produit une solution meilleure que celle de presque tous les humains dans la limite de 4 heures. Tristan Hume a utilisé le modèle pour repérer le point où il commence à patiner, et en a fait le point de départ de la deuxième version. Il a écrit un code de départ plus propre, ajouté de nouvelles fonctionnalités à la machine, retiré le multicœur que Claude résolvait déjà, et ramené la limite de 4 heures à 2, car la coordination des créneaux allongeait de plusieurs semaines le recrutement.

Avec Opus 4.5, cela n'a pas suffi. Le modèle a levé les principaux goulots d'étranglement, appliqué les microoptimisations classiques et franchi le seuil de réussite en moins d'une heure. Puis il s'est arrêté, estimant avoir atteint la limite de bande passante mémoire. La plupart des humains aboutissent à la même conclusion. Pourtant, une astuce exploite la structure du problème. Quand Tristan Hume a indiqué le nombre de cycles atteignable, Claude a réfléchi et trouvé cette astuce. À la marque des 2 heures, son résultat égalait le meilleur résultat humain, obtenu par une personne qui utilisait elle-même activement Claude 4. Dans un harnais interne avec test-time compute, le modèle continuait à améliorer son résultat à mesure que le temps augmentait.

Deux tentatives pour sauver le format

Tristan Hume a écarté l'interdiction de l'IA : elle est impossible à contrôler et éloigne le test du travail réel. L'option « battre Claude Code en solo » lui paraît elle aussi douteuse. Claude travaille vite, tandis que les humains passent la moitié du temps à lire l'énoncé, si bien que la stratégie gagnante pourrait consister à regarder faire depuis la touche.

La première nouvelle tâche est issue d'une optimisation réelle de Tristan Hume : la transposition de données dans les registres 2D du TPU sans conflits de bancs mémoire. Opus 4.5 a trouvé une approche que l'auteur n'avait pas prévue : transposer non pas les données, mais l'ensemble du calcul. Tristan Hume a fermé cette brèche. Le modèle n'a pas atteint l'optimum, mais avec le mode ultrathink et un budget de réflexion élargi, il a malgré tout résolu la tâche. La raison : les conflits de bancs mémoire sont très documentés, et Claude dispose d'un énorme bagage d'expérience.

La seconde tentative part dans une direction plus étrange. Il fallait un problème hors de la distribution des données d'entraînement, et Tristan Hume s'est tourné vers les jeux de Zachtronics, qui utilisent des jeux d'instructions inhabituels et très contraints. Cela entre en conflit avec l'objectif de faire ressembler le test à un vrai travail, et l'auteur reconnaît ce compromis.

Faits clés

• Le test est utilisé depuis début 2024, et plus de 1000 candidats l'ont passé.
• La limite de temps est passée de 4 à 2 heures.
• Claude 3.7 Sonnet surpassait plus de 50% des candidats.
• Opus 4 a devancé presque tous les humains en 4 heures.
• Opus 4.5 a franchi le seuil en moins d'une heure et égalé le meilleur humain en 2 heures.
• Avec un temps illimité, les meilleurs humains surpassent encore Claude.

Enseignements pratiques pour les recruteurs

Le modèle résout par l'expérience accumulée les problèmes fondés sur des techniques connues, comme la transposition ou les conflits de bancs mémoire. Il est plus fiable de tester le raisonnement sur un terrain inconnu que la connaissance. Interdire l'IA apporte peu : il est plus simple de concevoir le test en partant du principe que le candidat travaille avec un modèle. Le travail lui-même s'est aussi déplacé vers le débogage complexe, la conception de systèmes, l'analyse de performance et la vérification de la correction, autant de compétences difficiles à évaluer en quelques heures. Anthropic a publié l'énoncé original sous forme de défi ouvert : quiconque bat le résultat d'Opus 4.5 peut écrire à l'entreprise.