Chez Anthropic, un ingénieur de 20 ans d'expérience bâtit l'observabilité des agents Claude

Anthropic recrute un ingénieur qui a passé vingt ans sur une seule question : peut-on se fier aux chiffres ? Gurmit Saran, membre senior de l'IEEE, travaille depuis 2025 au sein d'Anthropic, à San Francisco. Il y construit l'infrastructure qui permet de comprendre le comportement de Claude. Selon sa formulation, l'objectif est le suivant : les données doivent être exactes, structurées et dignes de confiance, et les informations privées doivent rester privées. Le portrait a été publié par IEEE Spectrum le 12 octobre 2026.

D'une définition unique des métriques à l'audit des agents

La carrière de Gurmit Saran commence en 2007, dans le bureau de Yahoo à Bengaluru, où il dirige techniquement l'équipe data. Il y rencontre un problème qui se répétera dans chaque entreprise. Plusieurs équipes calculaient les « utilisateurs actifs quotidiens du site » avec des logiques légèrement différentes et obtenaient des chiffres différents. La direction arbitrait des questions de ressources et de produits sans savoir quel chiffre croire.

L'équipe a monté un référentiel central de métriques strictement définies. Gurmit Saran y a décrit quels événements entrent dans le calcul et comment traiter les cas limites, ceux où le code standard échoue. Par-dessus est né Yahoo! Digits, un outil d'analyse interne utilisé par tous les produits de l'entreprise.

Chez Intuit, où il arrive en 2010, Gurmit Saran construit l'analytique de TurboTax et de QuickBooks. L'entreprise y lance aussi une fonction de détection en temps réel des déclarations fiscales frauduleuses. Le système devait protéger les données des contribuables et satisfaire aux exigences de l'administration fiscale américaine. Il en a tiré un principe qui guide encore son travail : la confidentialité ne se greffe pas sur un système terminé, elle s'inscrit dans l'architecture dès le premier jour.

Il arrive chez Meta, alors encore Facebook, en 2016, au moment où l'entreprise reconnaît avoir surestimé le nombre de vues de vidéos. Il en voit la cause dans l'architecture des métriques. Sa réponse a été Metric360, un système où une définition unique pilote tous les calculs de vues. En 2021, quand il part pour Wealthfront, toute l'entreprise l'utilisait.

Pourquoi les agents sont plus difficiles à observer

Chez Anthropic, Gurmit Saran applique la même approche à un autre objet. Il compare son travail à celui d'un médecin qui décide d'après les relevés de ses instruments : si l'un d'eux dérive légèrement, l'erreur apparaît précisément dans les cas limites, là où la décision est la plus délicate. Il en va de même pour l'IA, estime-t-il : il faut s'assurer que les instruments disent vrai et que les données signifient ce qu'on affirme.

Les agents compliquent la tâche. Le système exécute des séquences d'actions, et l'ingénieur doit consigner trois choses :

• ce que l'agent a réellement fait ;
• sur quelles informations il s'est appuyé ;
• si le résultat a correspondu aux attentes de l'utilisateur.

Tout cela doit se faire sans exposer les données de tiers : selon Gurmit Saran, les systèmes sont conçus pour reconnaître les informations sensibles et les protéger au fil du traitement. Il juge ce problème d'observabilité bien plus complexe que tous ceux qu'il a connus. Pour les bases de données et les services web, l'industrie dispose d'outils plutôt corrects ; pour les LLM, dit-il, on est encore en train de les inventer.

Le rôle des normes et ce qu'il faut en retenir

Gurmit Saran a rejoint l'IEEE en mars 2025. Il y voit un auteur potentiel de normes pour l'infrastructure d'IA. L'argument est simple : il existe des normes pour la construction et pour les tests logiciels, mais rien d'équivalent pour l'auditabilité de l'IA. Un second argument concerne l'accès. D'après lui, l'IEEE est présent dans des pays où les ingénieurs n'ont pas de voie facile vers la communauté professionnelle mondiale, ce qui compte quand le développement de l'IA sort du cercle de quelques organisations dans quelques villes.

L'article ne dévoile pas l'architecture des systèmes internes d'Anthropic : c'est un portrait, pas un rapport technique. Mais ses enseignements pratiques valent pour toute équipe qui exploite des agents en production. D'abord, fixer des définitions uniques pour les métriques de qualité, afin que les départements ne comptent pas chacun à sa façon ce qu'est une « réponse réussie ».

Ensuite, journaliser les chaînes d'actions de l'agent, et pas seulement les réponses finales. Enfin, intégrer le masquage des données sensibles dans le pipeline de télémétrie dès le départ, plutôt que de l'ajouter après le premier incident. Gurmit Saran considère l'auditabilité comme l'un des principaux défis d'ingénierie de la prochaine décennie, et il estime qu'on en parle nettement moins que des capacités des modèles.