Engenheiro da Anthropic com 20 anos de carreira constrói observabilidade para os agentes Claude

A Anthropic contratou um engenheiro que passou vinte anos às voltas com uma única pergunta: dá para confiar nos números? Gurmit Saran, membro sênior do IEEE, trabalha desde 2025 no quadro da Anthropic, em San Francisco, e constrói a infraestrutura para entender como o Claude se comporta. Nas palavras dele, o objetivo é este: os dados devem ser precisos, estruturados e confiáveis, e as informações privadas devem continuar privadas. O perfil foi publicado pela IEEE Spectrum em 12 de outubro de 2026.

Da definição única de métrica à auditoria de agentes

A carreira de Saran começou em 2007, no escritório do Yahoo em Bengaluru, onde ele era líder técnico da equipe de dados. Ali, ele se deparou com um problema que depois se repetiria em todas as empresas. Equipes diferentes calculavam os «usuários ativos diários do site» com lógicas ligeiramente distintas e chegavam a números diferentes. A diretoria tomava decisões sobre recursos e produtos sem saber em qual número acreditar.

A equipe montou um repositório central com métricas rigidamente definidas. Saran descreveu quais eventos entram no cálculo e como tratar os casos extremos, aqueles em que o código padrão quebra. Sobre essa base surgiu a ferramenta interna de análise Yahoo! Digits, usada por todos os produtos da empresa.

Na Intuit, para onde foi em 2010, Saran construiu a análise de dados do TurboTax e do QuickBooks. Foi lá também que a empresa lançou uma função de detecção de declarações de imposto fraudulentas em tempo real. O sistema precisava proteger os dados dos contribuintes e atender aos requisitos da Receita Federal dos EUA (IRS). Desse projeto ele tirou o princípio que ainda orienta seu trabalho: privacidade não se acrescenta a um sistema pronto, ela é incorporada à arquitetura desde o primeiro dia.

Saran chegou à Meta, então ainda Facebook, em 2016, quando a empresa admitiu ter inflado o número de visualizações de vídeo. A causa, na visão dele, está na arquitetura das métricas. Sua resposta foi o sistema Metric360, em que uma definição única governa todos os cálculos de visualizações. Em 2021, quando ele saiu para a Wealthfront, o sistema era usado em toda a empresa.

Por que os agentes são mais difíceis de observar

Na Anthropic, Saran aplica a mesma abordagem a um objeto diferente. Ele compara o trabalho ao de um médico que decide com base nas leituras de instrumentos: se um deles se descalibra um pouco, o erro aparece justamente nos casos-limite, em que a decisão é mais difícil. Com a IA é igual, avalia ele: é preciso garantir que os instrumentos mostrem a verdade e que os dados signifiquem o que se afirma.

Os agentes complicam a tarefa. O sistema executa sequências de ações, e o engenheiro precisa registrar três coisas:

• o que exatamente o agente fez;
• em quais informações ele se baseou;
• se o resultado correspondeu à expectativa do usuário.

Tudo isso precisa acontecer sem expor dados de terceiros: segundo Saran, os sistemas são projetados para reconhecer informações sensíveis e protegê-las durante o processamento. Ele classifica isso como um problema de observabilidade muito mais difícil que qualquer um dos anteriores. Para bancos de dados e serviços web, a indústria tem ferramentas razoáveis; para LLMs, diz ele, elas ainda estão sendo inventadas.

O papel dos padrões e o que tirar dessa história

Saran entrou no IEEE em março de 2025 e vê na organização uma possível autora de padrões para infraestrutura de IA. O argumento é simples: existem padrões para normas de construção e testes de software, mas ainda não há equivalentes para a auditabilidade da IA. O segundo argumento diz respeito ao acesso. Segundo ele, o IEEE atua em países onde os engenheiros não têm um caminho fácil para a comunidade profissional global, e isso importa quando o desenvolvimento de IA se estende para além de algumas organizações em algumas cidades.

O texto não revela a arquitetura dos sistemas internos da Anthropic: é um perfil, não um relatório técnico. Mas as conclusões práticas se aplicam a qualquer equipe com agentes em produção. Primeiro, é preciso fixar definições únicas das métricas de qualidade, para que áreas diferentes não calculem de maneiras distintas uma «resposta bem-sucedida». Depois, registrar em log as cadeias de ações do agente, e não só as respostas finais. O mascaramento de dados sensíveis deve ser embutido no pipeline de telemetria desde o início, e não adicionado depois do primeiro incidente. Saran considera a auditabilidade uma das principais tarefas de engenharia da próxima década e, na opinião dele, fala-se dela bem menos do que das capacidades dos modelos.