Un ingeniero de Anthropic con 20 años de experiencia construye la observabilidad de los agentes de Claude

Anthropic ha incorporado a un ingeniero que lleva veinte años dedicado a una sola pregunta: si se puede confiar en las cifras. Gurmit Saran, miembro sénior del IEEE, trabaja desde 2025 en la plantilla de Anthropic en San Francisco y construye la infraestructura para entender cómo se comporta Claude. Según su formulación, el objetivo es este: los datos deben ser precisos, estar estructurados y merecer confianza, y la información privada debe seguir siendo privada. El perfil lo publicó IEEE Spectrum el 12 de octubre de 2026.

De la definición única de métrica a la auditoría de agentes

La carrera de Saran empezó en 2007 en la oficina de Yahoo en Bengaluru, donde era líder técnico del equipo de datos. Allí se topó con un problema que después se repetiría en cada compañía. Distintos equipos calculaban los «usuarios activos diarios del sitio» con una lógica ligeramente distinta y obtenían cifras diferentes. La dirección tomaba decisiones sobre recursos y productos sin saber en qué número confiar.

El equipo montó un repositorio central con métricas definidas de forma estricta. Saran describió qué eventos entran en el cálculo y cómo tratar los casos límite en los que el código estándar falla. Sobre esa base surgió la herramienta analítica interna Yahoo! Digits, que usaban todos los productos de la compañía.

En Intuit, adonde se trasladó en 2010, Saran construyó analítica para TurboTax y QuickBooks. Allí la compañía lanzó también una función para detectar declaraciones de impuestos fraudulentas en tiempo real. El sistema tenía que proteger los datos de los contribuyentes y cumplir los requisitos del Servicio de Impuestos Internos de EE. UU. De ese proyecto extrajo el principio sobre el que sigue basando su trabajo: la privacidad no se puede añadir a un sistema ya terminado, sino que se incorpora a la arquitectura desde el primer día.

A Meta, entonces todavía Facebook, llegó en 2016, cuando la compañía reconoció haber inflado el número de visualizaciones de vídeo. La causa, según él, estaba en la arquitectura de las métricas. Su respuesta fue el sistema Metric360, en el que una única definición gobierna todos los cálculos de visualizaciones. En 2021, cuando se marchó a Wealthfront, lo usaba toda la compañía.

Por qué es más difícil observar a los agentes

En Anthropic, Saran aplica el mismo enfoque a un objeto distinto. Compara su trabajo con el de un médico que toma decisiones a partir de las lecturas de los instrumentos: si uno de ellos se desajusta levemente, el error aflorará justo en los casos límite, donde la decisión es más difícil. Con la IA ocurre lo mismo, opina: hay que asegurarse de que los instrumentos muestran la verdad y de que los datos significan lo que se afirma que significan.

Los agentes complican la tarea. El sistema ejecuta secuencias de acciones, y el ingeniero debe registrar tres cosas:

• qué hizo exactamente el agente;
• en qué información se basó;
• si el resultado coincidió con lo que esperaba el usuario.

Además, todo debe ocurrir sin exponer datos ajenos: según Saran, los sistemas están diseñados para reconocer la información sensible y protegerla durante el procesamiento. Lo describe como un problema de observabilidad mucho más complejo que cualquiera de los anteriores. Para las bases de datos y los servicios web, la industria dispone de herramientas razonablemente buenas; para los LLM, según él, apenas se están empezando a idear.

El papel de los estándares y qué se puede sacar de esta historia

Saran ingresó en el IEEE en marzo de 2025 y ve en la organización a un posible autor de estándares para la infraestructura de IA. El argumento es sencillo: existen estándares para las normas de construcción y las pruebas de software, pero todavía no hay equivalentes para la auditabilidad de la IA. Un segundo argumento se refiere al acceso. Según él, el IEEE opera en países donde los ingenieros no tienen fácil el camino hacia la comunidad profesional mundial, y eso importa cuando el desarrollo de la IA se extiende más allá de unas pocas organizaciones en unas pocas ciudades.

El artículo no revela la arquitectura de los sistemas internos de Anthropic: es un perfil, no un informe técnico. Pero sus conclusiones prácticas sirven a cualquier equipo con agentes en producción. Primero hay que fijar definiciones únicas de las métricas de calidad, para que distintos departamentos no cuenten de forma diferente una «respuesta exitosa».

Después, registrar las cadenas de acciones del agente, y no solo las respuestas finales. El enmascaramiento de datos sensibles debe integrarse en el pipeline de telemetría desde el principio, y no añadirse tras el primer incidente. Saran considera la auditabilidad uno de los principales retos de ingeniería de la próxima década y, en su opinión, se habla de ella bastante menos que de las capacidades de los modelos.