Инженер Anthropic с 20-летним стажем строит наблюдаемость для агентов Claude

Anthropic берёт в команду инженера, который двадцать лет занимался одним вопросом: можно ли верить цифрам. Гурмит Саран, старший член IEEE, с 2025 года работает в штате Anthropic в Сан-Франциско и строит инфраструктуру для понимания того, как ведёт себя Claude. По его формулировке, задача звучит так: данные должны быть точными, структурированными и заслуживающими доверия, а приватная информация должна оставаться приватной. Профиль опубликовал IEEE Spectrum 12 октября 2026 года.

От единого определения метрики к аудиту агентов

Карьера Сарана началась в 2007 году в бенгалурском офисе Yahoo, где он был техлидом команды данных. Там он столкнулся с проблемой, которая потом повторялась в каждой компании. Разные команды считали «ежедневных активных пользователей сайта» по слегка отличающейся логике и получали разные числа. Руководство принимало решения о ресурсах и продуктах, не понимая, какому числу верить.

Команда собрала центральный репозиторий с жёстко заданными метриками. Саран описал, какие события входят в расчёт и как обрабатывать граничные случаи, когда стандартный код ломается. Поверх этого появился внутренний аналитический инструмент Yahoo! Digits, которым пользовались все продукты компании.

В Intuit, куда он перешёл в 2010 году, Саран строил аналитику для TurboTax и QuickBooks. Там же компания запустила функцию выявления мошеннических налоговых деклараций в реальном времени. Система должна была защищать данные налогоплательщиков и укладываться в требования Налогового управления США. Из этого проекта он вынес принцип, на котором строит работу до сих пор: приватность нельзя навесить на готовую систему, она закладывается в архитектуру с первого дня.

В Meta, тогда ещё Facebook, Саран оказался в 2016 году, когда компания признала завышение числа просмотров видео. Причину он видит в архитектуре метрик. Его ответом стала система Metric360, где единое определение управляет всеми расчётами просмотров. К 2021 году, когда он уходил в Wealthfront, ею пользовались по всей компании.

Почему агентов труднее наблюдать

В Anthropic Саран применяет тот же подход к другому объекту. Он сравнивает работу с врачом, который принимает решения по показаниям приборов: если один из них слегка разъехался, ошибка проявится именно в пограничных случаях, где решение самое сложное. С ИИ так же, считает он: нужно убедиться, что приборы показывают правду и что данные означают то, что заявлено.

Агенты усложняют задачу. Система выполняет последовательности действий, а инженеру нужно зафиксировать три вещи:

• что именно агент сделал;
• на какой информации он основывался;
• совпал ли результат с ожиданиями пользователя.

При этом всё должно происходить без раскрытия чужих данных: по словам Сарана, системы спроектированы так, чтобы распознавать чувствительную информацию и защищать её по ходу обработки. Он называет это куда более сложной задачей наблюдаемости, чем любая из прежних. Для баз данных и веб-сервисов у индустрии есть неплохие инструменты, для LLM, по его словам, их ещё только придумывают.

Роль стандартов и что взять из этой истории

В IEEE Саран вступил в марте 2025 года и видит в организации потенциального автора стандартов для ИИ-инфраструктуры. Аргумент простой: стандарты есть для строительных норм и тестирования ПО, а для аудируемости ИИ аналогов пока нет. Второй довод касается доступа. По его словам, IEEE работает в странах, где у инженеров нет лёгкого пути в мировое профессиональное сообщество, а это важно, когда разработка ИИ выходит за пределы нескольких организаций в нескольких городах.

Материал не раскрывает архитектуру внутренних систем Anthropic, это профиль, а не технический отчёт. Но практические выводы из него применимы к любой команде с агентами в продакшене. Сначала нужно зафиксировать единые определения метрик качества, чтобы разные отделы не считали «успешный ответ» по-разному. Затем логировать цепочки действий агента, а не только итоговые ответы. Маскирование чувствительных данных надо встраивать в конвейер телеметрии с самого начала, а не добавлять после первого инцидента. Саран считает аудируемость одной из главных инженерных задач ближайшего десятилетия, и о ней, по его мнению, говорят заметно меньше, чем о возможностях моделей.