Goodfire запускает «внутренние» мониторы ИИ-агентов, которые дешевле LLM-надзора

Goodfire выпустила мониторы для ИИ-агентов, которые обещают контроль за долю обычной цены. Вместо второй языковой модели, читающей каждое действие агента, система смотрит на внутренние сигналы самой модели в момент работы. Дорогая проверка подключается, только если картина вызывает сомнения. Конкретный коэффициент удешевления в анонсе не раскрыт, формулировка компании — «fraction of the cost».

Как устроен надзор «изнутри»

Сейчас стандартный способ присматривать за агентом выглядит так: агент пишет код, ходит по сайтам, вызывает инструменты, а параллельно вторая LLM читает полный лог и выносит вердикт. Схема понятная, но счёт растёт линейно. Каждый токен действий агента оплачивается дважды: сначала как работа, потом как проверка. Если агентов сотни и они работают часами, надзор становится отдельной статьёй бюджета.

Goodfire занимается интерпретируемостью, то есть изучением того, что происходит внутри нейросети между входом и выходом. Здесь эта наука превращена в продукт. Монитор считывает внутренние представления модели, пока та работает, и ищет в них признаки нежелательного поведения. Это может быть обман, выход за рамки задачи или попытка обойти ограничения. Читать весь текст действий не нужно. Достаточно сигнала о том, что с моделью что-то не так.

Каскад вместо тотальной проверки

Ключевая идея в экономике. Дешёвый внутренний монитор работает постоянно и пропускает основной поток. Дорогой уровень, то есть вторая модель или человек, включается выборочно. Так устроены многие системы безопасности вне ИИ: простой датчик дежурит всегда, сложный анализ запускается по тревоге.

Отсюда вытекает и главный вопрос к продукту. Каскад хорош ровно настолько, насколько хорош первый фильтр. Пропущенное нарушение никто не проверит, а слишком чувствительный монитор будет звать дорогую проверку так часто, что экономия исчезнет. Баланс между ложными срабатываниями и пропусками в доступных материалах не описан.

Что известно на данный момент

• Подход: считывание внутренних состояний модели во время работы агента, без отдельного чтения всего лога.
• Эскалация: вторая проверка запускается только при подозрительных сигналах.
• Заявленный эффект: стоимость надзора составляет долю от схемы «LLM следит за LLM».
• Не раскрыто: точные проценты экономии, доля пойманных нарушений, доля ложных тревог.
• Не раскрыто: список поддерживаемых моделей и требуется ли доступ к весам.

Последний пункт важен. Заглянуть в активации можно, только если у вас есть доступ к модели на низком уровне. С открытыми весами или собственной моделью это реально. С закрытым API, где виден только текст ответа, такой монитор не подключить. Для компаний, строящих агентов поверх чужих API, ценность продукта пока неочевидна.

Практический взгляд

Пока это заявка, а не проверенный результат. Заявления о стоимости идут от самой компании, независимых бенчмарков в анонсе нет. Но направление выглядит разумным: по мере роста автономности агентов вопрос «сколько стоит присматривать» становится таким же важным, как «сколько стоит запускать».

Командам, которые уже гоняют агентов в продакшене, имеет смысл замерить свои расходы на надзор в процентах от общей стоимости задачи. Если проверка вторым LLM съедает заметную часть бюджета, внутренние мониторы стоит тестировать на пилоте. Проверять нужно не только цену, но и поведение на своих сценариях: сколько реальных нарушений ловится, сколько ложных тревог приходится разбирать вручную. Командам на закрытых API разумно подождать и посмотреть, предложит ли Goodfire вариант без доступа к весам.