Cognition запустила Devin Oncall: 100% на SREGym и фикс прода за 2м 21с

Cognition открыла общий доступ к Devin Oncall, облачному агенту для дежурств, который сам разбирает алерты и баг-репорты, диагностирует сбои в продакшене и пытается их устранить. По данным компании, на бенчмарке SREGym он набрал 100% сквозного успеха при лучшем времени до устранения проблемы 2 минуты 21 секунда. В боевой эксплуатации система уже обрабатывает тысячи алертов в день у крупных клиентов.

Бенчмарк: что именно измеряли

SREGym проверяет агентов на типовых неисправностях в живых системах. Каждый тест основан на реальном инциденте, и в одном прогоне нужно и найти первопричину, и применить работающую митигацию. По графикам Cognition, Devin Oncall на GPT-6 Astra и Claude Opus 5.5 дошёл до 100%, на GPT-6.1 Sol показал 94,1%, на Claude Fable 5.1 получил 85,3%. Для сравнения: Claude Code на Sonnet 5 набрал 45,1%, Codex на GPT-5.6 Sol 76,5%, CloudThinker на Opus 5 тоже 76,5%.

Оговорка важная. Сама Cognition признаёт, что модели среднего уровня уже выбили максимум на этом более «чистом» наборе, а прошлое поколение давало 50–60%. Бенчмарк насыщен, и 100% на нём не гарантирует такого же результата в запутанном легаси. Компания прямо пишет, что агенты по-прежнему останавливаются на первой правдоподобной причине.

Как устроен агент

Философия опирается на «горький урок»: вместо длинных заточенных промптов, графовых архитектур и дообученных SRE-моделей ставка сделана на сильного кодингового агента с нужным контекстом и инструментами. Авторы, среди которых упоминаются выходцы из TierZero, говорят, что прежние приёмы перестают работать по мере роста моделей и их приходится вычищать. Архитектура Devin не привязана к одной модели, так что под каждую задачу дежурства можно брать лучшую.

Против преждевременных выводов работает второй агент-ревьюер. Он асинхронно проверяет рассуждения и вызовы инструментов основного агента и ловит типичные ошибки: корреляцию вместо причинности, игнор противоречивой телеметрии, путаницу между триггером и первопричиной. Свежий деплой, по логике системы, это зацепка, а не объяснение.

Контекст собран из трёх слоёв:

• Per-Responder Memory: память каждого респондера, например кого отмечать и как вести себя в следующих расследованиях.
• Per-Org Skills: навыки, которые Devin генерирует, регулярно индексируя среду. Пример: подсчёт радиуса поражения для клиентов.
• Per-Org Memory: постобработка каждого расследования и «низкоточный кэш» институциональных знаний.

Продукта два. Responders следят за потоком алертов или баг-репортов. Скрытый родительский агент решает, новая ли это проблема, и запускает дочернее расследование со свежим контекстом. Так пропускается около 60% расследований (в иллюстрации 65 из 100 алертов), и затраты падают до 46% от режима «разбирать всё», то есть экономия 54%. Incidents подключаются к каналу инцидента, ведут живой документ с таймлайном и доказательствами, а прямые вопросы инженеров отдают дочерним агентам, пока родитель продолжает фоновое расследование. Сообщения предварительно фильтруются.

Клиенты и цифры

• Reducto: Devin заметил тренд по нескольким алертам и сам открыл инцидент, раньше срабатывания продовых алертов. Теперь он первым разбирает большинство алертов, иногда закрывает проблемы средней серьёзности или готовит и тестирует PR до вызова инженера.
• RV Tech (СП Rivian и Volkswagen): агент вытаскивает идентификаторы машин и время из обращений, подтягивает логи, запускает парсеры и делает триаж. Одна команда вернула нескольких инженеров к продуктовой работе.
• AngelList: первопричина находится в 3,5 раза чаще, чем во внутренней системе Sky; 50% инцидентов закрыты полностью автономно. Sky списали.

Стоит учитывать, что все цифры взяты из блога вендора, независимой проверки нет.

Практический вывод для команд: начинать разумнее с Responders на одном шумном алертовом канале и замерять долю пропущенных дублей и точность первопричин. Подключение наблюдаемости (в отзывах упоминается Datadog MCP) и трассировки кода определит качество диагностики сильнее выбора модели. Права на действия в проде стоит ограничить митигациями вроде отката и масштабирования, как и рекомендует сама Cognition, а любые правки кода пускать через ревью человеком.