Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоAPI / Продукт · В работуOpenAI Blog→ оригинал

Агенты Codex провели 1700 расследований тормозов ChatGPT и нашли причину в 600

Когда код пишут агенты, ChatGPT может замедлиться после любой выкатки, а искать причину вручную не успевают. В OpenAI сигнал о просадке скорости теперь запускает агента Codex: он ищет причину и предлагает правку, а инженер её проверяет. За три с небольшим месяца система провела свыше 1700 расследований и нашла причину в 600+ случаях, около 17 в день. Командам с частыми релизами стоит отдать поиск причин агентам, а решение о выкатке оставить людям.

AI-обработка оригинала OpenAI Blog; редакция Hamidun News
Агенты Codex провели 1700 расследований тормозов ChatGPT и нашли причину в 600
Источник: OpenAI Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникOpenAI Blog ↗
Главный редактор
Ключевой факт #1Из 100 проверенных вручную диагнозов 70% точные, 30% требовали доработки
Ключевой факт #2Второй сеанс Codex пытается опровергнуть диагноз и ловит ошибки
Ключевой факт #3После выкатки другой агент проверяет, вернулась ли скорость к норме

Представьте, что после очередной выкатки ChatGPT стал отвечать чуть медленнее: например, вырос так называемый первый токен — пауза между вопросом и началом ответа. Раньше инженер OpenAI шёл в метрики, логи и трейсы и вручную выяснял, какое изменение виновато. Сейчас код пишут агенты, релизов становится всё больше, и разбирать каждую просадку руками уже не получается.

Поэтому компания построила Performance Factory — облачную систему на базе Codex: когда срабатывает оповещение о просадке, агент сам расследует причину и предлагает исправление, а человек его проверяет. За чуть более трёх месяцев первый рабочий сценарий системы отследил более 1700 расследований и установил первопричину (то есть конкретное изменение, из-за которого всё замедлилось) более чем в 600 случаях. Это около 17 автоматических расследований каждый день.

Для вашей команды это пример того, как можно разгрузить людей от рутинного поиска причин, не отдавая агентам решение о том, что попадёт в продакшен.

Как OpenAI дошла до «фабрики»

Путь состоял из шести шагов. Сначала всё делали вручную: смотрели метрики, сравнивали трейсы, отлаживали живые машины, читали код. Для повторяющихся проблем, вроде просадок задержки первого токена, команда писала инструменты, и со временем их накопилось больше 30, включая профилировщики CPU и выделения памяти.

Затем Codex стал напарником: инженер спрашивал «почему стало медленнее?», а агент искал нужные метрики, трейсы и код даже в незнакомой системе. Но направлять расследование всё равно приходилось человеку. Тогда процесс команды записали в общий навык perf-forensics. Он подсказывает агенту, какие инструменты доступны, когда их применять и как действовать: найти момент начала просадки, определить затронутые запросы и проверить, не объясняют ли её выкатки или смена конфигурации. Навык проверяли на оценочных тестах по прошлым регрессиям, и для выбранных типов проблем (например, падений скорости и доступности ChatGPT) Codex стал выдавать диагноз за один запуск.

Дальше инженеры почувствовали себя «человеческим прокси»: пришёл алерт, человек копирует его в Codex, а результат вставляет обратно в Slack. Расследования перенесли в облако, и алерт стал запускать сессию сам. Но на этом автоматизация заканчивалась: фикс и проверку после выкатки всё равно делал человек, а разобраться, какие регрессии вообще требуют внимания, приходилось в ветках Slack. Performance Factory закрыла цепочку целиком.

Из чего состоит система

Четыре части. Сервис задач: инженеры описывают воркфлоу конфигурационными файлами и промптами в Markdown, где указано, какие у задачи есть состояния, какие переходы разрешены и на каких шагах нужен человек. Диспетчер периодически проверяет, какие задачи готовы к следующему шагу, и запускает для них Codex с инструкциями для текущего состояния. Облачный API запускает Codex внутри сети OpenAI с доступом к репозиториям и инструментам наблюдаемости: метрикам, логам, трейсам, профилям CPU и снимкам памяти. Агент работает под сервисной учётной записью, поэтому права можно ограничивать, а его действия легко отличить от человеческих. Наконец, подписки: задача, ожидающая человека или выкатки, «засыпает» и просыпается по событию, например по комментарию в pull request или упавшей проверке CI.

Первый воркфлоу — Regression Workflow. Алерт открывает задачу, агент находит причину и предлагает правку, инженер ревьюит и решает, что выкатывать, а после деплоя другой агент проверяет, вернулись ли показатели к исходным. Если регрессия осталась, задача возвращается на расследование. Состояние и выводы хранятся в самой задаче, а не в памяти одного агента, поэтому работу могут подхватить другие агенты или люди.

Спор с самим собой и сложность исправлений

Агент ищет, когда метрика впервые ухудшилась (иногда за несколько часов до алерта), и сравнивает группы запросов: стали ли медленнее похожие запросы или просто выросла доля уже медленных. Затем смотрит выкатки и изменения флагов, читает код и проверяет по логам и трейсам, мог ли он дать такой эффект.

Сначала агенты нередко останавливались на первом правдоподобном объяснении, и часть диагнозов оказывалась неверной. Решением стало состязательное ревью: отдельная сессия Codex пытается опровергнуть диагноз. Если виновата выкатка, остались ли здоровыми похожие запросы, которых она не коснулась? Если изменение откатили, восстановилась ли метрика? В одном случае агент связал сбои в разговорах ChatGPT с ошибками загрузки изображений и счёл причину найденной. Ревьюер заметил, что внутренний сервис поиска файлов уже восстановился, а запросы с изображениями всё ещё падали. Диагноз не объяснял симптом, поэтому расследование открыли заново.

В ручной проверке 100 предложенных причин 70% признали точными, а 30% требовали доработки или не доказывали причинно-следственную связь. Поэтому большую задачу разбили на узкие шаги Codex: одни ищут причину, другие её оспаривают, третьи предлагают исправление. Само исправление авторы называют самой трудной частью: после проверки диагноза Codex пишет правку и открывает pull request, а решение остаётся за инженером.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как OpenAI дошла до «фабрики»?

Путь состоял из шести шагов. Сначала всё делали вручную: смотрели метрики, сравнивали трейсы, отлаживали живые машины, читали код. Для повторяющихся проблем, вроде просадок задержки первого токена, команда писала инструменты, и со временем их накопилось больше 30, включая профилировщики CPU и выделения памяти. Затем Codex стал напарником: инженер спрашивал «почему стало медленнее?», а агент искал нужные метрики, трейсы и код даже в незнакомой системе. Но направлять расследование всё равно приходилось человеку.

Что известно по теме: из чего состоит система?

Четыре части. Сервис задач: инженеры описывают воркфлоу конфигурационными файлами и промптами в Markdown, где указано, какие у задачи есть состояния, какие переходы разрешены и на каких шагах нужен человек. Диспетчер периодически проверяет, какие задачи готовы к следующему шагу, и запускает для них Codex с инструкциями для текущего состояния. Облачный API запускает Codex внутри сети OpenAI с доступом к репозиториям и инструментам наблюдаемости: метрикам, логам, трейсам, профилям CPU и снимкам памяти.

Что известно по теме: спор с самим собой и сложность исправлений?

Агент ищет, когда метрика впервые ухудшилась (иногда за несколько часов до алерта), и сравнивает группы запросов: стали ли медленнее похожие запросы или просто выросла доля уже медленных. Затем смотрит выкатки и изменения флагов, читает код и проверяет по логам и трейсам, мог ли он дать такой эффект. Сначала агенты нередко останавливались на первом правдоподобном объяснении, и часть диагнозов оказывалась неверной. Решением стало состязательное ревью: отдельная сессия Codex пытается опровергнуть диагноз.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…