OpenAI натравила GPT-6 Astra на легаси: минус 800 тысяч строк за две недели

Команда Core Experimentation в OpenAI отвечает за систему экспериментов во всей компании. Она показала, как GPT-6 Astra чистит старый код, а не пишет новый. Пять инженеров за две недели смержили более 1 400 PR и удалили свыше 800 тысяч строк. Образ одного сервиса сократился с 3,31 до 1,72 GB, а время CI упало почти вдвое. Историю опубликовали в блоге OpenAI для разработчиков, и это один из самых приземлённых кейсов применения агентов в крупной кодовой базе.

Промпт с опечатками вместо статического анализа

Раньше мёртвый код искали статическим анализом и рантайм-логами. Инциденты из-за ошибочных удалений всё равно случались. Теперь инженеры написали модели один небрежный запрос, с опечатками, и оставили его в блоге как есть: «Can you help identify and clean up dead code in the repo please, feel free to check slack, statsig [a feature flag and experimentation platform we use], or any other source you need to confirm that things are indeed no longer being used and can be cleaned up or simplified».

Модель не ограничилась репозиторием. Она сама пошла в старые PR, треды в Slack, трекеры задач и прод-профилирование и к каждому удалению приложила объяснение, почему код считается мёртвым. Ревьюер получал аргументы и источники, а не голый дифф. Из тестов ушло около 400 вариантов визуальных снапшотов.

Флаг «Permanent», который годами съедал CPU

Устаревшие эксперименты и фичефлаги сложнее: такой код ещё может выполняться в проде. Промпт для полного аудита инженеры поручили написать самой модели. Она же посчитала стоимость каждого флага в CPU.

Нашёлся флаг, который годами незаметно размножал проверки на все фичи сразу. Модель не стала удалять его сама, потому что он был помечен как «Permanent», и подняла вопрос на ревью человеку. После удаления сервис сэкономил около 0,42% CPU. На масштабе OpenAI это заметные деньги, а граница автономии выглядит разумно.

Арифметика аудита: Astra, Sol и стоимость находки

Самую практичную часть кейса составляет сравнение моделей на одном аудите: 6 000 файлов, 1 млн строк на Python, TypeScript, Go и Rust.

• GPT-6 Astra Ultra: $109,06, 142 находки, $0,77 за находку
• GPT-6.1 Sol Ultra: $15,12, 131 находка, $0,12 за находку
• GPT-6.1 Sol Medium: $5,27, 86 находок, $0,06 за находку

Sol Ultra даёт 92% находок за 14% цены. Разбор разницы показал, что Sol пропускал флаги, от которых зависят другие флаги. Это компенсировали правкой промпта. Отсюда практический вывод: средняя модель с аккуратной инструкцией догоняет топовую на задачах такого типа.

Тем же способом ускоряли CI. Модель попросили предложить оптимизации и ранжировать их по ожидаемой экономии минут CI в день на основе истории прогонов репозитория. Запрос был таким: «What ideas do you have to relieve CI load in this repository? List your ideas in a table and rank all of them by estimated CI minutes saved per day based on this repo's CI run history». Результаты:

• смержено около 30 PR
• медиана CI упала с ~10 до 4,5 минуты
• p90 снизился с 12,5 до 6 минут
• набор из 63 тестов ускорился с 592,6 до 29,8 секунды, примерно в 20 раз

Авторы честно пишут, что часть предложений добавляла больше сложности, чем пользы. Модель находит столько оптимизаций, что без приоритизации и метрик в них тонешь.

Если у вас есть легаси, рецепт простой. Возьмите одну мелкую задачу: мёртвый код, устаревший флаг или флаки-тест. Прогоните её на нескольких моделях и уровнях effort и сравните стоимость находки. Комментарии из ревью добавляйте в следующий промпт, чтобы модель училась на ваших правилах, например про флаги с зависимостями. Когда результат стабилен, масштабируйте на крупные куски кодовой базы. Помечайте критичные места, как это сделано с «Permanent», чтобы решение оставалось за человеком. Для компаний с накопленным техдолгом это, пожалуй, самый быстрый ROI от агентов: результат измеряется строками, гигабайтами образа и минутами CI.