Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РазборAPI / Продукт · В работуHabr AI→ оригинал

ИИ-агенты выпустили 228 релизов игры без ревью человека; 25% задач вернули тесты

Разработчик отдал браузерную игру автономным ИИ-агентам: игроки присылали заявки, модель писала код и ревью, в прод катил алгоритм, а человек не прочитал ни строчки. За полтора месяца вышло 228 релизов, но модель говорила «готово» даже при красных тестах — финальная проверка вернула на доработку каждую четвёртую задачу (25%). Вывод: качество держит конвейер проверок вокруг модели, а не выбор самой модели.

AI-обработка оригинала Habr AI; редакция Hamidun News
ИИ-агенты выпустили 228 релизов игры без ревью человека; 25% задач вернули тесты
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Путь заявки до продамедиана 33 минуты, самая упрямая задача — 13 часов
Ключевой факт #2Шесть открытых моделей; через OpenRouter прошло 22,7 млрд токенов
Ключевой факт #3В коде +128 тыс. строк, 2 188 автотестов, техдолг не накопился

Можно ли доверить ИИ не подсказки в редакторе, а всю разработку продукта — от заявки до выката в прод, без единого взгляда человека на код? Автор трёхчастного эксперимента на Habr проверил это на практике и подвёл итоги. Браузерную игру, тактический симулятор в мультяшном стиле, развивали ИИ-агенты. Игроки присылали заявки — вроде «добавьте новый режим» или «поменяйте поведение юнита». Модель писала код, другая роль той же модели делала ревью, в прод катил алгоритм. Человек не прочитал ни строчки диффа. Итог — 228 релизов. Читать это стоит тем, кто решает, во что вкладываться: в более модную модель или в правила и проверки вокруг неё.

Важная рамка: речь об автономной разработке, где заявка приезжает, конвейер довозит её до прода, а код человек не читает. Это не работа в паре с моделью, когда инженер режет задачу на шаги и проверяет на ходу. Там самые сильные закрытые модели действительно показывают отрыв, но вывод для автономного режима другой.

Что получилось в цифрах

Всего за эксперимент пришло около 265 заявок: 228 доехали до прода, 10 отсеяны на входе как инъекции, около 27 зависли в конвейере. Заявки писали 24 автора. Медиана пути заявки до прода (без ожидания ответов игрока) — 33 минуты, среднее — 46; самая упрямая задача заняла 13 часов и 7 возвратов на доработку.

В кодовой базе добавилось 128 тысяч строк и удалилось 23 тысячи. Автотестов — 2 188, из них 299 приёмные e2e. Работали шесть моделей с открытыми весами: четыре тяжёлые (Kimi K2.7 Code, DeepSeek V4 Pro, GLM 5.2, Qwen3-Coder 480B) и две лёгкие, DeepSeek V4.1 Flash и GLM 5.3 Flash. Через OpenRouter прошло 22,7 млрд токенов и 363 тысячи запросов; 2,8 млрд — открытый эксперимент, остальные 19,9 млрд — закрытый, где каждая модель в одиночку заново прошла всю историю со стартового коммита.

Все шесть итоговых сборок сдали e2e-тесты из финала открытого эксперимента. Правда, под имена CSS-классов каждой модели селекторы пришлось править руками: три-четыре часа на версию, около суток в сумме. В закрытом эксперименте задачи решались дольше: медиана 48 минут против 33, среднее 68 против 46.

Как устроен конвейер и почему «готово» ничего не значит

Конвейер состоит из девяти шагов, и четыре из них проходят до первой строки кода. Модель сверяет заявку с существующим поведением и задаёт автору уточняющие вопросы. Затем CI запускается на нетронутой базе: фраза «ошибки были до меня» превращается из мнения в факт, который подтверждает или опровергает запуск тестов. Потом пишется спека с областями изменений и пунктом «чего не делаем». Один разработчик пишет тесты, другой — реализацию, и приёмных тестов автор реализации не видит. Ревью проверяет и скоуп: правка за пределами заявленных областей не проходит. Финальный CI откатывает правку, пока есть падения.

Это нужно, потому что модель сообщает «готово» и при красных тестах: каждую четвёртую задачу финальная проверка возвращала на доработку. Поэтому выход из обоих циклов открывает не слово модели, а набор проверок с жёстким правилом. Автор формулирует так: узкое место — уже не модель, а правила, проверки и инструменты вокруг неё. Модель при этом — сменное ядро: замена занимала минуты, у всех шести OpenAI-совместимый API.

Что с техдолгом и где граница

Автор ожидал, что техдолг вырастет, но он, по косвенным признакам, не накопился. Держат четыре механики: проверка скоупа, ревью отдельной ролью, 2 188 тестов и рефакторинг как обычная заявка в потоке. Скорость доказательством не служит: медиана пути выросла с примерно 20 минут во второй части до 33, но и задачи стали тяжелее — рефакторинг, большие пакеты ассетов, перерисовки. Разделить эти причины по данным нельзя. Косвенный довод — воспроизводимость: ни одна из шести сборок не споткнулась на длинной дистанции.

Зато продуктовый долг накопился с лихвой. Конвейер брался за любую заявку, и в игре появились функции от рулетки до режима Tower Defense. Экзаменатор для кода есть, а экзаменатора, который спросит «зачем это игре», автор так и не построил.

Практический вывод: прежде чем менять модель ради лишних долей процента на бенчмарке, вложитесь в спеку, раздельные роли, тесты до кода и откат по красному CI. А решать, что вообще стоит делать, по-прежнему должен человек.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что получилось в цифрах?

Всего за эксперимент пришло около 265 заявок: 228 доехали до прода, 10 отсеяны на входе как инъекции, около 27 зависли в конвейере. Заявки писали 24 автора. Медиана пути заявки до прода (без ожидания ответов игрока) — 33 минуты, среднее — 46; самая упрямая задача заняла 13 часов и 7 возвратов на доработку. В кодовой базе добавилось 128 тысяч строк и удалилось 23 тысячи. Автотестов — 2 188, из них 299 приёмные e2e.

Что известно по теме: как устроен конвейер и почему «готово» ничего не значит?

Конвейер состоит из девяти шагов, и четыре из них проходят до первой строки кода. Модель сверяет заявку с существующим поведением и задаёт автору уточняющие вопросы. Затем CI запускается на нетронутой базе: фраза «ошибки были до меня» превращается из мнения в факт, который подтверждает или опровергает запуск тестов. Потом пишется спека с областями изменений и пунктом «чего не делаем». Один разработчик пишет тесты, другой — реализацию, и приёмных тестов автор реализации не видит.

Что известно по теме: что с техдолгом и где граница?

Автор ожидал, что техдолг вырастет, но он, по косвенным признакам, не накопился. Держат четыре механики: проверка скоупа, ревью отдельной ролью, 2 188 тестов и рефакторинг как обычная заявка в потоке. Скорость доказательством не служит: медиана пути выросла с примерно 20 минут во второй части до 33, но и задачи стали тяжелее — рефакторинг, большие пакеты ассетов, перерисовки. Разделить эти причины по данным нельзя. Косвенный довод — воспроизводимость: ни одна из шести сборок не споткнулась на длинной дистанции.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ ИИ-агенты на практике · Академия & Nomad

От чтения про ИИ-агентов — к запуску своего агента за вечер

Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.

Попробовать Академию (72ч бесплатно) →Запустить Nomad Agent
Что вы думаете?
Загружаем комментарии…