Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

64 ИИ-агента вместо 8 подорожали на 690%, а решили на одну задачу меньше

Представьте, что нужно поправить баг в Click: можно запустить одного агента с самопроверкой, а можно собрать команду из ведущего и 63 сабагентов. Автор на Habr прогнал обе схемы на 14 правках и 30 задачах AtCoder: переход с 8 до 64 агентов удорожил попытку примерно на 690%, а решённых задач у обеих моделей стало на одну меньше. Для локальной правки с понятными тестами выгоднее начать с одного агента и проверить его первый черновик.

AI-обработка оригинала Habr AI; редакция Hamidun News
64 ИИ-агента вместо 8 подорожали на 690%, а решили на одну задачу меньше
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
DeepSeek на AtCoder21 из 30 у одного агента, 24 у восьми, 23 у 64
Qwen на правках8 агентов дали 3 зачёта из 14 вместо 2, но дороже на 679%
Сложные задачи DeepSeek4 из 10 у одного агента, 6 из 10 у восьми

Представьте обычную задачу: в библиотеке Click нужно исправить баг, и у вас есть тест, который его ловит. Современные агентные харнессы предлагают два пути. Можно запустить одного агента, который напишет патч, сам проверит и при необходимости поправит. А можно собрать команду: ведущий, сабагенты, десятки черновиков и рецензий. Второй путь выглядит солиднее, но сжечь лишний миллион токенов на черновики и ревью очень легко. Автор исследования на Habr проверил, окупается ли это: сколько дополнительных патчей действительно проходят тесты и во сколько они обходятся. Короткий ответ: после определённого размера команды патчей больше не становится, а счёт растёт почти в восемь раз.

Как устроен замер

Задач было два набора. Первый — 14 локальных правок в двух Python-библиотеках: восемь в Click и шесть в Packaging. Агент получал описание ошибки и исходники в заранее указанной области. Целевые тесты проверили заранее: на старом коде они падают, на эталонном патче проходят, то есть действительно ловят исходную ошибку. Второй набор — 30 алгоритмических задач AtCoder из LiveCodeBench трёх уровней сложности. Полный цикл работы над фичей, включая уточнение требований, ревью человеком и релиз, в эксперимент не входил.

Взяли две недорогие модели: DeepSeek V4.1 Flash и Qwen3.8 Flash, температура 0,8, режим рассуждений выключен. Размеры команды: 1, 2, 4, 6, 8, 16, 32 и 64 агента. Одиночка пишет решение, проверяет и может исправить. В команде каждый пишет свой вариант, а сабагент ещё и рецензирует черновик соседа. Ведущий получает все рецензии и до трёх полных черновиков и выдаёт один итоговый ответ. В команде из восьми это семь сабагентов и ведущий, при 64 агентах рецензий 63. Качеством считалась доля итогов, прошедших целевые тесты. В цену входили все вызовы, в том числе неудачные, по тарифу без скидки на кэш.

Где рост заканчивается

Сначала команда помогала. DeepSeek на AtCoder решила 21 задачу из 30 с одним агентом и 24 с восемью. На 10 сложных задачах она выросла с четырёх до шести. На 16 и 32 агентах осталось 24, на 64 стало 23. Qwen свой максимум в 18 из 30 набрала уже в одиночку. Все 10 простых задач обе модели решали на всей сетке размеров.

Переход с 8 до 64 агентов на AtCoder стоил на 691% дороже у DeepSeek и на 687% у Qwen, а обе модели потеряли по одной решённой задаче. Интервалы разницы включают ноль, так что отличить спад от случайного разброса на такой выборке трудно. Зато для команды из 64 во всех четырёх группах нашёлся меньший состав, который решал столько же или больше и стоил дешевле. При 64 агентах весь корпус дал 25 из 44 у DeepSeek и 19 из 44 у Qwen.

На правках картина пёстрая. В Click #3902 одиночный Qwen зачёта не получил, а команда из восьми справилась, и модель поднялась с двух до трёх зачётов из 14. Платой стали 679% к цене попытки по сравнению с одним агентом с самопроверкой. У DeepSeek на Packaging #1531 при том же переходе зачёт, наоборот, пропал: с двух успешных патчей она опустилась до одного. Оба отклонённых патча проходили базовые тесты, а дефект поймали проверки на конкретное исправление.

Цена не попытки, а зачтённого патча

Автор предлагает считать не цену запуска, а сумму всех попыток, включая провалы, делённую на число прошедших патчей. На правках у Qwen команда из шести агентов получила один зачёт, из восьми — три, хотя запуск восьми стоил в среднем на 36% дороже. Поэтому цена зачёта у восьми оказалась на 55% ниже, чем у шести. Но самые дешёвые зачёты из этих трёх размеров дала одиночная самопроверка. Если смотреть на равный бюджет, то семь сабагентов у Qwen дают около 19% зачётов одиночного агента.

Что делать на практике

Для локальной правки с понятной приёмкой запускайте одного агента и проверяйте первый черновик целевыми тестами. Большая команда оправдана там, где одиночка не справляется: у DeepSeek на сложных задачах восемь агентов дали заметный прирост. Но у Qwen на сложных алгоритмических задачах не помогла ни одна команда: при 8 агентах и больше зачётов не было ни на одной из десяти.

Ограничения важны: две дешёвые модели без режима рассуждений, 14 правок в двух библиотеках, малые выборки. На сильных моделях результат может отличаться. Но методику легко повторить на своём бэклоге: зафиксировать тесты, перебрать размеры команды и сравнить цену зачёта, а не цену попытки.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как устроен замер?

Задач было два набора. Первый — 14 локальных правок в двух Python-библиотеках: восемь в Click и шесть в Packaging. Агент получал описание ошибки и исходники в заранее указанной области. Целевые тесты проверили заранее: на старом коде они падают, на эталонном патче проходят, то есть действительно ловят исходную ошибку. Второй набор — 30 алгоритмических задач AtCoder из LiveCodeBench трёх уровней сложности. Полный цикл работы над фичей, включая уточнение требований, ревью человеком и релиз, в эксперимент не входил.

Что известно по теме: где рост заканчивается?

Сначала команда помогала. DeepSeek на AtCoder решила 21 задачу из 30 с одним агентом и 24 с восемью. На 10 сложных задачах она выросла с четырёх до шести. На 16 и 32 агентах осталось 24, на 64 стало 23. Qwen свой максимум в 18 из 30 набрала уже в одиночку. Все 10 простых задач обе модели решали на всей сетке размеров. Переход с 8 до 64 агентов на AtCoder стоил на 691% дороже у DeepSeek и на 687% у Qwen, а обе модели потеряли по одной решённой задаче.

Что известно по теме: цена не попытки, а зачтённого патча?

Автор предлагает считать не цену запуска, а сумму всех попыток, включая провалы, делённую на число прошедших патчей. На правках у Qwen команда из шести агентов получила один зачёт, из восьми — три, хотя запуск восьми стоил в среднем на 36% дороже. Поэтому цена зачёта у восьми оказалась на 55% ниже, чем у шести. Но самые дешёвые зачёты из этих трёх размеров дала одиночная самопроверка. Если смотреть на равный бюджет, то семь сабагентов у Qwen дают около 19% зачётов одиночного агента.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…