64 ИИ-агента вместо 8 подорожали на 690%, а решили на одну задачу меньше
Представьте, что нужно поправить баг в Click: можно запустить одного агента с самопроверкой, а можно собрать команду из ведущего и 63 сабагентов. Автор на Habr прогнал обе схемы на 14 правках и 30 задачах AtCoder: переход с 8 до 64 агентов удорожил попытку примерно на 690%, а решённых задач у обеих моделей стало на одну меньше. Для локальной правки с понятными тестами выгоднее начать с одного агента и проверить его первый черновик.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте обычную задачу: в библиотеке Click нужно исправить баг, и у вас есть тест, который его ловит. Современные агентные харнессы предлагают два пути. Можно запустить одного агента, который напишет патч, сам проверит и при необходимости поправит. А можно собрать команду: ведущий, сабагенты, десятки черновиков и рецензий. Второй путь выглядит солиднее, но сжечь лишний миллион токенов на черновики и ревью очень легко. Автор исследования на Habr проверил, окупается ли это: сколько дополнительных патчей действительно проходят тесты и во сколько они обходятся. Короткий ответ: после определённого размера команды патчей больше не становится, а счёт растёт почти в восемь раз.
Как устроен замер
Задач было два набора. Первый — 14 локальных правок в двух Python-библиотеках: восемь в Click и шесть в Packaging. Агент получал описание ошибки и исходники в заранее указанной области. Целевые тесты проверили заранее: на старом коде они падают, на эталонном патче проходят, то есть действительно ловят исходную ошибку. Второй набор — 30 алгоритмических задач AtCoder из LiveCodeBench трёх уровней сложности. Полный цикл работы над фичей, включая уточнение требований, ревью человеком и релиз, в эксперимент не входил.
Взяли две недорогие модели: DeepSeek V4.1 Flash и Qwen3.8 Flash, температура 0,8, режим рассуждений выключен. Размеры команды: 1, 2, 4, 6, 8, 16, 32 и 64 агента. Одиночка пишет решение, проверяет и может исправить. В команде каждый пишет свой вариант, а сабагент ещё и рецензирует черновик соседа. Ведущий получает все рецензии и до трёх полных черновиков и выдаёт один итоговый ответ. В команде из восьми это семь сабагентов и ведущий, при 64 агентах рецензий 63. Качеством считалась доля итогов, прошедших целевые тесты. В цену входили все вызовы, в том числе неудачные, по тарифу без скидки на кэш.
Где рост заканчивается
Сначала команда помогала. DeepSeek на AtCoder решила 21 задачу из 30 с одним агентом и 24 с восемью. На 10 сложных задачах она выросла с четырёх до шести. На 16 и 32 агентах осталось 24, на 64 стало 23. Qwen свой максимум в 18 из 30 набрала уже в одиночку. Все 10 простых задач обе модели решали на всей сетке размеров.
Переход с 8 до 64 агентов на AtCoder стоил на 691% дороже у DeepSeek и на 687% у Qwen, а обе модели потеряли по одной решённой задаче. Интервалы разницы включают ноль, так что отличить спад от случайного разброса на такой выборке трудно. Зато для команды из 64 во всех четырёх группах нашёлся меньший состав, который решал столько же или больше и стоил дешевле. При 64 агентах весь корпус дал 25 из 44 у DeepSeek и 19 из 44 у Qwen.
На правках картина пёстрая. В Click #3902 одиночный Qwen зачёта не получил, а команда из восьми справилась, и модель поднялась с двух до трёх зачётов из 14. Платой стали 679% к цене попытки по сравнению с одним агентом с самопроверкой. У DeepSeek на Packaging #1531 при том же переходе зачёт, наоборот, пропал: с двух успешных патчей она опустилась до одного. Оба отклонённых патча проходили базовые тесты, а дефект поймали проверки на конкретное исправление.
Цена не попытки, а зачтённого патча
Автор предлагает считать не цену запуска, а сумму всех попыток, включая провалы, делённую на число прошедших патчей. На правках у Qwen команда из шести агентов получила один зачёт, из восьми — три, хотя запуск восьми стоил в среднем на 36% дороже. Поэтому цена зачёта у восьми оказалась на 55% ниже, чем у шести. Но самые дешёвые зачёты из этих трёх размеров дала одиночная самопроверка. Если смотреть на равный бюджет, то семь сабагентов у Qwen дают около 19% зачётов одиночного агента.
Что делать на практике
Для локальной правки с понятной приёмкой запускайте одного агента и проверяйте первый черновик целевыми тестами. Большая команда оправдана там, где одиночка не справляется: у DeepSeek на сложных задачах восемь агентов дали заметный прирост. Но у Qwen на сложных алгоритмических задачах не помогла ни одна команда: при 8 агентах и больше зачётов не было ни на одной из десяти.
Ограничения важны: две дешёвые модели без режима рассуждений, 14 правок в двух библиотеках, малые выборки. На сильных моделях результат может отличаться. Но методику легко повторить на своём бэклоге: зафиксировать тесты, перебрать размеры команды и сравнить цену зачёта, а не цену попытки.
- 20 нояб. 2026 г.Amazon SageMaker запустила полное дообучение LLM: 90% верных решений по коду
- 20 нояб. 2026 г.Cloudflare собрала аналог Jev за 2 недели вместо 2 лет и назвала себя неолабом
- 20 нояб. 2026 г.Инженер прикинул раздачу 10 млн токенов/с: 130 ТБ кэша и 700 узлов на MoE
- 20 нояб. 2026 г.SingProbe от Ant Group: охранник на 8,1 млн параметров замедляет LLM менее чем на 0,5%
Вопросы и ответы по материалу
Что известно по теме: как устроен замер?
Задач было два набора. Первый — 14 локальных правок в двух Python-библиотеках: восемь в Click и шесть в Packaging. Агент получал описание ошибки и исходники в заранее указанной области. Целевые тесты проверили заранее: на старом коде они падают, на эталонном патче проходят, то есть действительно ловят исходную ошибку. Второй набор — 30 алгоритмических задач AtCoder из LiveCodeBench трёх уровней сложности. Полный цикл работы над фичей, включая уточнение требований, ревью человеком и релиз, в эксперимент не входил.
Что известно по теме: где рост заканчивается?
Сначала команда помогала. DeepSeek на AtCoder решила 21 задачу из 30 с одним агентом и 24 с восемью. На 10 сложных задачах она выросла с четырёх до шести. На 16 и 32 агентах осталось 24, на 64 стало 23. Qwen свой максимум в 18 из 30 набрала уже в одиночку. Все 10 простых задач обе модели решали на всей сетке размеров. Переход с 8 до 64 агентов на AtCoder стоил на 691% дороже у DeepSeek и на 687% у Qwen, а обе модели потеряли по одной решённой задаче.
Что известно по теме: цена не попытки, а зачтённого патча?
Автор предлагает считать не цену запуска, а сумму всех попыток, включая провалы, делённую на число прошедших патчей. На правках у Qwen команда из шести агентов получила один зачёт, из восьми — три, хотя запуск восьми стоил в среднем на 36% дороже. Поэтому цена зачёта у восьми оказалась на 55% ниже, чем у шести. Но самые дешёвые зачёты из этих трёх размеров дала одиночная самопроверка. Если смотреть на равный бюджет, то семь сабагентов у Qwen дают около 19% зачётов одиночного агента.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.