Cohere нашла, как команды кодинг-агентов получить 61,8% награды за $155 вместо $510

Cohere измерила, во сколько обходится командная работа кодинг-агентов, и нашла способ заметно срезать счёт. На бенчмарке ProgramBench хорошо организованная команда опережает одиночного агента почти на 10 процентных пунктов, но тратит в 3–7 раз больше. Связка из сильного лида Sol и 16 дешёвых исполнителей Luna на этапе планирования набирает 61,8% награды. Команда целиком из Sol, где делегируется каждый этап, получает 63,2%. Первая стоит $155, вторая $510.

Команды агентов уже строят софт, но считать затраты никто не умеет

За последний год команды агентов перешли от демонстраций к большим проектам. Шестнадцать агентов Claude написали C-компилятор на 100 тысяч строк, способный собрать ядро Linux. На это ушло около 2000 сессий и $20 000 в API. Агенты Cursor примерно за неделю написали с нуля браузер объёмом больше миллиона строк. Bun портировали с Zig на Rust за 11 дней, в пике работали 64 агента Claude параллельно.

Эти проекты различаются сразу по многим параметрам. В компиляторе агенты работали как равные и брали задачи через lock-файлы. У Cursor была иерархия, где планировщики рекурсивно дробили работу на подзадачи. В Bun роли были фиксированными: один исполнитель, два враждебных ревьюера и один исправляющий на каждый кусок работы. Понять по таким примерам, какое решение что дало, невозможно. Исследование Factory показывает масштаб цены: при пересборке библиотеки GDAL команда из трёх ролей более чем вдвое подняла награду против одиночного агента, но стоила в 14 раз больше и шла в 13 раз дольше.

Стенд с одной переменной за раз

Авторы, Кинен Самуэй, Даниэль Д'Суза и Нуха Дзири, собрали намеренно минимальную обвязку по мотивам mini-SWE-agent. Все агенты работают через простой bash-инструмент в общем рабочем пространстве. Лид получает задачу и раздаёт работу инструментом delegate_agent. Исполнитель видит только свою подзадачу и по завершении отчитывается. Лид сам решает, сколько исполнителей запустить, чем их занять и как собрать результат. Исполнителя можно возобновить с сохранённым контекстом, например попросить исправить баги в его же коде, не вводя нового агента в курс дела.

Исследователи меняют пять параметров. Среди них то, где лид использует исполнителей. Минимальный промпт лишь просит давать им независимые задачи. Промпт PIV добавляет структуру из планирования с разведкой, реализации и верификации и требует делегировать на всех трёх этапах. Второй параметр касается ожидания: блокирующий лид ждёт отчётов исполнителей. Остальные параметры в доступном фрагменте материала не раскрыты.

Что показали замеры

• Прирост команды над одиночным агентом на ProgramBench достигает примерно 10 п.п., цена выше в 3–7 раз.
• Делегирование только разведки и планирования даёт тот же результат, что делегирование планирования, реализации и верификации вместе, при вдвое меньших затратах.
• Лид Sol и 16 исполнителей Luna на планировании: 61,8% награды против 63,2% у полной команды Sol.
• Стоимость падает с $510 до $155, то есть на 70%.

Главный вывод: место, куда вы направляете агентов, важнее их числа. Дополнительные вычисления окупаются, когда агенты бьют в реальное узкое место задачи. На ProgramBench это разведка исходной программы и планирование.

Как собирать команду на практике

Начинайте с одного сильного лида и добавляйте исполнителей только там, где задача упирается в разведку или планирование. Для таких этапов подойдут дешёвые модели. Реализацию и верификацию не стоит делегировать автоматически: эксперимент показывает, что вторая половина конвейера может прибавлять расходы почти без прироста качества. Перед масштабированием замерьте цену и награду для одиночного агента и для команды. Разница в 1,4 п.п. при троекратном росте счёта означает, что команду пора пересобирать.