Тепломеханик собрал рой из шести малых LLM: деление на разделы дало слабой модели ×4

Начальник отдела проектной организации, тепломеханик с четырнадцатью годами в проектировании, весной взялся вырастить из слабых локальных моделей рой, который окажется умнее самой сильной из них. Программистом он не был ни дня, с нейросетями работает меньше года. Рой не поумнел. Зато замер показал, что из всей оргструктуры проектного института держит нагрузку одно деление задачи на разделы. Слабой модели оно дало прирост примерно вчетверо, а рой целиком, судя по заголовку автора, добавил около пяти пунктов.

Учтём: в источнике доступен только анонс публикации на Habr, без таблиц и методики. Ниже разобрано то, что в нём заявлено, а цифры и их единицы стоит сверять с полным текстом.

Институт вместо стаи

Идея понятна любому, кто работал в проектной организации. Задачу не решает один человек. Есть руководитель проекта, отделы по разделам, проверяющие, согласования. Автор разложил шесть небольших моделей по этой схеме и посмотрел, какие элементы дают результат, а какие только добавляют переписку между агентами.

Гипотеза была типичной для мультиагентных экспериментов: если собрать много слабых исполнителей и поставить над ними управляющий контур, суммарное качество превысит качество лучшего участника. Эта гипотеза не подтвердилась. Рой не обошёл сильнейшую модель из своего же состава.

Что показал замер

Отрицательный результат здесь полезнее положительного. Автор не просто сообщил, что рой не взлетел, а выделил отдельный механизм, который работает. Основные тезисы анонса:

• Состав: шесть малых локальных моделей разной силы.
• Цель: получить рой, который превосходит сильнейшую модель набора. Не достигнута.
• Деление задачи на разделы: слабой модели дало прирост примерно ×4.
• Рой в целом: по заголовку, около пяти пунктов. Единицы измерения в анонсе не раскрыты.
• Асимметрия: слабая модель выигрывает от разбиения больше, чем сильная.

Правдоподобное объяснение, это уже наша интерпретация, а не цитата автора: маленькая модель плохо удерживает в работе длинное условие с несколькими требованиями сразу. Когда ей отдают один узкий раздел с чётким входом и выходом, она справляется с задачей, на которой раньше разваливалась. У сильной модели запас контекста и рассуждения больше, поэтому ей дробление даёт меньше. Институтская роль «проверяющего» и прочие слои согласования, по всей видимости, прироста не дали или дали его намного меньше.

Что с этим делать на практике

Для тех, кто строит локальные пайплайны на небольших моделях, вывод приземлённый. Прежде чем городить иерархию из руководителя, исполнителей и ревьюеров, стоит проверить одно: что даёт простое разбиение задачи на независимые части с жёсткими шаблонами входа и выхода. Это дешевле по токенам и задержкам, чем многослойная оркестрация, и, судя по замерам автора, именно оно приносит основной эффект.

Второе. Базовой линией должна быть не средняя модель роя, а сильнейшая из доступных. Рой, который не обгоняет лучшего участника, по сути оплачивает лишние вызовы без отдачи.

Третье касается самого формата. Редкий случай, когда эксперимент ставит человек из соседней отрасли со своим инженерным взглядом на организацию работы. Проектные институты столетиями искали, как разделять ответственность и не терять качество. Что именно из этого опыта переносится на LLM, а что нет, лучше смотреть в полном тексте автора: там должны быть методика, набор задач и разбивка по моделям.