Рой DreamTeam без менеджера написал trustcheck за $5,68 и прошёл 13 из 13 скрытых тестов

DreamTeam — опенсорс-фреймворк на Python (лицензия MIT) для самоорганизующегося роя ИИ-агентов, в котором нет агента-менеджера. Агентам дают одну цель, общую доску задач, общую git-папку и возможность писать друг другу, а дальше они решают всё сами. Автор проверил его на четырёх задачах с независимо проверяемым ответом: три математические и одна инженерная. Самая показательная — инженерная: рой из 8 агентов на дешёвой модели deepseek-v4.1-flash примерно за три часа и $5,68 написал инструмент trustcheck, который отвечает на вопрос «можно ли доверять тестам». Его проверил скрытый бенчмарк Claude: 13 git-репозиториев с ловушками и известным правильным ответом. Пустая заглушка вместо инструмента проходит 1 из 13, готовый trustcheck — 13 из 13. Claude подключался к рою по MCP как пользователь и внешний проверяющий.

Доска вместо менеджера

Сессия начинается с единственной задачи «спланировать». Её атомарно забирает первый свободный агент, так что двое одну задачу получить не могут. Планировщик раскладывает работу: сначала независимые задачи (литература, окружение, данные, пробные эксперименты), чтобы остальные не простаивали, затем зависимые. У каждой задачи есть критерий успеха, исполнитель, ревьюер и зависимости. Принять собственную работу исполнитель не может: ревью делает другой участник, а если его нет, задача уходит человеку. Не хватает рук — агенты нанимают коллег из каталога ролей в пределах лимита.

Недостающий инструмент агент пишет сам в виде MCP-сервера, и им пользуется весь рой. Сам рой — тоже MCP-сервер, поэтому Claude Code может наблюдать, управлять или вступить в команду как ещё один участник.

Четыре прогона: от третьего места до недосчитанной таблицы

В задаче Эрдеша о минимальном перекрытии (чем меньше оценка константы, тем лучше) 4 агента за 1 час 40 минут и $0,51 получили оценку не выше 0,38090966633824946 на ступенчатой функции из 800 ступеней. Это лучше результатов Haugland (0,380927) и AlphaEvolve (0,380923), но хуже Hill Sampling (0,38088232) и TTT-Discover (0,380876). Рекорда нет, есть третье место.

В задаче об усилителях отбора нужен граф, на котором полезная мутация закрепляется чаще, чем в перемешанной популяции, сразу при двух правилах процесса Морана — Birth-death и death-Birth. 8 агентов за 2 часа 40 минут и $3,97 нашли строгий одновременный усилитель на 14 вершинах, тогда как известный ранее пример насчитывал около тысячи. Эффект крошечный: усиление при r от 1 до примерно 1,016 и выигрыш не больше ~10⁻⁵. Claude сертифицировал результат при четырёх значениях r, а полным перебором показал, что невзвешенного такого графа на N ≤ 8 нет. Новизну автор сверял лишь с несколькими статьями 2024–2026 годов и «первым» себя не называет.

Самый поучительный прогон — задача Томсона в диске: расставить N одинаковых зарядов так, чтобы энергия отталкивания была минимальной. За четыре с небольшим часа и $3,98 рой выдал конфигурации для всех 131 значения N от 20 до 150 и воспроизвёл четыре недавних рекорда тремя независимыми методами. На 57 значениях N его энергия оказалась ниже таблицы Amore-Zarate на 10⁻⁹…

10⁻⁶. Но Claude довёл исходные конфигурации методом Ньютона и получил те же энергии: опубликованные точки были просто недосчитаны. В итоге на 128 из 131 значений N минимум совпал с таблицей, на N = 131–133 он у роя выше на 0,07–0,08, ниже нет ни одного.

Вывод автора: рой охотно объявляет успех по сырой разнице чисел, а ревью внутри него проверяет, что задача сделана, но не что результат верен. Защищает только проверка снаружи.

В инженерном прогоне trustcheck делает мутационное тестирование в пределах диффа, выносит вердикты отдельным тестам и ищет подлог в истории коммитов. Итоговый пакет содержит 231 проходящий тест. Наборы ловушек v2 и v3 добавляли по ходу: однажды правка под старый набор вызвала регрессию, и поймал её только новый. После второго раунда ($4,15) на свежем наборе v4 заглушка получила 2/12, инструмент — 12/12.

Что осталось нерешённым

На ~1400 тестах самого DreamTeam trustcheck работает 13–25 минут, а его оценка на этом коде 0,60 при цели 0,7. В A/B на трёх исторических багах cookiecutter скилл trustcheck не помог: скрытые тесты прошли 29/29 в обоих плечах, а неправильные исправления поймали 13/13 без скилла и 12/13 со скиллом, при цене $1,00 против $0,81. Обе группы упёрлись в потолок. Попутно выяснилось, что агент с сетью может скачать версию библиотеки с уже исправленным багом, поэтому появился режим сессии без интернета.

Прогоны выявили и другие проблемы, которые автор превратил в правки: планировщик делал итоговый отчёт зависимым от необязательных задач, архитектор 30 минут не мог выйти из рассуждений, обрезанных лимитом вывода, а на просьбу «заканчивайте» агенты запускали ещё один «быстрый» расчёт на 16 процессов. Теперь есть режим завершения без новых фоновых процессов, а лимит вывода после обрезки удваивается. Практический вывод для тех, кто строит своих агентов: полезная обратная связь появляется на длинных прогонах с реальными задачами, а не на коротких демо, и независимый проверяющий нужен всегда.