DuoDiscover на агентах-кодерах ускорил vLLM в 1,92 раза и обошёл ArchAgent v2

Главная проблема автономного поиска оптимизаций в реальной инженерии — цена одной проверки. Полный бенчмарк или трейс обслуживания занимает часы, поэтому на настоящие замеры остаётся лишь горстка попыток. Авторы DuoDiscover предлагают обойти это ограничение: пусть агенты сами придумывают дешёвую замену настоящей оценке и следят, чтобы она не врала. На двух репозиторных бенчмарках и четырёх наборах ядер для GPU и TPU система показывает результаты выше человеческих экспертов, а в задаче по дизайну CPU обгоняет ArchAgent v2 на AlphaEvolve при кратно меньшем времени поиска.

Yardstick вместо полного прогона

У DuoDiscover три механизма. Первый: каждый рабочий агент во флоте кодинг-агентов одновременно находит цель оптимизации и собирает под неё быстрый заказной оценщик. Авторы называют его yardstick, то есть мерная линейка. Дальше агент поднимается по градиенту именно этой линейки, а не настоящей метрики. Затраты на шаг падают на порядки, и поиск делает много итераций там, где раньше хватило бы пяти.

У такого подхода очевидная слабость. Поиск умеет эксплуатировать разрыв между прокси и реальной целью: линейка растёт, а настоящая скорость стоит на месте или падает. Поэтому второй механизм — fidelity tests. Они регулярно перепроверяют, совпадает ли ранжирование кандидатов по yardstick с ранжированием по истинной оценке. Если линейка «уплыла», её признают недействительной.

Третий механизм касается организации. Флот работает снизу вверх, без центральной декомпозиции задачи. Лёгкий оркестратор запускает и завершает агентов, обновляет брифинг у работающих и засевает новичков подтверждённой работой других. Никто заранее не разрезает проблему на подзадачи, структура возникает из того, что агенты находят.

Что показали замеры

Систему проверили на двух бенчмарках уровня репозитория и на четырёх наборах ядер GPU и TPU, в сумме это сотни ядер. Ключевые цифры из работы:

• SWE-fficiency: средний прирост скорости вдвое выше, чем у экспертов-людей.
• SOL-Exec: первое место на 121 из 235 ядер, топ-3 на 212.
• vLLM: ускорение в 1,92 раза относительно базового кода.
• SQLite: ускорение в 1,38 раза.
• Микроархитектура CPU: оценки до 28 часов, результат выше и ArchAgent v2, и лучшего человеческого дизайна.
• Тот же CPU-кейс: 1,65 прироста ArchAgent v2 за 16,7 дня против более чем 40 дней.

Особенно показательны vLLM и SQLite. Это зрелые, давно оптимизируемые кодовые базы, где лёгкие выигрыши обычно уже выбраны. Почти двукратное ускорение vLLM означает, что агенты нашли резервы, которые команда разработчиков не закрыла. Случай с чипом ещё интереснее. Когда один замер идёт больше суток, классический эволюционный поиск упирается в бюджет времени. Здесь же линейка позволила уложиться в 16,7 дня, а итог получился лучше, чем у предыдущей системы на AlphaEvolve и у человека.

Кому это пригодится на практике

Идея применима далеко за пределами статьи. Любая команда, у которой регрессионный прогон, нагрузочный тест или симуляция занимают часы, упирается в ту же стену. Практический вывод: прежде чем масштабировать число агентов, стоит инвестировать в быстрый прокси и в тест на его честность. Без проверки ранжирования агент будет оптимизировать артефакт измерения.

Для инфраструктурных команд, которые работают с инференсом и ядрами, статья даёт ориентир: автономный флот уже способен конкурировать с экспертами по ядрам и находить прирост в vLLM. Для разработчиков чипов важнее другое. Сокращение цикла поиска с 40+ до 16,7 дня меняет экономику экспериментов с микроархитектурой.

Ограничения тоже понятны. Результаты получены авторами на выбранных бенчмарках, независимой проверки пока нет. Стоимость вычислений флота в сообщении не раскрыта, а значит, сравнивать по затратам с человеком или ArchAgent v2 корректно только по времени поиска. Но направление ясное: узким местом автономных исследований становится не генерация идей, а дешёвая и надёжная проверка, и DuoDiscover выстраивает вокруг этого всю архитектуру.