RSIHub собрал 4 метода эволюции агентов в одном фреймворке: до +13,5 п.п.

Исследования самоулучшающихся агентов упираются в рутину: каждая команда заново пишет одну и ту же обвязку для запусков, оценки и учёта версий. Команда Zimu Wang представила RSIHub, открытый фреймворк, который выносит эту обвязку в общую инфраструктуру. На ней авторы запустили четыре метода эволюции агентов и сравнили их на двух бенчмарках. Максимальный прирост общего pass@1 составил 13,5 процентного пункта. Главный вывод скромнее заголовка: победителя на все случаи жизни нет.

Эволюция агента как набор переставляемых деталей

Агентная эволюция работает так: агент выполняет задачи, система собирает обратную связь и по ней переписывает промпты, навыки, инструменты или схему оркестрации. Идея простая, а реализации обычно слеплены под конкретную статью и друг с другом несовместимы.

В RSIHub метод описывается как «рецепт». Рецепт собирается из переиспользуемых операторов и явно объявляет, какие ресурсы можно менять. Всё остальное делает платформа: исполнение, оценку, восстановление после сбоев и прослеживаемость происхождения кандидатов (lineage). Исследователь пишет только политику эволюции, то есть решает, что мутировать и кого оставлять.

Ключевое архитектурное решение касается оценки. Она вынесена за пределы изменяемой поверхности, и агент не может переписать собственный экзаменатор. Для систем, которые правят сами себя, это защита от самого очевидного читерства. Каждый результат привязан к конкретному кандидату и условиям оценки, поэтому историю любого улучшения можно раскрутить назад.

Четыре метода на одной подложке

Авторы реализовали методы без единой правки ядра фреймворка. Вся специфика осталась в рецептах и операторах. Это и есть главный практический тест на композируемость.

• AHE — первый воспроизведённый метод эволюции агентов.
• Hyperagents — подход к самоизменяющимся агентам.
• A-Evolve — метод эволюции агентов на основе обратной связи.
• GEPA — метод оптимизации через рефлексию над результатами выполнения.

Стенд для оценки выглядел так:

• Агентные каркасы: MiniSWE и Codex.
• Бенчмарки: Terminal Bench 2 (задачи в терминале) и τ³ Banking (банковские сценарии).
• Условия: фиксированные конфигурации модели и оценщика, чтобы разница определялась только методом эволюции.
• Главная метрика: общий pass@1.
• Лучший результат: +13,5 п.п. pass@1.

Где цифры спорят с ожиданиями

Самое интересное в результатах касается не рекорда, а его границ. Ранжирование методов меняется от настройки к настройке. Метод, лидирующий с одним каркасом или бенчмарком, может уступить на другом. Прирост на задачах, по которым шла оптимизация, не всегда сохраняется на отложенных. Это классическое переобучение, только теперь оно происходит на уровне промптов, навыков и инструментов, а не весов.

Для индустрии это неприятный, но полезный сигнал. Публикации про самоулучшение агентов часто сравнивают свой метод с чужим на собственной обвязке и с собственными допущениями. Общий протокол такие сравнения упрощает. Он же делает видимыми случаи, когда выигрыш держится на удачном совпадении условий.

Что с этим делать

Команды, которые строят кодинг-агентов или корпоративных ассистентов, могут использовать RSIHub как стенд. Рецепты четырёх методов уже готовы, и их можно прогнать на своих задачах вместо того, чтобы писать обвязку с нуля.

Практические правила вытекают из самих результатов. Держать отложенную выборку и оценивать на ней, а не только на задачах оптимизации. Не полагаться на рейтинг одного бенчмарка. Хранить lineage каждого кандидата, чтобы понимать, какое изменение дало прирост. Код открыт на GitHub (simple-agent-lab/RSIHub), проект уже набрал 186 звёзд, а авторы просят вклад в виде новых методов эволюции и бенчмарков. Если в экосистеме появятся новые рецепты, у сообщества будет общий способ проверять, какие из них работают за пределами одной статьи.