HACE совместно обучает специалиста и LLM-агента в трёх доменах

Команда авторов статьи Heterogeneous Agentic CoEvolution предлагает схему, в которой две разные модели улучшают друг друга одновременно: узкоспециализированная фундаментальная модель и LLM-агент. Фреймворк называется HACE. Его проверили в трёх областях: рекомендательные системы, предсказание функций белков и предсказание стабильности кристаллов. По основным метрикам задач HACE обошёл все сравниваемые методы самоулучшения. Конкретные величины прироста в аннотации не приводятся, так что судить о масштабе эффекта можно только после чтения полных таблиц.

Проблема: специалист растёт, а способ его улучшения стоит на месте

Идея самоулучшающихся LLM-агентов уже не нова: системы, которые переписывают собственные промпты, код и стратегии и получают проверяемый выигрыш. Но в прикладных областях часто работают не универсальные LLM, а специализированные модели с глубокой доменной экспертизой. Модель для белков или кристаллических структур знает предметную область лучше любого генералиста. Улучшают её по-прежнему люди: подбирают данные, архитектуру, режим обучения.

Авторы указывают на ключевую трудность. Когда специалист становится сильнее, стратегии, которыми его двигали вперёд, перестают работать так же хорошо. То, что давало прирост на слабой модели, на сильной может упереться в потолок. Значит, и «улучшатель» должен меняться вместе с объектом.

Как устроен цикл

HACE строит замкнутую петлю из двух участников и обвязки между ними.

• Специалист обучается с учителем (supervised learning) на данных, которые отбираются в ходе цикла.
• Агент проходит on-policy reinforced self-training. Награда зависит от проверенного прироста качества именно на текущей версии специалиста.
• Исследование агента, то есть то, что он пробует и находит, становится материалом для следующего раунда обучения специалиста.
• Эволюционный поиск оптимизирует interaction harness: как модели обмениваются информацией и какие обучающие примеры выбираются.

Последний пункт, пожалуй, самый интересный. Обвязка не фиксируется заранее. Она эволюционирует по мере того, как растут возможности обеих моделей. Это ответ на исходную проблему: правила игры между агентом и специалистом пересматриваются на каждом этапе.

Важная деталь в наградном сигнале. Агент получает поощрение не за правдоподобные на вид решения, а за подтверждённое улучшение. Это снижает риск, что агент научится выдавать убедительные, но бесполезные для специалиста данные.

Что проверили и чего пока не видно

Выбор доменов показателен. Рекомендательные системы, предсказание функции белка и стабильности кристалла различаются по природе данных, метрикам и устройству моделей. Автор формулирует вывод осторожно: гетерогенная коэволюция может быть универсальным подходом к улучшению специализированных фундаментальных моделей через взаимодействие с обучающимся агентом. Три домена убедительны как демонстрация широты, но «универсальность» пока остаётся гипотезой.

Что остаётся неясным по тексту аннотации:

• размер выигрыша по каждой метрике и его статистическая устойчивость;
• сколько вычислений стоит весь цикл по сравнению с обычным дообучением;
• какие именно методы самоулучшения взяты как базовые и насколько они сильны;
• как ведёт себя система на длинной дистанции, когда специалист близок к потолку.

Практический вывод

Для команд, которые держат собственные доменные модели, главная мысль работы такова: агента стоит использовать не как разовый инструмент для подбора гиперпараметров, а как постоянного партнёра по обучению с наградой за измеримый прогресс. Если у вас есть надёжная автоматическая проверка качества, например бенчмарк с однозначной метрикой или лабораторная валидация, такая схема применима ближе всего. Без верифицируемого сигнала петля теряет смысл.

Инженерам стоит заранее заложить стоимость эксперимента. Каждый раунд требует и дообучения специалиста, и обучения агента, и поиска по конфигурациям обвязки. Пока авторы не опубликуют детальные затраты, разумно оценивать HACE как перспективную исследовательскую схему, а не готовый производственный рецепт. Но направление понятно: самоулучшение переходит от универсальных LLM к узким моделям, где от него зависят результаты в науке и рекомендациях.