HeirCommit отсекает до 83% вредных обновлений в самоэволюционных LLM

Исследователи показали, что у самоэволюционных языковых моделей есть слабое место в выборе того, какую версию модели передавать в следующий раунд. На проверенных задачах большинство обновлений не повышает вероятность правильных ответов, но циклы R-Zero, Agent0 и Skill Self-Play наследуют их все. Фреймворк HeirCommit сокращает долю вредных принятых обновлений на 68–83% относительно случайного наследования при той же доле принятых. Надстройка EvoHeir на четырёх базовых моделях выдаёт лучшие средние результаты по математике и общему рассуждению. Средняя оценка по математике выше на 5,3%, чем у сильнейшего бейзлайна Agent0.

Где ломается самоэволюция

Схема самоэволюции выглядит так: модель сама генерирует задачи, учится на них и входит в следующий раунд уже обновлённой. Каждый раунд требует решения, какая версия модели станет наследницей. В существующих циклах это решение принимается через задачу. Если задача выглядит обучаемой, её допускают в обучение, а получившееся обновление принимают целиком.

Авторы называют проблему разрывом между отбором и обновлением (selection-to-update gap). Задача, которая выглядит обучаемой, не обязана давать полезный сдвиг в весах. По их оценке, большинство обновлений на проверенных задачах не делают правильные ответы вероятнее. Тем не менее цикл их наследует, и ошибки накапливаются от раунда к раунду.

Как устроены HeirCommit и EvoHeir

HeirCommit переносит решение с задачи на саму модель. Обновлённую версию замораживают и проверяют на свежих оценочных вопросах. По результату решают: наследовать новую модель или оставить текущую. Свежие вопросы важны, потому что на тех, по которым шёл отбор, оценка получается завышенной. Авторы называют это эффектом выбора (selection-induced optimism) и описывают его аналитически.

EvoHeir идёт дальше и разделяет два канала наследования: параметры и опыт. Модель может не пройти проверку, но задачи и траектории, на которых она училась, остаются полезными. Текущий и архивный опыт используется, чтобы исправлять ошибки и сохранять удачные решения. Финальное подтверждение наступает только после этого шага. Итог в формулировке авторов: полезный опыт сохраняется, даже когда породившая его модель не унаследована.

Теоретическая часть раскладывает регрет на три компонента:

• ошибка отбора, когда принимается неудачное обновление или отвергается удачное;
• ошибка поглощения, когда модель плохо усваивает то, что ей показали;
• ошибка подтверждения, когда финальная проверка вносит собственный шум.

Цифры

• Доля вредных среди принятых обновлений при HeirCommit ниже на 68–83% относительно случайного наследования при том же уровне приёма.
• EvoHeir протестирован на четырёх базовых моделях.
• Лучшие средние результаты по математике и общему рассуждению среди сравниваемых методов.
• Прирост к среднему по математике: 5,3% относительно Agent0, самого сильного бейзлайна.

Сравнение со случайным наследованием при фиксированной доле принятых делает результат честнее. Выигрыш нельзя объяснить тем, что метод просто стал строже. Вопрос лишь в том, какие именно обновления проходят. Прирост 5,3% указан как относительный, и по доступному описанию неясно, какие бенчмарки и модели вошли в усреднение.

Что взять в работу

Если вы строите цикл самообучения для своей модели или агента, из работы следуют три практических вывода. Во-первых, не считайте допуск задачи гарантией полезного обновления: проверяйте итоговую модель, а не только материал, на котором она училась. Во-вторых, держите отдельный набор свежих вопросов для решения об наследовании. Если переиспользовать вопросы, по которым шёл отбор, оценка будет завышенной. В-третьих, не выбрасывайте опыт отвергнутых версий. Архив траекторий можно использовать для исправления ошибок и закрепления удач, и вес-кандидат для этого принимать не обязательно.

Ограничения тоже очевидны. Свежие оценочные вопросы стоят вычислений и данных, а детали реализации и полный список бенчмарков стоит смотреть в самой статье. Но сама идея отделить выбор будущей модели от выбора обучающей задачи применима к любому самоэволюционному циклу.