ИИ учится на задачах, которые пишет сам: средний балл вырос с 57,77 до 61,05

Группа исследователей опубликовала метод A-RSI (Adaptive Recursive Self-Improvement, «адаптивное рекурсивное самоулучшение»). Мультимодальная модель, понимающая текст и изображения, дообучается на задачах, которые создаёт сама, и не использует ни внешних обучающих примеров, ни ответов, написанных людьми. Главная цифра: средний результат Qwen3-VL-8B-Instruct на одиннадцати мультимодальных бенчмарках (стандартных наборах вопросов по картинкам, графикам и схемам) вырос с 57,77 до 61,05. Стартовая точка — модель после первичной настройки на начальном наборе задач. Рост получился после восьми окон дообучения и 800 свежих задач. Авторы решали две проблемы по отдельности: когда подбрасывать модели новый материал и откуда брать верные ответы.

Откуда берутся задачи и ответы без людей

Многие методы самообучения берут ответ на свою задачу из голосования самой модели: сгенерировали несколько решений, победило самое частое. Тогда ошибка модели превращается в «правильный ответ» для следующего шага обучения. A-RSI обходит это через программы.

Схема такая:

• Модель один раз, до начала обучения, пишет шаблоны: исполняемые программы для задач по геометрии, графикам, таблицам и подсчёту объектов.
• Каждая программа сначала выбирает параметры, например значения столбцов диаграммы. Потом рисует по ним картинку, формулирует вопрос («на сколько столбец A выше столбца B?») и считает эталонный ответ из тех же чисел.
• Модель-ученик видит только картинку и вопрос. Скрытые числа и ответ остаются у программы.
• Кандидаты проходят проверки на корректность, неоднозначность, свежесть и пересечение с тестовыми данными. Из них заранее готовят непересекающиеся наборы на замену.

Авторы честно оговаривают: эти проверки не доказывают, что каждая отрисованная задача безупречна. Ответ верен ровно настолько, насколько верны шаблон и его код. Поэтому ответы дополнительно проверяются независимым аудитом.

Как контроллер понимает, что набор задач выдохся

Обучение идёт методом GRPO. На каждую задачу модель выдаёт группу ответов, и их сравнивают между собой. Если часть ответов верна, а часть нет, возникает полезный сигнал. Если все ответы одинаково верны или одинаково неверны, модель ничему не учится на этой задаче.

Контроллер A-RSI считает две величины по логам обучения:

• сколько разных задач ещё дают разброс наград внутри группы;
• какова доля верных ответов на обучающих задачах.

После каждого окна он сравнивает их со значениями несколькими окнами ранее. Набор заменяют целиком, если число «живых» задач упало ниже порога или точность выросла слишком сильно (модель слишком хорошо знает набор). Есть минимальный срок наблюдения, чтобы обе замеры относились к одному набору. Пороги одинаковы для всех этапов и моделей. Тестовые и валидационные баллы контроллер не видит. При замене веса модели сохраняются, шаблоны и квоты по типам задач остаются прежними.

Авторы подчёркивают, что это рабочий индикатор падения сигнала, а не доказательство, что набор «освоен». Нулевой разброс может возникнуть и когда модель стабильно ошибается.

Что показали замеры и где авторы ограничивают выводы

• Qwen3-VL-8B: 57,77 → 61,05 на одиннадцати бенчмарках, 800 свежих задач.
• Обновление набора после каждого окна: 60,64, но потрачено 3 200 задач, в четыре раза больше. Адаптивная схема лучше и экономнее.
• На шестом окне A-RSI даёт 60,40, а продолжение обучения на старом наборе даёт 58,35. Застой на повторяющихся задачах заметен.
• MiMo выросла с 59,08 (публичная базовая модель) до 60,71.

Есть и неудобный для интуиции результат. Выбор задач по сложности или по текущей компетенции модели не обошёл случайную выборку при фиксированных долях типов задач. Это относится только к их генераторам, модели и проверенным правилам отбора. Авторы также прямо пишут, что выводы про оптимальный момент замены ограничены: выигрыш дает сама политика замены набора, а точное попадание во время подтверждено не полностью.

Отдельный аудит ответов разделяет два источника роста балла. Модель может лучше решать задачи, а может просто чаще укладываться в лимит длины ответа. Награда в обучении штрафует ответ, оборванный на лимите, даже если в нём уже мелькнул ответ в рамке. Поэтому в статье отдельно считают, сколько прироста дали дописанные до конца ответы и сколько дали исправленные ошибки среди завершённых.

Для инженеров вывод практический. Если у вас есть генераторы задач с программно проверяемым ответом, не обязательно гонять один и тот же набор до упора или обновлять его каждый шаг. Достаточно следить за долей задач с разбросом наград и менять набор по этому сигналу. Это экономит задачи и не требует тестовых оценок. Ограничение понятно: метод работает там, где ответ можно вычислить программой, а такие задачи пока покрывают геометрию, графики, таблицы и счёт, но не весь спектр реальных визуальных вопросов.