ELR учит одну модель крутиться в цикле: Koi-4B набирает 18 и 29 баллов

Авторы препринта с arXiv предложили Elastic Latent Recurrence (ELR), рецепт обучения зацикленных языковых моделей, которые при одном проходе не проигрывают обычным. На 4B dense-модели ELR при одном проходе на 0,52 пункта ниже сопоставимой базовой линии по среднему от десяти задач, на гибриде MoE 30B-A3B на 1,04 пункта выше. Четыре прохода добавляют 7,25 и 4,75 пункта соответственно. По итогам пост-обучения получилась Koi-4B: примерно 18 баллов на Artificial Analysis Intelligence Index при одном проходе, на уровне Qwen3.5-4B, и 29 при четырёх.

Налог одного прохода

Латентная рекуррентная модель применяет один и тот же блок слоёв несколько раз подряд. Число повторов становится ручкой настройки: хотите быстрее, ставьте один цикл, хотите точнее, ставьте больше. Один чекпойнт обслуживает и дешёвые запросы, и сложные. В теории удобно. На практике такие модели при одном проходе заметно слабее обычной модели того же размера. Авторы называют это «налогом одного прохода». Пока он существует, при жёстких требованиях к задержке разумнее поставить отдельную нерекуррентную модель, и вся идея одного гибкого чекпойнта теряет смысл.

ELR нацелен именно на этот налог. При одном проходе модель стоит в обслуживании столько же, сколько обычная, и при обучении на тех же данных выходит на сопоставимую точность. Каждый следующий цикл покупает дополнительную точность за дополнительный инференс-компьют.

Три решения и несколько инженерных трюков

Рабочий рецепт держится на трёх решениях. Первое: обновление состояния с гейтом и обучаемым размером шага. Второе: число циклов смешивается внутри каждого шага оптимизатора, а не фиксируется для всего прогона. Третье: каждый проход получает условие в виде индекса цикла и общего бюджета. Первые два сохраняют качество при одном цикле, третье снижает loss на каждом дополнительном.

Отдельно авторы занялись стоимостью обучения. Смешанную глубину можно включать на поздней стадии предобучения. Если при переключении добавить условие с нулевой инициализацией, такой поздний график достигает меньшего loss, чем смешанное обучение с нуля. В MoE-моделях повторное использование маршрутов экспертов первого цикла на следующих сокращает время смешанного обновления на 11,7% без измеримой потери точности. На инференсе хранение KV-кэша внимания только от последнего цикла удерживает память на уровне одного прохода и сохраняет большую часть выигрыша от дополнительных циклов.

Цифры

• 4B dense: −0,52 пункта к базовой линии при одном цикле, +7,25 при четырёх.
• 30B-A3B MoE (гибрид): +1,04 пункта при одном цикле, +4,75 при четырёх.
• MoE, повтор маршрутов первого цикла: −11,7% времени смешанного обновления.
• KV-кэш последнего цикла: память внимания как при одном проходе.
• Koi-4B: около 18 на Artificial Analysis Intelligence Index при одном цикле (оценка) и 29 при четырёх.

Где это пригодится

Главный практический эффект касается сервинга. Сейчас команды, которым нужны и быстрый ответ, и глубокое рассуждение, держат две модели или маршрутизатор между разными размерами. С ELR-подобной моделью достаточно одного набора весов: чат и автодополнение идут на одном цикле, сложные задачи на четырёх. Меньше разных чекпойнтов в памяти, проще деплой. Рост с 18 до 29 на AA Index у Koi-4B показывает, что малая модель с запасом по циклам способна подтянуться к более тяжёлым классам.

Ограничения тоже есть. Дополнительные циклы стоят вычислений, а замеры собраны самими авторами на двух архитектурах и оценочном индексе. Независимых тестов в реальных нагрузках пока нет, и неясно, насколько рецепт масштабируется за пределы 30B. Но для тех, кто выбирает между скоростью и качеством на локальном железе или в дорогом облаке, подход стоит держать на радаре: он убирает главный аргумент против зацикленных моделей.