Huginn обошёл Ouro на всех 10 бенчмарках в сравнении зацикленных LLM

Зацикленные языковые модели экономят параметры, но до сих пор было неясно, какие именно архитектурные решения дают выигрыш. Новая работа, первая часть серии «Towards Looped Models Done Right», разделила эти решения и проверила каждое отдельно. Итог: при 730M параметров и 336B токенов полная архитектура в стиле Huginn обошла Ouro на всех десяти бенчмарках. В MoE-версии 8BA0.8B (32BA3B в развёрнутом виде), обученной на 500B токенов, Huginn снова впереди почти везде. При равных FLOPs на обучении и инференсе она использует на 75% меньше резидентных параметров, чем 112-слойная feedforward MoE.

Три оси, которые раньше были склеены

Looped-модель переиспользует одни и те же физические блоки Transformer на разных шагах логической глубины. Один набор весов прогоняется несколько раз, и сеть «думает» глубже без роста числа параметров. В существующих архитектурах три решения сцеплены между собой. Первое: где в стеке стоит рекуррентность. Второе: как исходный вход подмешивается на каждой итерации. Третье: как организовано рекуррентное состояние. Из-за этого по сравнению двух готовых моделей нельзя сказать, что именно сработало.

Авторы разнесли эти оси. Модели обучали с нуля при одинаковом масштабе параметров, одинаковой логической глубине и равных токенных бюджетах. Затем проверили, переносятся ли выводы на MoE-модели, где совпадают и резидентные, и активные параметры.

Что показали эксперименты

Лучше всего проявила себя «сэндвич»: входной блок (prelude), рекуррентный блок и выходной (coda). Он стабильно улучшает извлечение информации из контекста и задачи, требующие рассуждений. Input injection, то есть повторная подача входа внутрь цикла, в основном помогает извлекать знания и лучше использовать контекст. Случайная инициализация состояния и раздельные рекуррентные состояния H и L дали смешанный или отрицательный результат. Сочетание этих находок и есть дизайн Huginn.

Ключевые цифры из работы:

• 730M параметров, 336B токенов: полная архитектура Huginn лучше Ouro на всех 10 бенчмарках.
• MoE 8BA0.8B (32BA3B при развёртке), 500B токенов: Huginn опережает Ouro почти на всех тестах по знаниям, рассуждению и кодингу.
• Маршрутизация экспертов у Huginn сбалансированнее, чем у Ouro.
• При равных FLOPs на обучении и инференсе Huginn использует на 75% меньше резидентных параметров, чем 112-слойная feedforward MoE.
• Против этой базы looped-модель выигрывает на DROP и GSM8K, держит паритет на MATH500 и остаётся конкурентной на остальных тестах.

Отдельно важен перенос на MoE. Looped-архитектуры обычно проверяют на плотных моделях, а выигрыш в таком масштабе не гарантирует, что дизайн переживёт переход к экспертам. Здесь переживает, и это заметно усиливает аргумент в пользу Huginn.

Что менять в практике

Главная польза в памяти. Резидентные параметры определяют, сколько весов нужно держать на ускорителе, а повторные проходы тратят вычисления, а не память. Если инференс упирается в объём памяти, а не в FLOPs, looped MoE с четвертью резидентных параметров выглядит серьёзной альтернативой глубокому feedforward-стеку. Особенно там, где важны арифметические и читающие задачи вроде GSM8K и DROP.

Оговорки тоже есть. В аннотации нет данных о задержке и пропускной способности, а на части бенчмарков looped-модель лишь «конкурентна», не лучше базы. Масштаб ограничен 8B резидентных параметров и 500B токенов, поэтому выводы для моделей на порядок крупнее нужно проверять отдельно. Командам, которые строят looped-модели, работа даёт короткий чек-лист: брать сэндвич-топологию, не отказываться от input injection, не усложнять состояние раздельными H/L без доказанной выгоды и смотреть на баланс маршрутизации экспертов. Это лишь первая часть серии, продолжение покажет, насколько устойчив этот набор решений.