Huginn обошёл Ouro на всех 10 бенчмарках: дизайн циклических LLM

Архитектура циклических моделей: три оси дизайна

Циклические языковые модели переиспользуют физические блоки Трансформера для достижения логической глубины, экономя вычислительные ресурсы. Однако существующие архитектуры запутывают три критических дизайн-оси: размещение рекуррентных блоков, способ инъекции входных сигналов и организацию рекуррентного состояния. Исследователи из Institute of Foundation Models провели контролируемое сравнение этих осей на моделях, тренируемых с нуля при совпадающих масштабах параметров, логической глубины и бюджета токенов.

Авторы работы: Benhao Huang, Chufan Shi, Junlin Chen, Shicheng Wen, Zhengzhong Liu, Eric Xing, Xuezhe Ma. Исследование показало, что архитектура prelude-recurrent block-coda sandwich (введение → циклические блоки → заключение) последовательно превосходит альтернативные конфигурации размещения рекуррентности. Этот подход значительно улучшает производительность на задачах извлечения контекста и требующих сложного логического рассуждения.

Инъекция входа и рекуррентное состояние: что работает и что нет

Input injection (инъекция входных данных на каждом шаге цикла) в первую очередь улучшает извлечение знаний и эффективное использование контекста. Однако случайная инициализация скрытого состояния и схема отдельных рекуррентных состояний для параметров H и L дают смешанные или явно отрицательные результаты, не оправдывая дополнительную сложность.

Huginn против Ouro: полное сравнение на всех бенчмарках

На базовом масштабе (730M параметров, 336B токенов обучения) полная архитектура Huginn превосходит Ouro на всех десяти тестовых бенчмарках. Преимущества сохраняются при масштабировании на Mixture-of-Experts (MoE) модели. На масштабе 8B0.8B параметров (32B3B при развёртывании), обученные на 500B токенов, модели Huginn демонстрируют превосходство над Ouro почти на всех бенчмарках, охватывающих области знаний, рассуждения и кодирование.

Конкретные результаты на именованных бенчмарках:

• DROP (извлечение информации из текста): Huginn превосходит • GSM8K (математическое рассуждение со словесными задачами): Huginn превосходит • MATH500 (сложные математические задачи): Huginn совпадает с базовой MoE моделью

Маршрутизация экспертов в Huginn более сбалансирована, что снижает проблему специализации и коллапса экспертов — когда большинство примеров маршрутизируется в один эксперт.

Параметрическая эффективность и практическое применение

При совпадающих вычислительных FLOPs для тренировки и инференса архитектура Huginn использует на 75% меньше резидентных параметров по сравнению с 112-слойной базовой feedforward MoE моделью. Несмотря на меньший объём физических параметров, модель превосходит базовую линию на DROP и GSM8K, совпадает на MATH500 и остаётся конкурентоспособна на семи остальных бенчмарках. Это делает Huginn перспективной архитектурой для параметрически эффективных больших языковых моделей, особенно при ограничениях на память или требованиях к быстрому инференсу. Исследование полностью открыто в GitHub репозитории xllm-loop, позволяя сообществу воспроизвести результаты и разрабатывать на основе этих дизайн-принципов.