DAGFormer планирует связи между слоями и снижает перплексию на 17–25%

Исследователи представили DAGFormer — языковую модель на базе трансформера, в которой дополнительные связи между слоями планирует предиктор топологии, обучаемый вместе с основной сетью. На парах OLMo-2 размером от 75M до 1B параметров перплексия на WikiText-2 падает на 17–25% по сравнению с ванильным трансформером. Версия на 1B параметров, обученная на 5 млрд токенов, обходит ванильную, обученную на 10 млрд. Работа опубликована в Hugging Face Daily Papers.

Как устроена маршрутизация

В обычном трансформере слои связаны остаточными соединениями: каждый блок получает выход предыдущего плюс «скип». DAGFormer добавляет к этому прямые связи из ранних слоёв в поздние, так что сеть превращается в направленный ациклический граф. Сила каждой связи не фиксирована. Её определяет предиктор топологии по входным токенам, поэтому для разных текстов маршрут через слои может отличаться.

Главное отличие от существующих архитектур с cross-layer routing в масштабе планирования. Прежние подходы настраивают связи каждого слоя по отдельности, без общей картины. DAGFormer планирует маршрутизацию всей модели за один проход, и именно это авторы считают источником выигрыша.

Что показали замеры

Сравнение шло на согласованных парах OLMo-2 с одинаковыми данными и бюджетом. Ключевые цифры из статьи:

• перплексия на WikiText-2 ниже на 17–25% относительно ванильного трансформера (размеры от 75M до 1B);
• 1B DAGFormer на 5B токенов лучше ванильной модели на 10B токенов;
• самая низкая перплексия среди четырёх routing-базлайнов на 75M, 300M и 1B;
• на 13 задачах (здравый смысл, наука, чтение, математика) средняя точность выше на 2,0–2,5 пункта при 300M и 1B;
• после instruction finetuning винрейт в AlpacaEval против ванильной модели составляет 63–70%, выше, чем у любого routing-базлайна;
• при структурном прунинге DAGFormer деградирует меньше всех в пяти из шести настроек.

Наиболее практичный результат здесь, пожалуй, эффективность по данным: вдвое меньше токенов при сопоставимом или лучшем качестве. Пруниг тоже заслуживает внимания, потому что именно с ним команды сталкиваются при сжатии моделей под продакшен. Прирост точности на downstream-задачах скромнее перплексии: два пункта в среднем заметны, но не радикальны. AlpacaEval опирается на оценку другой моделью-судьёй, так что 63–70% лучше читать как сильный сигнал, а не как окончательный вердикт.

Что проверять до внедрения

Из описания неясны три вещи. Первая — цена самого предиктора: сколько он добавляет параметров, памяти и задержки на инференсе. Вторая — масштаб: эксперименты закончились на 1B, и перенос результата на 7B и выше остаётся гипотезой. Вторая половина вопроса — сохранится ли преимущество над базлайнами, когда в игру вступают длинные контексты и смеси экспертов. Третья — можно ли встроить такую топологию в уже обученные чекпойнты или же архитектуру придётся закладывать с нуля. В тексте об этом не сказано.

Командам, которые обучают небольшие модели с нуля и упираются в ограниченный бюджет токенов, работа даёт конкретную идею для воспроизведения: заменить фиксированные связи на планируемые и сравнить на своём датасете. Тем, кто работает с готовыми открытыми весами, пока достаточно следить за публикацией кода и независимыми репликациями. Если выигрыш удержится на 7B и выше, а накладные расходы окажутся малыми, подход станет заметным кандидатом в стандартный набор архитектурных приёмов.