Apple ML Research выявила неэффективность в маршрутизации Mixture-of-Experts

Исследователи Apple ML Research опубликовали работу Path-Constrained Mixture-of-Experts, в которой предлагают рассматривать разреженные MoE-архитектуры через призму «экспертных путей» и обнаруживают, что большинство теоретически возможных маршрутов в таких моделях остаётся незадействованным.

Что такое экспертный путь

В разреженной архитектуре Mixture-of-Experts каждый токен на каждом слое независимо направляется к небольшому подмножеству из N экспертов. Стандартный MoE принимает это решение пословно, не учитывая историю предыдущих слоёв. При L слоях теоретически возможных уникальных маршрутов — N^L: для модели с 8 экспертами и 32 слоями это свыше 10^28 вариантов.

Apple ML Research предлагают смотреть на это иначе: «экспертный путь» — полная последовательность выборов эксперта, которую токен совершает через все слои модели. Такой взгляд превращает анализ MoE из набора независимых пословных решений в анализ целостных траекторий.

Ключевые наблюдения авторов:

• Несмотря на N^L возможных путей, токены кластеризуются в небольшую долю маршрутов
• Популярные пути не случайны — они соответствуют лингвистическим функциям токенов (часть речи, синтаксическая роль, семантический тип)
• Абсолютное большинство теоретически допустимых маршрутов остаётся неисследованным в процессе обучения
• Авторы называют это «статистической неэффективностью»

Почему неисследованные пути — это проблема?

Если большинство маршрутов не задействуется, эксперты на этих путях получают ничтожно мало градиентных обновлений. Нагрузка распределяется неравномерно: часть экспертов перегружена и видит непропорционально большое число токенов, другая часть простаивает и остаётся слабо обученной.

Модель формально располагает огромной ёмкостью — N^L маршрутов, умноженных на параметры каждого эксперта, — но реально задействует лишь малую её часть. При масштабировании до сотен экспертов и десятков слоёв этот разрыв между теоретическим и практическим потенциалом становится особенно заметным.

Дополнительная сложность: маршрутизатор без явных ограничений вынужден самостоятельно обнаруживать «хорошие» пути в огромном комбинаторном пространстве, что делает обучение менее стабильным и предсказуемым.

Как работает Path-Constrained MoE

Apple ML Research предлагают семейство архитектур, которые явно сужают эффективное пространство путей. В Path-Constrained MoE маршрутизатор принимает решение о выборе следующего эксперта с учётом того, какой путь токен уже прошёл, — удерживая его в допустимом подмножестве продолжений.

Ключевой принцип: если полезные пути составляют небольшую долю от N^L и коррелируют с лингвистической структурой токенов, явное ограничение пространства не теряет выразительной силы модели, но кардинально изменяет динамику обучения. Каждый эксперт в пределах допустимого подмножества получает более равномерный поток обновлений. «Мёртвые зоны» — пути, которые при стандартном дизайне никогда не задействуются, — сокращаются.

Связь активных маршрутов с лингвистической функцией токенов делает такие ограничения теоретически мотивированными: архитектура кодирует то, что модель всё равно обнаружила бы эмпирически.

Что это значит

Работа Apple ML Research ставит системный вопрос к дизайну разреженных MoE-архитектур: стандартная независимая маршрутизация порождает огромное, но практически пустое комбинаторное пространство. Path-Constrained подход способен сделать крупные языковые модели эффективнее по параметрам, стабильнее в обучении и предсказуемее — особенно при масштабировании до сотен экспертов и десятков слоёв.