Как работает Mixture-of-Experts: архитектура современных нейросетей

Исследователи Apple обнаружили неэффективность в архитектуре Mixture-of-Experts — методе маршрутизации, который используют современные нейросети для распределения данных между специализированными модулями-экспертами.

Что такое экспертный путь

В разреженной архитектуре Mixture-of-Experts каждый токен на каждом слое независимо направляется к небольшому подмножеству из N экспертов. Стандартный MoE принимает это решение пословно, не учитывая историю предыдущих слоёв. При L слоях теоретически возможных уникальных маршрутов — N^L: для модели с 8 экспертами и 32 слоями это свыше 10^28 вариантов.

Apple ML Research предлагают смотреть на это иначе: «экспертный путь» — полная последовательность выборов эксперта, которую токен совершает через все слои модели. Такой взгляд превращает анализ MoE из набора независимых пословных решений в анализ целостных траекторий.

Ключевые наблюдения авторов:

• Несмотря на N^L возможных путей, токены кластеризуются в небольшую долю маршрутов
• Популярные пути не случайны — они соответствуют лингвистическим функциям токенов (часть речи, синтаксическая роль, семантический тип)
• Абсолютное большинство теоретически допустимых маршрутов остаётся неисследованным в процессе обучения
• Авторы называют это «статистической неэффективностью»

Почему неисследованные пути — это проблема?

Если большинство маршрутов не задействуется, эксперты на этих путях получают ничтожно мало градиентных обновлений. Нагрузка распределяется неравномерно: часть экспертов перегружена и видит непропорционально большое число токенов, другая часть простаивает и остаётся слабо обученной.

Модель формально располагает огромной ёмкостью — N^L маршрутов, умноженных на параметры каждого эксперта, — но реально задействует лишь малую её часть. При масштабировании до сотен экспертов и десятков слоёв этот разрыв между теоретическим и практическим потенциалом становится особенно заметным.

Дополнительная сложность: маршрутизатор без явных ограничений вынужден самостоятельно обнаруживать «хорошие» пути в огромном комбинаторном пространстве, что делает обучение менее стабильным и предсказуемым.

Как работает Path-Constrained MoE

Apple ML Research предлагают семейство архитектур, которые явно сужают эффективное пространство путей. В Path-Constrained MoE маршрутизатор принимает решение о выборе следующего эксперта с учётом того, какой путь токен уже прошёл, — удерживая его в допустимом подмножестве продолжений.

Ключевой принцип: если полезные пути составляют небольшую долю от N^L и коррелируют с лингвистической структурой токенов, явное ограничение пространства не теряет выразительной силы модели, но кардинально изменяет динамику обучения. Каждый эксперт в пределах допустимого подмножества получает более равномерный поток обновлений. «Мёртвые зоны» — пути, которые при стандартном дизайне никогда не задействуются, — сокращаются.

Связь активных маршрутов с лингвистической функцией токенов делает такие ограничения теоретически мотивированными: архитектура кодирует то, что модель всё равно обнаружила бы эмпирически.

Что это значит

Работа Apple ML Research ставит системный вопрос к дизайну разреженных MoE-архитектур: стандартная независимая маршрутизация порождает огромное, но практически пустое комбинаторное пространство. Path-Constrained подход способен сделать крупные языковые модели эффективнее по параметрам, стабильнее в обучении и предсказуемее — особенно при масштабировании до сотен экспертов и десятков слоёв.

Что такое Mixture-of-Experts в нейросетях?

Это архитектура, где каждый токен (элемент текста) направляется к подмножеству специализированных экспертов вместо обработки всеми параметрами модели, что экономит вычисления.

Почему исследование Apple важно?

Выявлено, что большинство теоретически возможных маршрутов в MoE-архитектурах остаётся незадействованным, что означает неэффективное использование потенциала таких моделей.