Nestor: вложенная разреженность в attention обошла MoE при равных затратах

Mixture-of-experts давно стал стандартной основой больших языковых моделей: на каждом прямом проходе работает лишь малая часть весов. Команда из Гонконгского университета и Berkeley предлагает добавить второй слой такой экономии. Tianzhe Chu, Druv Pai и Yi Ma описали архитектуру Nestor, где условные вычисления встроены в оператор внимания и вкладываются в разреженность MoE. По их данным, при равных вычислениях и равной разреженности Nestor показывает лучшее качество предобучения языковой модели, чем классический MoE-трансформер. Статья вышла на arXiv 22 октября 2026 года (2610.31818), код и чекпойнты опубликованы.

Где в трансформере прячется вторая разреженность

В обычном MoE-трансформере разреженность живёт в одном месте. MoE-оператор обобщает многослойный перцептрон из классического трансформера: маршрутизатор выбирает, какие эксперты обработают токен, остальные веса в этом проходе простаивают. Блок внимания при этом остаётся плотным.

Авторы Nestor идут симметрично. Они вводят механизм условных вычислений, который обобщает уже оператор внимания, а не MLP. Получается две независимые оси экономии. Они складываются иерархически, то есть вкладываются друг в друга, отсюда и название. Один трансформер получает разреженность и в attention-части, и в MoE-части, а не только в одной из них.

Сравнение построено аккуратно: сопоставляются модели при равных вычислениях и равной разреженности. Это отсекает самое простое возражение, что выигрыш куплен дополнительными FLOPs или большим числом активных параметров.

Дообучение на длинном контексте и новых доменах

Наиболее практичная часть работы касается continual pretraining, то есть продолжения предобучения уже готовой модели. Для лабораторий и компаний это рутина: базовую модель регулярно растягивают на более длинный контекст или доучивают на новой предметной области.

По результатам авторов, Nestor справляется с этим лучше обычных MoE:

• на более длинный контекст он адаптируется эффективнее;
• на новые домены переключается эффективнее;
• на старых доменах забывает меньше.

Последний пункт важен отдельно. Катастрофическое забывание остаётся главной платой за дообучение, и архитектура, которая снижает эту плату без отдельных трюков вроде replay-буферов, интересна всем, кто ведёт модели через несколько этапов обучения.

Авторы также проверили масштабирование. Преимущества сохраняются при росте размера модели, объёма датасета и длины контекста. Для архитектурных идей это главный экзамен: многие улучшения хорошо выглядят на малых моделях и исчезают на больших.

Что известно о работе

• Название архитектуры: Nestor (nested sparsity).
• Авторы: Tianzhe Chu, Druv Pai, Yi Ma; аффилиация на странице статьи — The University of Hong Kong.
• Идея: механизм условных вычислений, обобщающий оператор внимания по аналогии с тем, как MoE обобщает MLP.
• Связь с MoE: разреженности иерархически вкладываются друг в друга.
• Предобучение: выигрыш над обычным MoE-трансформером при равных вычислениях и равной разреженности.
• Continual pretraining: лучшая адаптация к длинному контексту, эффективнее переход на новые домены, меньше забывания старых.
• Масштабирование: эффект сохраняется при росте модели, данных и контекста.
• Артефакты: код и чекпойнты в GitHub-репозитории Ma-Lab-Berkeley/Nestor, есть страница проекта на ma-lab-berkeley.github.io/Nestor.

Что с этим делать практикам

Пока это академическая статья без внедрения в промышленных моделях, и на странице Hugging Face Daily Papers у неё один голос. Но материал открытый, а значит, идею можно проверить без переговоров с авторами. Командам, которые обучают собственные MoE-модели, имеет смысл взять чекпойнты и код и сравнить Nestor со своей базовой архитектурой на задачах расширения контекста и доменной адаптации: именно там заявлен наибольший эффект.

Для инфраструктурных команд есть отдельный вопрос: как вторая ось разреженности ляжет на реальные ядра и распределённое обучение. Выигрыш при равных вычислениях в теории не гарантирует выигрыша по времени на кластере, пока для attention-маршрутизации нет оптимизированных реализаций. Если такие реализации появятся, MoE перестанет быть синонимом разреженного MLP, и поле для архитектурных экспериментов заметно расширится.