MiniMax выпустила MSA: разреженное внимание ускоряет обработку миллионного контекста в 28 раз

MiniMax опубликовала исследование MSA (MiniMax Sparse Attention) — нового механизма разреженного внимания, который позволяет обрабатывать контексты длиной в миллион токенов в 28 раз быстрее стандартного Grouped Query Attention без потери качества на бенчмарках.

Как устроен MSA MSA построен поверх

Grouped Query Attention (GQA) и использует двухветочную блочно-разреженную архитектуру. Традиционный механизм внимания работает по принципу «все со всеми»: каждый токен запроса обращается ко всем ключам и значениям в контексте. При контексте в миллион токенов это требует астрономического числа операций и становится вычислительно неподъёмным.

Решение MiniMax разделяет процесс на два независимых этапа. Сначала работает лёгкая Index Branch — специализированный модуль, который для каждого запроса и каждой GQA-группы выбирает Top-k наиболее релевантных блоков ключей и значений. Этот отбор происходит быстро и дёшево.

Затем Main Branch выполняет полноценное точное внимание, но только по отобранным блокам — а не по всему контексту целиком. Важно, что блочно-разреженная структура MSA совместима с существующими оптимизированными CUDA-ядрами. Команде не потребовалось создавать кастомные GPU-реализации: механизм работает эффективно на стандартном оборудовании.

Масштаб обучения и результаты MSA обучена как часть 109-миллиардной

MoE-модели (Mixture of Experts) с суммарным токенным бюджетом в 3 трлн токенов. По масштабу это один из крупнейших публично задокументированных экспериментов с механизмами разреженного внимания. Ключевые результаты: Снижение вычислительной нагрузки на токен — в 28,4 раза при контексте 1 млн токенов по сравнению с полным GQA Качество на стандартных downstream-бенчмарках — сопоставимо с базовым GQA, деградация незначительна Архитектурная совместимость: MSA встраивается поверх существующего GQA без переработки остальной части модели Работает на стандартных CUDA-ядрах без кастомных реализаций > «MSA сохраняет точность GQA, одновременно снижая вычислительные затраты на внимание в 28 раз при контексте в миллион токенов», — из технического отчёта MiniMax.

Почему длинный контекст так трудно масштабировать

Обработка длинных последовательностей — давняя проблема трансформерных архитектур. Объём памяти для KV-кеша растёт линейно с длиной контекста, а число операций внимания — квадратично. Для контекста в 1 млн токенов это означает триллионы пар «запрос–ключ» на каждый слой модели. Большинство существующих решений идут на компромисс: обрезают контекст, используют sliding window или переходят к линеаризованным приближениям внимания, теряя в точности. Альтернативные архитектуры вроде Mamba меняют структуру модели фундаментально, что усложняет перенос уже обученных весов и совместимость с трансформерной инфраструктурой. MSA предлагает иной путь: оставить Main Branch точной (без приближений), а задачу отбора релевантных блоков делегировать лёгкому Index Branch. Именно это разделение обязанностей даёт 28-кратное ускорение без заметной потери качества.

Что это значит

Если результаты воспроизведутся в продуктовых условиях, MSA может стать практичным путём к дешёвым длинным контекстам — для работы с большими документами, кодовыми базами и мультимодальными входами. MiniMax открыла технические детали метода, что позволяет другим командам адаптировать подход под собственные масштабы.