MASA переосмысливает разреженное внимание LLM как аппроксимацию матриц

Препринт arXiv:2610.10871 предлагает метод MASA (Matrix Approximation Sparse Attention). Он корректирует выбор элементов в разреженном внимании: вместо ранжирования по массе внимания используется замкнутая формула, которая оценивает, насколько каждая sparse-единица уменьшает ошибку аппроксимации матричного произведения. MASA подключается к существующим sparse-фреймворкам без изменения их ядер и бюджетов. Авторы заявляют стабильный прирост точности на нескольких методах, бенчмарках и бэкбонах LLM. Конкретные цифры в аннотации не приводятся.

В чём претензия к текущим методам

Стоимость полного внимания растёт квадратично с длиной промпта, и это главный тормоз длинного контекста. Разреженное внимание сокращает счёт: сохраняется малая доля взаимодействий query-key, остальные отбрасываются. Вопрос в том, какие именно оставлять.

По мнению авторов, большинство методов отвечает на него слишком просто: берут крупные скалярные элементы или области с наибольшей массой внимания. Матрица внимания при этом рассматривается как мешок чисел, из которого достают самые тяжёлые. Но на практике она умножается на матрицу value-векторов, и именно результат этого произведения попадает в следующий слой. Вес элемента сам по себе не говорит, сколько ошибки в выходе появится после его удаления. Это зависит от того, какие value-векторы стоят рядом, как элементы согласуются между собой и что остаётся в остатке.

Отсюда тезис работы: разреженное внимание нужно формулировать как задачу матричной аппроксимации, где качество измеряется по выходу, а не по отдельным весам.

Как устроен MASA

Метод подменяет критерий отбора. Вместо сырой массы внимания каждая sparse-единица получает оценку по замкнутой формуле: насколько её сохранение уменьшает ошибку аппроксимации произведения «внимание на значения». Оценка выводится из теории, итеративной оптимизации в описании нет.

Главное практическое свойство: MASA не заменяет существующие алгоритмы, а исправляет их скоринг. Sparse-ядра и бюджет по числу сохраняемых элементов остаются прежними, меняется только то, какие элементы попадают в этот бюджет. Эксперименты охватывают несколько sparse-методов, бенчмарков и LLM-бэкбонов и, по заявлению авторов, дают устойчивый выигрыш в точности.

Ключевые параметры из аннотации:

• Источник: arXiv cs.CL, 2610.10871v1, 9 октября 2026 года.
• Идея: sparse attention как матричная аппроксимация, а не выбор крупных значений.
• Критерий: замкнутая формула снижения ошибки произведения матриц.
• Интеграция: плагин, ядра и бюджеты не меняются.
• Проверка: несколько sparse-методов, бенчмарков и LLM-бэкбонов.
• Не раскрыто в аннотации: величина прироста, накладные расходы на подсчёт оценок, длины контекста.

Что проверить на практике

Для команд, которые строят инференс длинного контекста, работа интересна тем, что не требует переписывать ядра. Если метод подтвердится, его можно будет тестировать поверх уже используемой схемы разреженности при том же бюджете.

Перед внедрением стоит выяснить три вещи. Первая: во сколько обходится вычисление самой оценки и не съедает ли оно часть выигрыша от разреженности. Вторая: насколько прирост точности заметен на ваших задачах, например на поиске по длинному контексту и на кодинге, а не только на публичных бенчмарках. Третья: как метод ведёт себя при очень агрессивной разреженности, где ошибка выбора растёт быстрее всего.

Это препринт без рецензирования, поэтому доказательная база сейчас ограничена тем, что авторы показали сами. Утверждение «стабильный прирост» без таблиц пока нельзя перевести в ожидаемый эффект для конкретной модели. Стоит дождаться кода и независимых воспроизведений. Сама постановка задачи, где оптимизируется выход внимания, а не вес отдельных элементов, выглядит логичной основой для следующих sparse-алгоритмов.