Parallax: улучшенная локальная линейная внимание с коррекцией ковариации

Исследователи представили Parallax — параметризованный вариант локального линейного внимания (Local Linear Attention, LLA), который сохраняет привычный механизм softmax и добавляет обучаемую ветвь коррекции ковариации. Об этом 31 мая 2026 года сообщило издание MarkTechPost: по данным публикации, новый метод заменяет применяемый в LLA решатель для каждого запроса на обучаемый проектор, что удваивает арифметическую интенсивность вычислений и улучшает перплексию моделей на масштабах 0,6 и 1,7 млрд параметров.

В чём ограничение линейного внимания

Классический механизм внимания (self-attention) в трансформерах — один из главных источников вычислительных затрат при обучении и инференсе языковых моделей: его сложность растёт квадратично с длиной входной последовательности. Линейное внимание было предложено как способ обойти это ограничение, приближая вычисления к линейной сложности, но обычно ценой некоторой потери качества по сравнению с полным softmax-вниманием. Local Linear Attention (LLA) — один из подходов в этом направлении, который для каждого запроса решает локальную задачу аппроксимации, что, впрочем, создаёт собственные узкие места с точки зрения эффективности использования вычислительного оборудования.

Ключевые факты о Parallax:

• Метод построен на базе локального линейного внимания (LLA).
• Per-query решатель заменён на обучаемый проектор (learned projector).
• Сохранён softmax-механизм внимания, добавлена ветвь коррекции ковариации.
• Арифметическая интенсивность вычислений удваивается по сравнению с базовым подходом.
• Улучшение перплексии зафиксировано на моделях с 0,6 и 1,7 млрд параметров.

Что меняет обучаемый проектор

Ключевое архитектурное отличие Parallax — замена решателя, который в исходном варианте LLA пересчитывался отдельно для каждого запроса, на единый обучаемый проектор. Такая замена снижает вычислительную нагрузку, специфичную для каждого отдельного запроса, и переносит часть «интеллекта» механизма внимания в параметры, которые обучаются заранее вместе с остальной моделью. Добавленная ветвь коррекции ковариации, судя по названию метода, призвана компенсировать неточности линейной аппроксимации, приближая качество работы механизма ближе к полному softmax-вниманию, при этом сохраняя выигрыш в скорости, характерный для линейных методов внимания.

Что показали эксперименты

Авторы отмечают два практических результата. Во-первых, удвоение арифметической интенсивности — метрики, которая показывает, насколько эффективно вычислительное оборудование используется на каждый переданный байт данных: чем выше арифметическая интенсивность, тем меньше вычисления упираются в пропускную способность памяти, а не в производительность самих вычислительных ядер. Во-вторых, метод показал улучшение перплексии — стандартной метрики качества языковых моделей, отражающей, насколько хорошо модель предсказывает следующий токен, — на моделях сравнительно небольшого масштаба: 0,6 и 1,7 млрд параметров. Для исследовательского сообщества, работающего над эффективными архитектурами трансформеров, подобные результаты интересны прежде всего как доказательство того, что механизмы линейного внимания можно приближать к качеству полного внимания без отказа от выигрыша в вычислительной эффективности.

Почему это направление исследований важно

Поиск альтернатив классическому квадратичному вниманию — одна из самых активных областей современных исследований в области языковых моделей: помимо линейного внимания, за последние годы предлагались и другие архитектурные подходы к снижению вычислительных затрат на обработку длинных последовательностей — рекуррентные и state-space архитектуры, различные варианты разреженного внимания и гибридные схемы, сочетающие несколько механизмов в одной модели. Общая мотивация у всех этих направлений одна: длина контекста, которую модели должны обрабатывать, — от коротких запросов до целых книг, кодовых репозиториев и многочасовых диалогов — растёт быстрее, чем удешевляются вычисления, а значит, эффективность каждого механизма внимания напрямую определяет, насколько длинный контекст можно позволить себе обрабатывать при заданном бюджете на инфраструктуру. На этом фоне тестирование Parallax пока ограничено сравнительно небольшими моделями — 0,6 и 1,7 млрд параметров, — и то, сохранятся ли заявленные преимущества при масштабировании до размеров современных промышленных LLM, остаётся вопросом для дальнейших исследований.

Практическая ценность подобных архитектурных улучшений редко проявляется мгновенно: путь от исследовательской публикации до применения метода в моделях промышленного масштаба обычно занимает месяцы или годы и требует независимой проверки на более крупных архитектурах и разнообразных наборах данных. Тем не менее сама идея сохранить механизм softmax, вместо того чтобы полностью отказываться от него ради линейной сложности, выделяет Parallax на фоне более радикальных альтернатив внимания — это скорее эволюционное уточнение существующего подхода, чем попытка изобрести принципиально новую архитектуру с нуля.