STILL от HIT Shenzhen: гибридное внимание внутри слоя выбирает токены по содержанию

Квадратичная сложность softmax-внимания остаётся главным ограничением для моделей с длинным контекстом: стоимость растёт как O(n²) от длины последовательности. Команда Харбинского технологического института (кампус в Шэньчжэне) предлагает на NeurIPS 2026 архитектуру STILL, которую называет первым внутрислойным гибридным вниманием с учётом содержания. Первый автор — аспирант Мэн Вэйкан, он занимается эффективными архитектурами и линейным и гибридным вниманием. Коммуникационный автор — профессор Чжан Чжэн. Об исследовании сообщило издание Jiqizhixin.

В нашем распоряжении только вводный фрагмент материала. Конкретных метрик качества и скорости в нём нет, поэтому ниже мы разбираем идею, а не результаты.

Почему гибриды называют «псевдо-гибридными»

Линейное внимание дёшево: стоимость растёт линейно с длиной контекста. Но оно сжимает историю в состояние фиксированного размера и хуже справляется с точным извлечением деталей. Поэтому индустрия комбинирует оба механизма. Самая распространённая схема межслойная: большая часть слоёв линейная, а полное softmax-внимание стоит через каждые несколько слоёв. По такому принципу строят, например, Jamba, MiniMax-01 и Qwen3-Next.

Внутрислойные гибриды делят работу внутри одного слоя. Типичный вариант: точное внимание в локальном окне вокруг текущего токена, а всё остальное обрабатывает линейный механизм. Авторы STILL, судя по заголовку, считают такую схему позиционной «псевдо-гибридностью»: решение, какие токены заслуживают точной обработки, принимается по расстоянию, а не по тому, что в токенах написано. Важная цифра или имя в начале длинного документа при этом попадают в «дешёвую» ветку наравне с шумом.

Что предлагает STILL

Ключевое заявление: распределение между точным и линейным вниманием внутри слоя определяется содержанием. Как именно устроен механизм выбора, в доступном фрагменте не раскрыто. Это может быть обучаемый роутер, оценка важности токенов или иная схема. Детали придётся смотреть в статье.

Пока из открытых данных известно следующее:

• Конференция: NeurIPS 2026.
• Название архитектуры: STILL.
• Тип: внутрислойный гибрид softmax и линейного внимания.
• Отличие от предшественников: выбор по содержанию токенов, а не по позиции.
• Институт: Харбинский технологический институт (Шэньчжэнь).
• Метрики перплексии, длины контекста и ускорения: в доступном фрагменте не приведены.

Что проверять при чтении статьи

У внутрислойного подхода есть практическое преимущество. Он не требует менять структуру стека слоёв и теоретически даёт каждому слою доступ к обоим режимам. Но у содержательного выбора токенов есть и цена: динамическая маршрутизация сложнее аккуратно ускорить на GPU, чем статичное окно. Здесь ядра и пропускная способность решают не меньше, чем теоретическая сложность.

Кому это интересно прямо сейчас: командам, которые обучают или дообучают модели под длинный контекст и сравнивают гибридные схемы. Что смотреть в статье и коде:

• Как STILL ведёт себя на задачах точного извлечения (needle-in-a-haystack, retrieval) против чисто линейных моделей.
• Реальная скорость на длинных последовательностях, а не только асимптотика.
• Сравнение с межслойными гибридами при одинаковом бюджете параметров и обучения.
• Наличие открытой реализации и совместимость с существующими фреймворками.

Пока это заявка на следующий шаг в архитектурах длинного контекста. Вердикт зависит от цифр, которых во вводной части нет.