TTR-Compressor сжимает последовательности регрессией и режет визуальные токены на 55,6%

Исследователи представили TTR-Compressor — модуль сжатия последовательностей, который вместо пулинга и обучаемых проекций использует регрессию, решаемую прямо в прямом проходе. В мультимодальных языковых моделях он стабильно обгоняет стандартный MLP-merger и повторяет его качество, имея на 55,6% меньше визуальных токенов. В блочном разреженном внимании он сильно поднимает результат на бенчмарке RULER относительно компрессоров, построенных на самом механизме внимания.

Узкое горлышко внутри эффективных моделей

Сжатие последовательности встречается в современных архитектурах повсеместно, хотя о нём пишут редко. Визуальные энкодеры выдают сотни токенов на изображение, и перед подачей в языковую модель их надо слить в меньшее число. Длинный контекст в разреженном внимании режут на блоки, и каждый блок приходится описывать компактным представлением, по которому модель решает, куда смотреть. Везде работает один и тот же приём: усреднение, макс-пулинг или небольшая обучаемая проекция вроде MLP.

Проблема в том, что эти операции теряют информацию там, где она нужнее всего. Среднее размывает редкие, но важные токены. Фиксированная проекция не умеет подстраиваться под содержимое конкретной последовательности. Авторы прямо называют сжатие критическим информационным барьером, а распространённые подходы недостаточно сильными.

Регрессия, которая решается на лету

Идея TTR-Compressor в том, чтобы посмотреть на сжатие как на задачу регрессии на этапе теста. Входные токены сами определяют регрессионную задачу, а подобранные коэффициенты и служат сжатым представлением блока. Информация о последовательности попадает в выход через подгонку под её же токены, а не через фиксированное линейное отображение.

Главная инженерная деталь связана с вычислительной ценой. Сама постановка регрессионной задачи обучается сквозно, обычным обратным распространением ошибки. Но сами коэффициенты в прямом проходе вычисляются в замкнутой форме, без внутренних итераций оптимизации. Такая схема даёт содержательную адаптивность по входу и сохраняет скорость, ради которой компрессор вообще нужен. Дифференцируемость замкнутого решения позволяет учить всё вместе с остальной моделью.

Ключевые результаты из работы:

• блочное разреженное внимание: TTR-Compressor заметно улучшает показатели RULER по сравнению с компрессорами на основе внимания;
• слияние визуальных токенов в мультимодальных LLM: метод стабильно превосходит стандартный MLP-merger;
• эффективность: качество MLP-merger достигается при 55,6% меньшем числе визуальных токенов;
• универсальность: авторы позиционируют метод как общую замену пулингу и проекциям, а не как решение под одну задачу.

Почему цифра про 55,6% важна

RULER проверяет, насколько модель удерживает и находит информацию на длинном контексте, и это неудобный тест для любой схемы сжатия. Если блочный компрессор теряет детали, разреженное внимание не сможет выбрать нужные блоки, и качество падает. Большой отрыв от компрессоров на внимании говорит, что регрессионное представление сохраняет полезного сигнала больше.

Для мультимодальных моделей выгода считается прямо. Визуальные токены дорого стоят и на префилле, и в KV-кэше, а число изображений и кадров видео в запросе растёт. Сокращение их числа почти вдвое при том же качестве означает меньше памяти, ниже задержку и больше изображений в одном контексте при том же бюджете. При этом компрессор заменяет один компонент, а остальную архитектуру переписывать не нужно.

Где это может пригодиться первым

Первые кандидаты на проверку — команды, которые обучают мультимодальные модели с визуальным мерджером и упираются в стоимость инференса. Замена MLP-merger на TTR-Compressor выглядит как локальный эксперимент: меняется один модуль, а метрика сравнения понятна — качество при фиксированном числе токенов или число токенов при фиксированном качестве.

Вторая группа — разработчики длинноконтекстных моделей с блочным разреженным вниманием. Для них компрессор блоков определяет, насколько точно работает маршрутизация внимания, и результат на RULER прямо указывает на выигрыш.

Ограничение пока одно: оценка проведена на двух классах задач. Как метод поведёт себя на других модальностях, в аудио или в очень крупных моделях, покажут независимые воспроизведения. Но принцип «токены задают регрессию, коэффициенты есть представление» выглядит как базовый примитив, который легко встроить в уже существующие эффективные архитектуры.