Xiaohongshu ускорила индексатор разреженного внимания: DoSA вдвое снижает TTFT

Китайская соцсеть Xiaohongshu (RedNote) занялась узким местом, которое появляется после внедрения разреженного внимания. Команда Dots разработала метод DoSA: в тестах он заранее отфильтровал около 97% кандидатов в индексаторе, не изменил итоговый Top-K и, согласно заголовку публикации Jiqizhixin, вдвое сократил задержку первого токена (TTFT) на контексте порядка 1M токенов.

Где прячется узкое место

Разреженное внимание сокращает вычисления так: каждый запрос смотрит не на все предыдущие токены, а только на K самых релевантных. Отбирает их отдельный лёгкий модуль, индексатор. Он оценивает каждую пару «запрос — токен» и выбирает лучшие. Основное внимание при этом становится дешёвым, но индексатор по-прежнему просматривает весь контекст. Его стоимость растёт квадратично по длине последовательности, и на миллионе токенов именно он начинает определять время обработки промпта. Эту схему используют, в частности, модели семейства DeepSeek V3.2 с их «молниеносным» индексатором.

Именно на первом токене проблема заметнее всего. На этапе prefill индексатору приходится пройти весь длинный промпт, и пользователь ждёт ответа дольше, чем хотелось бы.

Как работает DoSA

Полный текст материала в нашем распоряжении обрезан, поэтому детали реализации приводим по описанию авторов. DoSA вычисляет для кандидатов верхнюю и нижнюю границы оценки. Это дешёвая операция по сравнению с точным расчётом. Логика такого отсева простая: если верхняя граница кандидата ниже нижней границы, которая уже гарантирует место в первой K-ке, то этот кандидат в Top-K не попадёт. Точный скор для него считать незачем.

Главное свойство в том, что метод не приближает результат, а даёт тот же набор токенов, что и полный перебор. Поэтому формулировка «提速不降智» («быстрее без потери интеллекта») здесь уместна: качество модели не должно зависеть от ускорения, ведь выбор токенов не меняется.

Что известно из тестов

• Отсеяно около 97% кандидатов ещё до точного расчёта оценок.
• Результат Top-K совпадает с исходным алгоритмом.
• Контекст в тестах составлял около 1M токенов.
• Задержка первого токена снизилась примерно вдвое (по заголовку публикации).

Часть данных в доступном фрагменте отсутствует: название модели (в тексте обрывается на «Dots3…»), железо, размер батча, абсолютные значения задержки и распределение выигрыша по этапам. Цифра «вдвое» относится к конкретной конфигурации, и переносить её на другие стеки без проверки нельзя. Доля отфильтрованных кандидатов, скорее всего, зависит от данных: чем резче распределение оценок, тем эффективнее границы.

Практическая сторона

Для команд, которые обслуживают модели с длинным контекстом и разреженным вниманием, DoSA интересен тем, что ускоряет инференс без дообучения и без риска изменить поведение модели. Раз выбор токенов остаётся тем же, регрессионные тесты качества должны проходить без изменений. Это сильный аргумент для продакшена, где любое отклонение в выдаче требует отдельной проверки.

Первым делом стоит замерить, какую долю времени prefill занимает индексатор в вашем стеке. Если она на 128K–1M токенов заметна, метод даст выигрыш. Если основное время съедает MoE-часть или передача данных между GPU, эффект будет скромнее. Ещё стоит дождаться открытого кода или технического отчёта: на уровне ядер CUDA накладные расходы на вычисление границ могут сильно изменить итоговую картину.

Для самой Xiaohongshu это ещё и вопрос экономики. Чем дешевле обработка длинных промптов, тем проще держать в продукте сценарии с большими контекстами: поиск по лентам, анализ документов, агентные цепочки.