T2Quant перераспределяет точность по шагам диффузионных LLM: до +6,7 п.п.

Диффузионные языковые модели генерируют текст иначе, чем привычные авторегрессионные LLM: они не пишут токен за токеном, а постепенно «расчищают» шумную последовательность за несколько шагов денойзинга. У такой схемы есть цена, потому что модель приходится прогонять много раз подряд. Исследователи из свежей работы на Hugging Face Daily Papers предлагают сократить эту цену через квантизацию и вводят метод T2Quant. Он распределяет разрядность активаций по шагам денойзинга с учётом конкретной задачи. На трёх DLM и шести бенчмарках T2Quant улучшает среднюю точность существующих методов квантизации на величину до 6,7 процентного пункта при том же бюджете бит.

Почему шаги денойзинга ломают привычную квантизацию

Обычную квантизацию LLM настраивают так, будто все прямые проходы модели равнозначны. Для диффузионных моделей это допущение не работает. Ошибка округления, внесённая на раннем шаге, где текст ещё почти шум, ведёт себя иначе, чем та же ошибка на финальных шагах, где модель уточняет детали. Авторы показывают, что чувствительность к квантизации зависит от времени, то есть от номера шага.

Вторая зависимость связана с задачей. Разные downstream-задачи требуют разной точности на разных этапах денойзинга. Профиль, который подходит для одного типа бенчмарка, на другом может стоить заметных потерь в качестве. Единая схема точности для всех шагов и всех задач оказывается компромиссом, который не оптимален нигде.

Сигнал без разметки

Главная практическая находка работы: эти паттерны чувствительности можно предсказывать без ground-truth меток и без task-specific метрик. Обычно подбор конфигурации квантизации под задачу требует прогонять оценку на размеченных данных, а это дорого и не всегда возможно. T2Quant использует label-free сигнал чувствительности и по нему решает, на каких шагах активациям нужно больше бит, а на каких хватит меньше.

Ограничение жёсткое: общий бюджет разрядности фиксирован. Метод не добавляет бит сверх лимита, он перераспределяет их между шагами. Если на одних этапах генерации точность можно урезать почти безболезненно, освободившийся ресурс уходит на критичные шаги.

Ключевые параметры работы:

• объект: диффузионные языковые модели (DLM);
• что оптимизируется: разрядность активаций по шагам денойзинга;
• ограничение: фиксированный бюджет бит;
• сигнал выбора: label-free, без меток и метрик задачи;
• проверка: три DLM и шесть бенчмарков;
• результат: рост средней точности существующих методов квантизации до +6,7 п.п.

Что менять в пайплайне инференса

Важная деталь: T2Quant не заменяет существующие методы квантизации, а улучшает их. Авторы фиксируют стабильный прирост средней точности поверх уже известных подходов. Команде, которая разворачивает DLM, не нужно переписывать весь стек. Достаточно добавить слой, который решает, какую разрядность активаций использовать на каждом шаге.

Для инженеров по инференсу из работы следуют три вывода. Во-первых, профиль точности по шагам стоит рассматривать как отдельный параметр настройки, а не как константу. Во-вторых, подбирать профиль под задачу можно без размеченных данных, а значит, и в продакшене, где эталонных ответов нет. В-третьих, при жёстком лимите по памяти и вычислениям выигрыш в несколько процентных пунктов достаётся без увеличения бюджета бит.

Для индустрии это сигнал, что диффузионные языковые модели движутся к тем же инструментам оптимизации, что давно применяются к авторегрессионным LLM, но с поправкой на временное измерение. Чем дешевле итеративный денойзинг, тем реалистичнее становится конкуренция DLM с привычными моделями по стоимости токена. Пока это академический результат на трёх моделях и шести тестах. Но принцип «точность зависит от шага и задачи» наверняка будут проверять и в других реализациях DLM.