九章云极 Alaya-DFlash2 ускорила декодирование GLM-5.3 в 3,41 раза

Облачный провайдер 九章云极 (DataCanvas) представил Alaya-DFlash2, систему ускорения декодирования, и заявляет прирост скорости генерации у GLM-5.3 в 3,41 раза. Целится она в проблему, знакомую всем, кто отдавал модели длинный документ: читает она быстро, а отвечает медленно.

Где тормозит длинный контекст

Ожидание возникает на выходе, а не на входе. Документ в 32 тысячи токенов модель проглатывает за один проход, и первое слово ответа появляется почти сразу. Дальше начинается пошаговая генерация: основная модель делает один шаг вперёд, выдаёт один токен и повторяет всё заново. По описанию источника, на каждом шаге ей приходится заново обрабатывать весь контекст. Технически это в основном чтение KV-кэша, но вывод тот же: цена одного шага растёт вместе с длиной контекста. Чем толще документ, тем медленнее тянется ответ.

Как работает спекулятивное декодирование

Alaya-DFlash2 построена на схеме, которая последние годы стала стандартом для ускорения вывода. Маленькая черновая модель угадывает сразу несколько токенов вперёд. Большая модель проверяет всю цепочку за один проход. Совпавшие токены принимаются сразу, на первом расхождении цепочка обрывается, и генерация продолжается уже от верного токена. Если верификация реализована корректно, итоговый текст совпадает с тем, что выдала бы основная модель сама. Выигрыш получается только в скорости.

Всё упирается в две величины: сколько токенов подряд основная модель в среднем принимает от черновика и сколько стоит сам черновик. На длинном контексте вторая величина становится проблемой, потому что черновой модели тоже нужно «видеть» весь документ. Именно на этом участке и заявлен прорыв. Как именно устроена вторая версия DFlash, в доступной части материала не раскрыто.

Что известно из заявления

• Решение: Alaya-DFlash2 от 九章云极
• Целевая модель: GLM-5.3
• Заявленное ускорение декодирования: 3,41×
• Сценарий: длинные тексты, в источнике приведён пример документа на 32k токенов
• Метод: спекулятивное декодирование с черновой моделью и пакетной верификацией основной

Не указаны железо, размер батча, базовая линия сравнения, средняя длина принятой цепочки и результаты проверки качества. Пока без них цифру 3,41× стоит считать маркетинговым максимумом, а не гарантией.

Как читать цифру и что проверить

Ускорение в разы при спекулятивном декодировании обычно достигается при небольшой параллельной нагрузке. С ростом батча GPU и так загружен полезной работой, и выигрыш от угадывания сжимается. Результат также сильно зависит от типа текста: код и структурированные ответы предсказываются лучше, чем свободная проза. Поэтому «3,41 раза» без указания режима нагрузки описывает потолок, а не типичный случай.

Кто запускает GLM в продакшене на длинных документах (контракты, отчёты, переписки, кодовые базы), может сделать три шага:

• Замерить скорость генерации на своём трафике с реальной длиной контекста, а не на коротких бенчмарках.
• Сравнить выигрыш при одном пользователе и при пиковой конкуренции. Для сервиса с очередью важна именно вторая цифра.
• Прогнать выборку ответов и убедиться, что качество не просело относительно базового декодирования.

Для рынка важнее сам факт: конкуренция на длинном контексте смещается с размера окна к цене и скорости ответа внутри него. Провайдеры, которые дожмут декодирование программно, смогут отдавать больше токенов с того же парка GPU. А это прямая экономия там, где ускорители дефицитны.