GLM-5.3: самые быстрые по стримингу эндпоинты думают 18–26 секунд до первого токена

Когда выбираешь провайдера для модели, первым делом смотришь на строчку «токенов в секунду». Чем больше, тем лучше. Но свежий пост Artificial Analysis про GLM-5.3 показывает, что эта цифра может сильно врать о реальном опыте пользователя.

Что нашли

У эндпоинтов GLM-5.3 с самым быстрым стримингом первый токен появляется через 18–26 секунд. У большинства остальных провайдеров ответ начинается через 1–3 секунды. Если считать только скорость потока после старта, первые выглядят лидерами. Если добавить ожидание к полному времени запроса, они проседают в рейтинге.

В посте не объясняется причина, так что остаётся только гадать. Возможны длинная очередь, холодный старт, тяжёлая предобработка промпта или рассуждения модели до выдачи ответа. Без данных от самих провайдеров уверенно назвать виновника нельзя.

Почему это важно на практике

Представьте чат-бота поддержки. Пользователь отправил вопрос и смотрит на пустой экран. Если ответ начнётся через 20 секунд, неважно, что потом текст польётся со скоростью 300 токенов в секунду. Человек уже закрыл вкладку или нажал «отправить» ещё раз.

То же с агентами. Каждый шаг цепочки добавляет задержку до первого токена. При десяти вызовах подряд разница между 2 и 20 секундами превращается в минуты ожидания, а не в мелкую деталь.

Поэтому для интерактивных продуктов нужно смотреть минимум на три метрики:

• время до первого токена (TTFT);
• скорость выдачи после старта;
• полное время запроса для типичной длины ответа.

Что делать

Первое: не берите провайдера по одной цифре скорости из агрегатора. Откройте разбивку и посмотрите TTFT отдельно.

Второе: прогоняйте собственные замеры на своих промптах и в своё время суток. Нагрузка у провайдеров плавает, а публичные бенчмарки усредняют.

Третье: если у вас короткие ответы, TTFT почти целиком определяет ощущение скорости. Если длинные, скорость стриминга важнее, но и тогда задержку в 20 секунд придётся чем-то прикрывать, например индикатором прогресса.

Четвёртое: заложите fallback. Если первый токен не пришёл за 5 секунд, переключайтесь на другой эндпоинт.

Ограничения

Это один короткий пост с 807 просмотрами, без таблицы в самом тексте и без названий провайдеров. Мы не знаем, как долго держались такие задержки и повторяются ли они. Выводы стоит проверять на живых данных Artificial Analysis и своих тестах.

Но сам урок универсален: «быстрый стриминг» и «быстрый ответ» не одно и то же. Для пользователя важно, когда он увидел первое слово, а не как быстро потом бегут токены.