GLM-5.3: os endpoints com streaming mais rápido levam de 18 a 26 segundos para gerar o primeiro token

Ao escolher um provedor para um modelo, a primeira métrica que normalmente se olha é “tokens por segundo”. Quanto mais, melhor. Mas uma publicação recente da Artificial Analysis sobre o GLM-5.3 mostra que esse número pode distorcer bastante a experiência real do usuário.

O que foi descoberto

Nos endpoints do GLM-5.3 com o streaming mais rápido, o primeiro token aparece após 18–26 segundos. Na maioria dos demais provedores, a resposta começa em 1–3 segundos. Se apenas a velocidade do fluxo depois do início for considerada, os primeiros parecem líderes. Quando a espera é somada ao tempo total da requisição, eles caem no ranking.

A publicação não explica o motivo, então só é possível especular. Entre as possibilidades estão uma fila longa, uma inicialização a frio, um pré-processamento pesado do prompt ou o raciocínio do modelo antes de entregar a resposta. Sem dados dos próprios provedores, não é possível apontar o responsável com segurança.

Por que isso importa na prática

Imagine um chatbot de suporte. O usuário envia uma pergunta e fica olhando para uma tela vazia. Se a resposta só começar 20 segundos depois, pouco importa que o texto passe então a chegar a 300 tokens por segundo. A pessoa talvez já tenha fechado a aba ou clicado em “enviar” novamente.

O mesmo vale para agentes. Cada etapa da cadeia acrescenta uma demora até o primeiro token. Em dez chamadas consecutivas, a diferença entre 2 e 20 segundos se transforma em minutos de espera, e não em um pequeno detalhe.

Por isso, produtos interativos precisam acompanhar pelo menos três métricas:

• tempo até o primeiro token (TTFT);
• velocidade de geração depois do início;
• tempo total da requisição para uma resposta de tamanho típico.

O que fazer

Primeiro: não escolha um provedor com base em um único número de velocidade apresentado por um agregador. Abra o detalhamento e analise o TTFT separadamente.

Segundo: faça suas próprias medições com seus prompts e no horário em que costuma usar o serviço. A carga dos provedores varia, enquanto os benchmarks públicos apresentam médias.

Terceiro: se suas respostas forem curtas, o TTFT determinará quase por completo a percepção de velocidade. Se forem longas, a velocidade de streaming será mais importante, mas, ainda assim, será preciso disfarçar de alguma forma uma demora de 20 segundos, por exemplo com um indicador de progresso.

Quarto: implemente um fallback. Se o primeiro token não chegar em 5 segundos, mude para outro endpoint.

Limitações

Trata-se de uma única publicação curta, com 807 visualizações, sem tabela no próprio texto e sem os nomes dos provedores. Não sabemos por quanto tempo essas demoras persistiram nem se elas se repetem. As conclusões devem ser verificadas com os dados em tempo real da Artificial Analysis e com testes próprios.

Mas a lição é universal: “streaming rápido” e “resposta rápida” não são a mesma coisa. Para o usuário, o que importa é quando a primeira palavra aparece, e não a velocidade com que os tokens chegam depois.