Roteamento de requisições LLM com foco em latência: até 40% mais accuracy-cost utility sem aumentar a latência

Em julho de 2026, pesquisadores publicaram no arXiv um artigo sobre um roteador de requisições LLM latency-aware, que otimiza em conjunto latência, precisão e custo e entrega até 40% de ganho em accuracy-cost utility, com as mesmas latências do balanceamento de carga padrão.

O que há de errado com os roteadores atuais

Os roteadores de requisições LLM atuais equilibram apenas a qualidade da resposta e o custo financeiro, sem considerar a latência de geração em cada instância do modelo. Na prática, a latência fica a cargo de políticas de balanceamento de carga separadas, como round-robin ou join-the-shortest-queue, e essas políticas ignoram tanto a precisão do modelo quanto o custo da inferência. Com isso, o roteamento e a distribuição de carga operam às cegas um em relação ao outro.

• O objetivo é otimizar em conjunto três parâmetros: latency, accuracy e cost
• Políticas básicas de balanceamento: round-robin, join-the-shortest-queue
• Ganho de accuracy-cost utility: até 40%
• As latências permanecem no nível das abordagens padrão
• Fonte: preprint no arXiv (seção cs.AI), julho de 2026

Como a latência da requisição é estimada

Os autores construíram um estimador lightweight que simula o processamento em batch de tokens de forma autorregressiva no framework de serving e prevê o TTFT (time-to-first-token) de cada requisição. A dificuldade é que a latência não depende apenas do tamanho do prompt: ela também é afetada pela carga atual de prefill e decode na instância do modelo, além da política de scheduling e de batching do próprio framework. O estimador leva todos esses fatores em conta e continua leve o bastante para rodar em tempo real durante o roteamento.

Por que isso importa

O roteador latency-aware incorpora a estimativa de latência diretamente na decisão de roteamento e distribui as requisições entre as instâncias de modo a manter latência, precisão e custo sob controle ao mesmo tempo. Segundo os autores, essa otimização conjunta aumenta a accuracy-cost utility em até 40%, sem piorar a latência em relação ao balanceamento de carga convencional.

"A otimização conjunta entrega até 40% de ganho em accuracy-cost

utility, mantendo as mesmas latências das abordagens padrão de balanceamento de carga", afirma o resumo do trabalho no arXiv.

Para serviços que atendem dezenas de modelos sob carga, é uma forma de extrair mais qualidade de cada dólar investido sem fazer o usuário esperar mais.

O que isso significa

O roteamento de requisições LLM deixa de ser uma escolha entre "mais barato ou mais preciso" e ganha um terceiro eixo: a velocidade. Para as equipes de infraestrutura, isso é uma alavanca: o mesmo conjunto de modelos entrega mais valor, sem aumento de latência e sem pagar a mais pela inferência.

Perguntas frequentes

O que é TTFT (time-to-first-token)?

TTFT é o tempo até o primeiro token da resposta, métrica central de latência em serviços de LLM. O estimador descrito no artigo prevê o TTFT de cada requisição simulando o processamento em batch de tokens no framework de serving.

Quanto o roteamento latency-aware é mais eficiente que o balanceamento

convencional?

Segundo os autores, a otimização conjunta de latência, precisão e custo aumenta a accuracy-cost utility em até 40%, com as mesmas latências do round-robin ou do join-the-shortest-queue.