Enrutamiento de consultas a LLM con control de latencia: hasta un 40% más de accuracy-cost con la misma latency

En julio de 2026, un grupo de investigadores publicó en arXiv un artículo sobre un enrutador de consultas a LLM que tiene en cuenta la latencia. El sistema optimiza de forma conjunta latencia, precisión y coste, y logra hasta un 40% más de accuracy-cost utility con las mismas latencias que el balanceo de carga estándar.

Qué falla en los enrutadores actuales

Los enrutadores de consultas a LLM actuales equilibran únicamente la calidad de la respuesta y el coste económico, pero no tienen en cuenta la latencia de generación en cada instancia concreta del modelo. En la práctica, la latencia la gestionan políticas de balanceo de carga independientes, como round-robin o join-the-shortest-queue, que ignoran tanto la precisión del modelo como el coste de la inferencia. El resultado es que el enrutamiento y el reparto de carga funcionan a ciegas el uno respecto al otro.

• El objetivo es optimizar conjuntamente tres parámetros: latency, accuracy y cost
• Políticas de balanceo de referencia: round-robin, join-the-shortest-queue
• Mejora de accuracy-cost utility: hasta el 40%
• Las latencias se mantienen al nivel de los enfoques estándar
• Fuente: preprint de arXiv (sección cs.AI), julio de 2026

Cómo se estima la latencia de una consulta

Los autores construyeron un estimador lightweight que simula el procesamiento por lotes (batch) autorregresivo de tokens en el framework de serving y predice el TTFT (time-to-first-token) de cada consulta. La dificultad está en que la latencia no depende solo de la longitud del prompt: influyen la carga actual de prefill y decode en la instancia del modelo, así como la política de scheduling y batching del propio framework. El estimador tiene en cuenta todos estos factores y sigue siendo lo bastante barato como para funcionar en tiempo real durante el enrutamiento.

Por qué importa

El enrutador integra la estimación de latencia directamente en la decisión de enrutamiento y distribuye las consultas entre instancias para mantener bajo control, al mismo tiempo, latencia, precisión y coste. Según los autores, esta optimización conjunta eleva la accuracy-cost utility hasta un 40% sin empeorar la latency respecto al balanceo de carga convencional.

«La optimización conjunta aporta hasta un 40% más de accuracy-cost

utility manteniendo las mismas latencias que los enfoques estándar de balanceo de carga», señala el resumen del trabajo en arXiv.

Para los servicios que atienden con decenas de modelos bajo carga, es una forma de sacar más calidad a cada dólar invertido sin hacer esperar más al usuario.

Qué significa

El enrutamiento de consultas a LLM deja de ser una elección entre «más barato o más preciso» y suma un tercer eje: la velocidad. Para los equipos de infraestructura supone una palanca: la misma flota de modelos rinde más sin aumentar las latencias y sin pagar de más por la inferencia.

Preguntas frecuentes

¿Qué es el TTFT (time-to-first-token)?

El TTFT es el tiempo hasta el primer token de la respuesta, la métrica clave de latencia en los servicios de LLM. El estimador del artículo predice el TTFT de cada consulta simulando el procesamiento por lotes de tokens en el framework de serving.

¿Cuánto más eficaz es el enrutamiento latency-aware que el balanceo

convencional?

Según los autores, la optimización conjunta de latencia, precisión y coste aumenta la accuracy-cost utility hasta un 40% con las mismas latencias que round-robin o join-the-shortest-queue.