Los agentes de Together AI aceleran LLM abiertos hasta 2,6 veces en tokens por segundo en menos de un día

Together AI, que atiende billones de tokens al día, ha presentado Together Compiler (TKCC), un sistema en el que agentes de IA buscan de forma continua optimizaciones para ejecutar modelos (inferencia) según el modelo concreto, las GPU y el tráfico del momento. El problema es que ya no se puede hacer a mano: las arquitecturas de los modelos son distintas, el hardware también, y la carga cambia cada día. Imagine que quiere probar un solo cambio en el kernel de atención.

Lo habitual es reiniciar un motor como vLLM, SGLang o TRT-LLM, y el arranque completo tarda 467 segundos, casi 8 minutos. TKCC arranca el motor una sola vez y sustituye el código en caliente, de modo que la prueba empieza en 9 segundos. Resultado: en menos de 24 horas, el sistema logró hasta 2,6 veces más tokens por segundo (TPS, la métrica principal de velocidad de inferencia) en los modelos abiertos Kimi K3, GLM 5.

3, MiniMax M3.1-Flash y DeepSeek v4.1-Flash.

Y los tokens por GPU son directamente el coste del servicio.

Por qué el tráfico no se queda quieto

El equipo aporta observaciones de producción. Las horas laborales de un país generan prompts más largos que las de otro: 97 mil tokens frente a 70 mil, es decir, 1,4 veces más. Tras el lanzamiento de un modelo nuevo, la gente primero conversa con él en el chat y lo evalúa; unas dos semanas después, la longitud de los prompts crece un 80%, porque los usuarios pasan a escenarios agénticos. También hay picos: los prompts se duplican de repente y la proporción de aciertos de caché baja.

Cada uno de esos cambios altera qué optimización gana. En los modelos MoE importa el reparto desigual de la carga entre expertos; en la atención dispersa (sparse attention), los datos reales de entrada. Las heurísticas fijas y los compiladores ML clásicos lo resuelven mal. Entre los diez LLM abiertos más populares en OpenRouter no hay dos con la misma arquitectura, y el hardware va de H100 y B200 a B300, NVL72 y Groq.

Cómo funciona Together Compiler

Como entrada, el sistema recibe el perfil del tráfico, el modelo y el hardware. Varios agentes generan variantes de optimización para el motor de inferencia e intercambian ideas a través de un «tablón de mensajes» común.

La primera idea son los «motores persistentes». El cuello de botella de los sistemas agénticos anteriores era la velocidad de experimentación, y la tabla de Together muestra por qué: la carga de pesos, el calentamiento de los kernels JIT y el autotuning consumen minutos en cada prueba. El motor persistente arranca una vez y sustituye en caliente al candidato en el forward pass del modelo. El resultado: se realizan 252 veces más experimentos que con los sistemas agénticos básicos.

La segunda idea es el equilibrio entre velocidad y precisión de las mediciones. Probar kernels sueltos con datos aleatorios es rápido, pero engañoso: en MoE y sparse attention, el ganador depende de la distribución real de las entradas. Por eso los motores son de dos niveles. Los «rápidos» cargan unas pocas capas y sirven para mediciones frecuentes con poco ruido. Los «lentos» cargan muchas capas y comprueban si la mejora se mantiene con datos reales.

La tercera pieza es un modelo de costes propio para elegir el paralelismo (TP, EP, DCP y otros esquemas de partición del modelo entre GPU). Combina las especificaciones oficiales del hardware, microbenchmarks y mediciones de forward passes reales, y descarta con rapidez las configuraciones débiles. Según las gráficas de los autores, elegir por especificaciones pierde frente a la distribución medida, y la mejor distribución depende del número de peticiones simultáneas.

Qué resultados hay en cifras

• Hasta 2,6 veces más tokens por segundo respecto a las mejores configuraciones publicadas en el benchmark SemiAnalysis InferenceX (AgentX).
• Récords de baja latencia con batch 1: 1111 tokens/s en MiniMax M3.1-Flash y 1205 en DeepSeek v4.1-Flash. La configuración de paralelismo para ellos la eligió el modelo de costes propio, no la recomendación de InferenceX.
• En la prueba canónica de megakernels, Llama 1B con batch 1, TKCC es 1,7 veces más rápido que los megakernels abiertos y mantiene la ventaja al aumentar la longitud de la secuencia (en H100 y B200).
• Fuera de los LLM: en bases de código abiertas de predicción meteorológica, ecuaciones diferenciales, series temporales y biología, TKCC logró una mejora mayor que Claude Code con el comando /goal en tres de los cuatro modelos.

Qué significa para los profesionales

Para quienes mantienen su propia inferencia, la señal es esta: la optimización no es un ajuste puntual de la configuración, sino una recompilación constante ante la deriva del tráfico. Más tokens en la misma tarjeta significan una flota de GPU más pequeña o un mayor margen de carga.

Hay salvedades. Las cifras las obtuvo la propia Together en sus tareas y todavía no hay verificación independiente. Para Trainium2 se usó un dataset sintético multiturno, porque la implementación aún no admite alta concurrencia con la memoria HBM limitada. No se sabe si TKCC llegará a ser un producto disponible. Pero dos principios se pueden aplicar ya: no reiniciar el motor por cada prueba y validar las optimizaciones con datos reales, no con datos aleatorios.