Together AI supera a TensorRT-LLM en un 31% en pruebas para agentes de código

Together AI ha publicado los primeros benchmarks de inferencia orientados a producción para agentes de código, y sus resultados ponen en duda la mayoría de las pruebas habituales del sector.

Por qué los benchmarks estándar no sirven

Un benchmark clásico de inferencia mide a un solo usuario en un servidor dedicado. Las cifras impresionan, pero no dicen nada sobre las condiciones reales. En producción, decenas o cientos de peticiones compiten a la vez por la misma caché KV, el mismo ancho de banda de memoria y los mismos ciclos de GPU. Cuanto más tráfico, más crece el tiempo hasta el primer token (TTFT). En algún momento el sistema deja de ser útil incluso antes de un fallo formal. Cada motor llega a ese punto con niveles de carga muy distintos, y eso es justo lo que hay que medir.

Together AI diseñó su prueba para este escenario: carga de agentes de código, contexto largo, alta concurrencia y tolerancia cero a la degradación de la latencia.

Qué hace de los agentes de código una carga especial

Las peticiones de los agentes de código arrastran un contexto enorme: el archivo que se edita, el código circundante, el historial de la conversación y fragmentos de la búsqueda vectorial. La longitud de entrada varió entre 45 y 200 mil tokens, para simular el crecimiento real de una sesión de desarrollo. La longitud media de la respuesta fue de unos 450 tokens: el agente escribe una función, no una novela. Esta carga genera tres problemas que las pruebas estándar no detectan:

• Sensibilidad al TTFT. El desarrollador ve una pantalla vacía hasta que llega el primer token. En ese intervalo, entre el envío y el inicio del streaming, se pierde la confianza en la herramienta. La velocidad de generación es secundaria: cuando los tokens ya fluyen, la experiencia se siente rápida.
• Contexto largo concurrente. Decenas de desarrolladores con peticiones de más de 80 mil tokens llenan la caché KV al mismo tiempo. El planificador pierde margen de maniobra, el TTFT sube y el sistema se degrada mucho antes de un fallo formal.
• Perfil dominado por prefill. La carga recae sobre todo en el prefill, no en el decode. Los motores optimizados para generación larga no obtienen su ventaja habitual.

La prueba se realizó con 4× NVIDIA B200 para cada motor.

Resultados de Together Inference Engine

Together Inference Engine se comparó con TensorRT-LLM y otros motores OSS líderes en el mismo hardware. Con una carga de producción de agentes de código, los resultados fueron los siguientes:

• +31% de tokens por segundo (TPS) frente al competidor OSS más cercano
• El doble de rapidez en TTFT con el tráfico saturado
• Un 76% menos de coste que Claude Opus 4 de Anthropic
• Latencia estable con alta concurrencia, justo donde los competidores ya se degradan

La mejora se debe a una optimización de pila completa: la tecnología ThunderMLA, kernels CUDA personalizados reescritos y perfilado de extremo a extremo con tráfico real.

«La mayoría de los benchmarks miden a un solo usuario en un servidor dedicado.

Las cifras se ven magníficas. Son absolutamente inútiles para razonar sobre producción», señala el blog de Together AI.

Qué significa

La brecha entre motores de inferencia es enorme con carga real, y las pruebas sintéticas no la muestran. Para los equipos que construyen asistentes de IA para desarrolladores, la elección del proveedor influye directamente en cuántos usuarios reciben una respuesta rápida a la vez y cuántos se quedan mirando una pantalla vacía. La inferencia de calidad de producción ya no es un matiz técnico, sino una ventaja competitiva.