Together AI devance TensorRT-LLM de 31 % dans des benchmarks pour agents de code

Together AI a publié les premiers benchmarks d'inférence orientés production pour les agents de code, et leurs résultats remettent en cause la plupart des tests habituels du secteur.

Pourquoi les benchmarks standard sont inutiles

Un benchmark d'inférence classique mesure un seul utilisateur sur un serveur dédié. Les chiffres impressionnent, mais ne disent rien des conditions réelles. En production, des dizaines, voire des centaines de requêtes se disputent en même temps le même cache KV, la même bande passante mémoire et les mêmes cycles GPU. Plus le trafic augmente, plus le temps jusqu'au premier token (TTFT) s'allonge. À un moment, le système devient inutilisable avant même une panne formelle. Chaque moteur atteint ce point à des niveaux de charge très différents, et c'est précisément ce qu'il faut mesurer.

Together AI a conçu son test pour ce scénario : charge d'agents de code, contexte long, forte concurrence et tolérance zéro à la dégradation de la latence.

Ce qui fait des agents de code une charge particulière

Les requêtes des agents de code transportent un contexte énorme : le fichier édité, le code environnant, l'historique de la conversation et des extraits issus de la recherche vectorielle. La longueur d'entrée variait de 45 à 200 mille tokens, pour simuler la croissance réelle d'une session de développement. La longueur moyenne des réponses était d'environ 450 tokens : l'agent écrit une fonction, pas un roman. Cette charge crée trois problèmes que les tests standard ne voient pas :

• Sensibilité au TTFT. Le développeur fixe un écran vide jusqu'à l'arrivée du premier token. C'est dans cet intervalle, entre l'envoi et le début du streaming, que la confiance dans l'outil s'érode. La vitesse de génération est secondaire : quand les tokens arrivent, l'expérience paraît rapide.
• Contexte long concurrent. Des dizaines de développeurs avec des requêtes de plus de 80 mille tokens remplissent le cache KV en même temps. Le planificateur perd sa marge de manœuvre, le TTFT grimpe et le système se dégrade bien avant une panne formelle.
• Profil dominé par le prefill. La charge pèse surtout sur le prefill, pas sur le decode. Les moteurs optimisés pour la génération longue ne bénéficient pas de leur avantage habituel.

Le test a été réalisé sur 4× NVIDIA B200 pour chaque moteur.

Résultats de Together Inference Engine

Together Inference Engine a été comparé à TensorRT-LLM et à d'autres moteurs OSS de premier plan sur le même matériel. Sous une charge de production d'agents de code, les résultats sont les suivants :

• +31 % de tokens par seconde (TPS) par rapport au concurrent OSS le plus proche
• TTFT deux fois meilleur à saturation du trafic
• Coût inférieur de 76 % à celui de Claude Opus 4 d'Anthropic
• Latence stable en forte concurrence, là où les concurrents se dégradent déjà

Le gain vient d'une optimisation sur toute la pile : la technologie ThunderMLA, des noyaux CUDA personnalisés réécrits et un profilage de bout en bout sur du trafic réel.

« La plupart des benchmarks mesurent un seul utilisateur sur un serveur dédié.

Les chiffres paraissent magnifiques. Ils sont absolument inutiles pour raisonner sur la production », indique le blog de Together AI.

Ce que cela signifie

L'écart entre moteurs d'inférence est énorme sous charge réelle, et les tests synthétiques ne le révèlent pas. Pour les équipes qui bâtissent des assistants IA pour développeurs, le choix du fournisseur détermine directement combien d'utilisateurs obtiennent une réponse rapide en même temps, et combien fixent un écran vide. Une inférence de qualité production n'est plus un détail technique, mais un avantage concurrentiel.