Together AI supera o TensorRT-LLM em 31% em benchmarks para agentes de código

A Together AI publicou os primeiros benchmarks de inferência voltados à produção para agentes de código, e os resultados colocam em dúvida a maioria dos testes habituais do setor.

Por que os benchmarks padrão não servem

Um benchmark clássico de inferência mede um único usuário em um servidor dedicado. Os números impressionam, mas não dizem nada sobre as condições reais. Em produção, dezenas ou centenas de requisições disputam ao mesmo tempo o mesmo cache KV, a mesma largura de banda de memória e os mesmos ciclos de GPU. Quanto maior o tráfego, mais cresce o tempo até o primeiro token (TTFT). Em algum momento o sistema deixa de ser útil antes mesmo de uma falha formal. Cada motor chega a esse ponto em níveis de carga bem diferentes, e é exatamente isso que precisa ser medido.

A Together AI projetou o teste para esse cenário: carga de agentes de código, contexto longo, alta concorrência e tolerância zero à degradação de latência.

O que faz dos agentes de código uma carga especial

As requisições de agentes de código carregam um contexto enorme: o arquivo em edição, o código ao redor, o histórico da conversa e trechos da busca vetorial. O tamanho da entrada variou de 45 a 200 mil tokens, simulando o crescimento real de uma sessão de desenvolvimento. A resposta média teve cerca de 450 tokens: o agente escreve uma função, não um romance. Essa carga cria três problemas que os testes padrão não enxergam:

• Sensibilidade ao TTFT. O desenvolvedor vê uma tela vazia até a chegada do primeiro token. Nesse intervalo, entre o envio e o início do streaming, perde-se a confiança na ferramenta. A velocidade de geração é secundária: quando os tokens já estão fluindo, a experiência parece rápida.
• Contexto longo concorrente. Dezenas de desenvolvedores com requisições de mais de 80 mil tokens enchem o cache KV ao mesmo tempo. O escalonador perde margem de manobra, o TTFT sobe e o sistema se degrada bem antes de uma falha formal.
• Perfil dominado por prefill. A carga recai principalmente sobre o prefill, não sobre o decode. Motores otimizados para geração longa não têm a vantagem habitual.

O teste foi feito com 4× NVIDIA B200 para cada motor.

Resultados do Together Inference Engine

O Together Inference Engine foi comparado ao TensorRT-LLM e a outros motores OSS líderes no mesmo hardware. Sob carga de produção de agentes de código, os resultados foram os seguintes:

• +31% de tokens por segundo (TPS) em relação ao concorrente OSS mais próximo
• TTFT duas vezes melhor com o tráfego saturado
• Custo 76% menor que o do Claude Opus 4, da Anthropic
• Latência estável sob alta concorrência, onde os concorrentes já se degradam

O ganho veio de uma otimização de pilha completa: a tecnologia ThunderMLA, kernels CUDA personalizados reescritos e profiling de ponta a ponta com tráfego real.

"A maioria dos benchmarks mede um único usuário em um servidor dedicado.

Os números parecem magníficos. São absolutamente inúteis para raciocinar sobre produção", diz o blog da Together AI.

O que isso significa

A diferença entre motores de inferência é enorme sob carga real, e os testes sintéticos não a mostram. Para equipes que constroem assistentes de IA para desenvolvedores, a escolha do provedor afeta diretamente quantos usuários recebem uma resposta rápida ao mesmo tempo e quantos ficam olhando para uma tela vazia. Inferência com qualidade de produção deixou de ser um detalhe técnico e virou vantagem competitiva.