Agentes da Together AI aceleram LLMs abertos em até 2,6 vezes em tokens por segundo em um dia

A Together AI, que atende trilhões de tokens por dia, apresentou o Together Compiler (TKCC), um sistema em que agentes de IA escolhem continuamente otimizações para executar modelos (inferência) de acordo com o modelo, as GPUs e o tráfego do momento. O problema é que fazer isso manualmente já não é viável: as arquiteturas de modelos variam, o hardware varia e a carga muda todos os dias. Imagine que você queira testar um único ajuste no kernel de atenção.

Normalmente, é preciso reiniciar um motor como vLLM, SGLang ou TRT-LLM, e a inicialização completa leva 467 segundos, quase 8 minutos. O TKCC inicia o motor uma única vez e troca o código em tempo de execução, de modo que o teste começa em 9 segundos. O resultado: em menos de 24 horas, o sistema extraiu até 2,6 vezes mais tokens por segundo (TPS, a principal métrica de velocidade de inferência) nos modelos abertos Kimi K3, GLM 5.

3, MiniMax M3.1-Flash e DeepSeek v4.1-Flash.

E os tokens por GPU são o custo direto de operação do serviço.

Por que o tráfego não fica parado

A equipe apresenta observações de produção. O horário comercial de um país gera prompts mais longos que o de outro: 97 mil tokens contra 70 mil, ou seja, 1,4 vez mais. Depois do lançamento de um novo modelo, as pessoas primeiro conversam com ele no chat e o avaliam; cerca de duas semanas depois, o tamanho dos prompts cresce 80%, quando os usuários passam para cenários com agentes. Há ainda picos: os prompts dobram de repente e a taxa de acertos no cache cai.

Cada mudança dessas altera qual otimização leva vantagem. Em modelos MoE, importa a carga desigual entre os especialistas; na atenção esparsa, importam os dados reais de entrada. Heurísticas fixas e compiladores clássicos de ML lidam mal com isso. Entre os dez LLMs abertos mais populares no OpenRouter, não há dois com a mesma arquitetura, e o hardware vai de H100 e B200 a B300, NVL72 e Groq.

Como funciona o Together Compiler

Como entrada, o sistema recebe o perfil do tráfego, o modelo e o hardware. Vários agentes geram variantes de otimização para o motor de inferência e trocam ideias por meio de um "quadro de mensagens" compartilhado.

A primeira ideia são os "motores persistentes". O gargalo dos sistemas agênticos anteriores era a velocidade dos experimentos, e a tabela da Together mostra por quê: carregar pesos, aquecer kernels JIT e fazer autotuning consomem minutos a cada tentativa. O motor persistente inicia uma só vez e troca o candidato no forward pass do modelo a quente. Com isso, passam por ele 252 vezes mais experimentos do que nos sistemas agênticos de referência.

A segunda ideia é equilibrar velocidade e precisão das medições. Testar kernels isolados com dados aleatórios é rápido, mas enganoso: em MoE e sparse attention, o vencedor depende da distribuição real das entradas. Por isso, os motores têm dois níveis. Os "rápidos" carregam poucas camadas e servem para medições frequentes, com pouco ruído. Os "lentos" carregam muitas camadas e verificam se o ganho se mantém com dados reais.

A terceira parte é um modelo de custo próprio para escolher o paralelismo (TP, EP, DCP e outros esquemas de divisão do modelo entre GPUs). Ele combina as especificações de fábrica do hardware, microbenchmarks e medições de forward passes reais, e descarta rapidamente as configurações fracas. Segundo os gráficos dos autores, a escolha baseada em especificações perde para o arranjo medido, e o melhor arranjo depende do número de requisições simultâneas.

O que os números mostram

• Até 2,6 vezes mais tokens por segundo em relação às melhores configurações publicadas no benchmark SemiAnalysis InferenceX (AgentX).
• Recordes de baixa latência com batch 1: 1111 tokens/s no MiniMax M3.1-Flash e 1205 no DeepSeek v4.1-Flash. A configuração de paralelismo para ambos foi escolhida pelo modelo de custo próprio, e não pela recomendação do InferenceX.
• No teste canônico de megakernels, Llama 1B com batch 1, o TKCC é 1,7 vez mais rápido que os megakernels abertos e mantém a vantagem conforme o comprimento da sequência aumenta (em H100 e B200).
• Fora dos LLMs: em bases de código abertas de previsão do tempo, equações diferenciais, séries temporais e biologia, o TKCC encontrou ganhos maiores que o Claude Code com o comando /goal em três dos quatro modelos.

O que isso significa para quem trabalha com inferência

Para quem mantém a própria infraestrutura de inferência, o sinal é este: otimização não é uma escolha pontual de configuração, mas uma recompilação constante para acompanhar a deriva do tráfego. Mais tokens na mesma placa significam uma frota de GPUs menor ou uma folga maior de carga.

Há ressalvas. Os números foram obtidos pela própria Together em suas tarefas, e ainda não há verificação independente. Para o Trainium2, foi usado um dataset sintético multi-turn, porque a implementação ainda não suporta alta concorrência com a memória HBM limitada. Não se sabe se o TKCC chegará ao mercado como produto. Mas dois princípios já podem ser adotados: não reinicie o motor a cada teste e valide as otimizações com dados reais, não com dados aleatórios.