Together AI troca megakernels por agentes de IA e acelera Llama 1B em 28% na B200
A Together AI abandonou os megakernels — um único kernel de GPU gigante para o modelo inteiro — e os substituiu pelo Together Compiler, em que agentes de IA reescrevem e unem kernels. Na B200, o Llama 3.2 1B entrega 2118 tokens/s, contra 1649 do megakernel manual, uma diferença de 28%. Em produção, o megakernel sustentava um único modelo, um único tamanho de batch e um único cliente. Por isso, buscar velocidade por meio de busca automática compensa mais do que a montagem manual.
Processado por IA de Together AI Blog; editado por Hamidun News
Há um ano, a Together AI exibia seus megakernels: todo o forward pass do modelo rodava em um único kernel de GPU enorme, e a velocidade era recorde. Agora a mesma equipe escreve que não precisa mais deles. No lugar, a empresa lançou o Together Compiler, um sistema em que agentes de IA reescrevem e unem os kernels do modelo. Na NVIDIA B200, ele extrai 2118 tokens por segundo no Llama 3.2 1B, enquanto o megakernel manual chega a 1649. A diferença é de 28%. Para quem paga por inferência, o valor dessa história não está no recorde, e sim na explicação de onde a velocidade realmente vem.
Por que o megakernel não chegou à produção
O megakernel resolvia três problemas da inferência convencional. O primeiro é o overhead de lançamento de cada kernel. No PyTorch, uma única chamada de down-projection na H100 custa 37 microssegundos de despacho para 15 microssegundos de trabalho real da GPU. Até o C++ puro adiciona cerca de 2 microssegundos por lançamento, e um único forward pass tem centenas deles. O segundo problema é a falta de sobreposição: os pesos da próxima camada podem ser carregados enquanto a atual é calculada. O terceiro é a carga desigual nos multiprocessadores (SM): alguns terminam o trabalho antes dos outros e ficam ociosos.
No Llama 1B, o megakernel entregou 990 tokens/s, contra 669 do Torch Inductor padrão, um ganho de 48%. Em produção, porém, a situação ficou pior. Um pesquisador passou vários meses de 2025 integrando o KV cache paginado, portando o código para Blackwell e caçando condições de corrida. Os autores resumem o resultado assim: um modelo, um tamanho de batch (1), uma precisão (BF16) e um cliente. A velocidade é ótima, mas não há flexibilidade.
Então a equipe seguiu o caminho inverso: partiu do Torch Compile, com 669 tokens/s, e ativou as otimizações do megakernel uma a uma. Com a adição de CUDA Graphs, o lançamento passou a custar cerca de 1 microssegundo, e o resultado subiu para 864 tokens/s, ou 87% do megakernel. Com a adição de PDL (mecanismo da NVIDIA para sobrepor kernels vizinhos) nos kernels padrão do Inductor, a equipe chegou a 98% da velocidade do megakernel sem escrever um único kernel próprio.
Onde o compilador padrão perde velocidade
A equipe estudou o Inductor no Llama 1B e encontrou três pontos fracos.
Primeiro: as heurísticas não escolhem a melhor configuração para a carga de trabalho. O Inductor já tem 607 flags de configuração, 198 delas adicionadas no último ano. A flag freezing acelera batches grandes em 10–26%, mas desacelera o batch 1 em 49%: os pesos permanecem em formato de 32 bits, e a GPU lê o dobro de dados. As flags também interferem umas nas outras: aggressive_fusion sozinha reduziu a velocidade em 6 tokens/s, mas, combinada com outras três, adicionou 3.
Segundo: os benchmarks do Inductor medem os kernels isoladamente, com o cache L2 zerado, enquanto no forward pass real os dados muitas vezes já estão no cache. As medições isoladas deram resultados 39–58% mais lentos que as medições em condições reais. Pior: no teste com embedding, os tokens são inicializados com zeros, e o kernel parece 2,1 vezes mais rápido do que com dados aleatórios. Como resultado, o Inductor escolheu para a output-projection um kernel Triton de 7,4 µs em vez do cuBLAS de 6,4 µs, 15% mais lento. No modelo MoE GLM 5.3, as entradas aleatórias no benchmark superestimaram o tempo do grouped-GEMM em 4–21%.
Terceiro: a fusão gulosa aos pares. Dois kernels vizinhos não são unidos porque não compartilham memória. Mas o primeiro lança apenas 6 blocos em uma GPU com 132 SM, e quase todo o chip fica ocioso. O algoritmo de fusão deveria considerar a ocupação, e não apenas o tráfego de memória.
O que isso significa na prática
Há três conclusões importantes para produção. Primeiro: antes de escrever kernels customizados, ative CUDA Graphs e PDL. Segundo as medições da Together, isso devolve quase toda a velocidade do megakernel. Segundo: não confie cegamente nas flags do compilador. A mesma flag se comporta de forma diferente em cada batch, então é preciso uma busca sistemática, e não palpites. Terceiro: o benchmark deve rodar dentro de um forward pass real, com dados reais, principalmente em MoE, onde a entrada determina o roteamento.
Com agentes e multi-kernels, a equipe superou seus antigos megakernels em até 1,7 vez e obteve mais de 1100 tokens/s no Llama 1B na H100. A ideia do Together Compiler é que os agentes busquem continuamente novas variantes de fusão e de configuração para cada modelo, hardware e tamanho de batch, em vez de depender de uma única implementação manual.
Há ressalvas. Todos os números são medições da própria empresa, obtidas em um modelo muito pequeno, de 1B, no qual o overhead de lançamento pesa de forma especial. Em modelos maiores, o ganho pode ser mais modesto, por isso o resultado precisa ser verificado na sua própria carga de trabalho. Ainda assim, a direção é clara: os megakernels manuais continuam sendo uma ferramenta de pesquisa, e em produção ganha a busca automatizada no espaço de otimizações.
- 18 de nov. de 2026OpenAI выпустила GPT-6.2 Astra: второе место в рейтинге и цена ниже на 20%
- 18 de nov. de 2026Após uma falha, agentes só revertem o trabalho em 47% dos casos, embora resolvam 84% das tarefas
- 12 de nov. de 2026Meta* ativa verificação de idade por IA no Instagram* em todo o mundo: contas de menores de 13 anos serão removidas
- 12 de nov. de 2026Meta leva o Muse ao Apple Watch e ao Android com três formas de interação
Perguntas frequentes sobre a notícia
Por que o megakernel não chegou à produção?
O megakernel resolvia três problemas da inferência convencional. O primeiro é o overhead de lançamento de cada kernel. No PyTorch, uma única chamada de down-projection na H100 custa 37 microssegundos de despacho para 15 microssegundos de trabalho real da GPU. Até o C++ puro adiciona cerca de 2 microssegundos por lançamento, e um único forward pass tem centenas deles. O segundo problema é a falta de sobreposição: os pesos da próxima camada podem ser carregados enquanto a atual é calculada.
Onde o compilador padrão perde velocidade?
A equipe estudou o Inductor no Llama 1B e encontrou três pontos fracos. Primeiro: as heurísticas não escolhem a melhor configuração para a carga de trabalho. O Inductor já tem 607 flags de configuração, 198 delas adicionadas no último ano. A flag freezing acelera batches grandes em 10–26%, mas desacelera o batch 1 em 49%: os pesos permanecem em formato de 32 bits, e a GPU lê o dobro de dados.
O que isso significa na prática?
Há três conclusões importantes para produção. Primeiro: antes de escrever kernels customizados, ative CUDA Graphs e PDL. Segundo as medições da Together, isso devolve quase toda a velocidade do megakernel. Segundo: não confie cegamente nas flags do compilador. A mesma flag se comporta de forma diferente em cada batch, então é preciso uma busca sistemática, e não palpites. Terceiro: o benchmark deve rodar dentro de um forward pass real, com dados reais, principalmente em MoE, onde a entrada determina o roteamento.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.