Together AI: GPT-5.5, Gemini e Opus não sabem escrever kernels multi-GPU rápidos

A Together AI publicou o ParallelKernelBench (PKB), o primeiro benchmark aberto para avaliar a capacidade de modelos de linguagem de gerar kernels CUDA eficientes para ambientes multi-GPU. Depois de testar mais de 40 modelos em 87 tarefas reais, os pesquisadores concluíram que os melhores modelos de fronteira resolvem corretamente menos de um terço das tarefas, e só poucos desses resultados realmente superam uma implementação ingênua em PyTorch.

Por que multi-GPU é mais difícil

Os modelos de linguagem já escrevem código razoável para uma única GPU, e a maioria dos benchmarks de programação de GPU existentes se limita a esse cenário. Mas os sistemas de IA em produção deixaram esse limite para trás faz tempo: rodam em dezenas ou centenas de GPUs ao mesmo tempo. Nessas configurações, o poder de processamento deixa de ser o principal gargalo; a comunicação entre dispositivos assume esse papel.

Segundo a Together AI, o custo de transferir dados entre GPUs consome mais de 20% da latência na inferência, e essa diferença tende a crescer, já que o desempenho dos chips continua superando a largura de banda da interconexão entre chips.

A geração para multi-GPU difere fundamentalmente da de uma única GPU por três motivos:

• Explosão combinatória de opções: é preciso escolher entre paralelismo tensorial, de contexto, de especialistas, de dados e outros, e cada um cria seu próprio padrão de comunicação
• Outro modelo de desempenho: em vez do roofline de computação local, o principal limite passa a ser a largura de banda da interconexão entre chips
• Uma nova escolha de arquitetura: como mover fisicamente os dados entre GPUs (via copy engine, TMA, SM load/store ou NVLS) e se vale a pena sobrepor a transferência de dados à computação

Como o benchmark funciona

O PKB inclui 87 tarefas de bases de código reais (Megatron-LM, DeepSpeed, DeepEP, TensorRT-LLM e NeMo-RL), além de cargas distribuídas fora do padrão: roteamento em redes neurais de grafos, FFT distribuída e Gaussian splatting. Essa seleção cobre os principais tipos de sharding: tensorial, de contexto, de dados, de especialistas, sequencial e FSDP/ZeRO.

Cada tarefa começa com uma implementação padrão em PyTorch + NCCL e uma descrição da topologia do hardware. O modelo precisa substituí-la por um kernel CUDA próprio, que transfira dados diretamente entre GPUs via NVLink usando memória simétrica, sem passar pela pilha padrão de operações coletivas.

A avaliação usa três critérios: correção do resultado, aceleração em tempo real (wall-clock) e alcance do communication roofline, o limite teórico da largura de banda da interconexão.

Resultados e vitórias inesperadas

A Together AI testou mais de 40 modelos, incluindo GPT-5.5, Gemini 3 Pro e Opus 4.7, os atuais modelos de ponta da OpenAI, do Google e da Anthropic. Os resultados foram igualmente ruins para todos:

• O melhor modelo resolveu corretamente menos de um terço das 87 tarefas
• Menos de um quarto das soluções corretas superou a implementação-base ingênua em PyTorch + NCCL
• As principais falhas ocorreram no gerenciamento da comunicação entre GPUs e na escolha do método certo de transferência de dados

Mesmo assim, algumas soluções se mostraram surpreendentemente boas: certos kernels gerados superaram todas as implementações publicamente disponíveis. O caso mais marcante é o treinamento GRPO no NVIDIA NeMo-RL: até agora não existia código público otimizado para essa operação, e um modelo de linguagem o escreveu antes dos humanos.

"Vários kernels gerados se mostraram mais rápidos do que qualquer coisa disponível em código aberto", segundo o relatório técnico do

ParallelKernelBench.

O que isso significa

O PKB marca a próxima fronteira da programação com IA: a passagem de uma GPU isolada para sistemas distribuídos multi-GPU. Por enquanto, os modelos de fronteira não dão conta, mas os raros lampejos de sucesso sugerem que há margem para progresso com a coleta direcionada de dados de treinamento especializados.

Para equipes que otimizam inferência e treinamento em clusters de GPUs, é uma referência importante: a ferramenta está amadurecendo, mas ainda não está pronta para uso amplo.