UC Berkeley cria o mKernel: uma biblioteca única para sincronizar GPUs em clusters

A equipe UCCL, da UC Berkeley, lançou o mKernel, uma biblioteca CUDA que pretende revolucionar a sincronização de GPUs em grandes clusters. A biblioteca reúne em um único persistent kernel a comunicação local entre GPUs, a sincronização entre servidores e o processamento, evitando trocas de contexto constantes.

O gargalo nos clusters de grande escala

Em data centers de grande escala, a sincronização entre GPUs é um dos principais gargalos de largura de banda. Quando engenheiros treinam grandes modelos de forma distribuída, enfrentam um problema que tradicionalmente era resolvido de maneira muito ineficiente.

A abordagem anterior era em camadas: os engenheiros usavam três ferramentas e bibliotecas separadas. A primeira servia para a comunicação rápida dentro de um único servidor (NVLink, que funciona por meio de links de alta velocidade entre GPUs). A segunda, para sincronizar servidores diferentes pela rede (RDMA, que usa adaptadores de rede especializados). A terceira, para o processamento em si.

Cada passagem entre esses três sistemas congela todo o pipeline da GPU: ela precisa parar, trocar de contexto, descarregar parte da memória, carregar novos dados e só então retomar o trabalho. Em clusters com milhares de GPUs, esses atrasos de microssegundos se acumulam em minutos de desempenho perdido.

Como o mKernel resolve o problema

O mKernel muda a filosofia de forma radical. Em vez de três sistemas separados, todas as operações (comunicação local, sincronização de rede e processamento) rodam em um único persistent kernel. É um programa que fica permanentemente na memória da GPU e nunca é descarregado para a CPU.

A arquitetura combina três componentes:

• NVLink para a comunicação entre GPUs do mesmo servidor — entrega velocidade 10-20x maior que a do PCIe, graças a canais diretos de alta velocidade entre as GPUs
• RDMA via adaptadores de rede para a sincronização entre servidores — evita a sobrecarga da CPU e a latência do sistema operacional no envio de dados entre máquinas
• Processamento denso embutido diretamente no kernel — a GPU trabalha com dados locais sem trocas de contexto, se sincroniza com as vizinhas e passa imediatamente à tarefa seguinte

Isso significa que a GPU pode passar sem obstáculos da comunicação local via NVLink para a sincronização global via RDMA e para o próprio processamento, tudo em um só trecho de código e sem paradas.

Um exemplo concreto: como funciona na prática

No treinamento distribuído, uma GPU não consegue avançar enquanto as outras GPUs, em outros servidores, não terminam seus cálculos e sincronizam os gradientes. Na abordagem antiga, a GPU simplesmente espera com o pipeline totalmente vazio.

Com o mKernel, o processo é diferente: a GPU continua calculando com os dados já carregados, se sincroniza ao mesmo tempo com as vizinhas via NVLink e RDMA e passa imediatamente à próxima onda de treinamento, sem nenhuma pausa. É como a linha de montagem de uma fábrica de automóveis, que não para enquanto a peça segue para a estação seguinte.

Por que isso é crítico para os data centers

O treinamento distribuído de grandes modelos é uma das tarefas computacionais mais complexas do desenvolvimento atual de IA. Quando se usam 1000 GPUs ao mesmo tempo (e as grandes empresas trabalham com mais), até uma pequena lentidão na sincronização pode desperdiçar 20-30% de todos os recursos.

O mKernel promete eliminar totalmente essa sobrecarga.

Nos primeiros testes, os pesquisadores já veem resultados: em clusters multinó, a biblioteca acelera a sincronização em 2-3 vezes em operações típicas. Isso é especialmente importante para o mecanismo de atenção (attention) dos transformers, em que a sincronização de gradientes entre GPUs é a parte mais cara de todo o trabalho.

O que isso significa

O mKernel é um sinal de que a programação para GPU está entrando na era dos sistemas integrados. Antes, os engenheiros escreviam o código em camadas: primeiro o processamento, depois a sincronização, depois a transferência. Agora a fronteira entre elas está se diluindo. Isso significa processamento mais rápido nos data centers e treinamento de grandes modelos mais acessível e veloz. E, principalmente, a próxima geração de sistemas distribuídos será projetada de um jeito totalmente novo.