Sharding em LLM: como distribuir computações entre GPUs

O dimensionamento de grandes modelos de linguagem requer mais de uma GPU ou TPU. Uma das principais técnicas para isso é o sharding: distribuição de matrizes e vetores entre múltiplos aceleadores para que as computações sejam executadas de forma eficiente e coerente.

Por que as matrizes não cabem na memória

Ao trabalhar com redes neurais realmente grandes, as matrizes de pesos e ativações praticamente nunca cabem inteiramente na memória de uma única GPU ou TPU. O peso de um LLM moderno pode ser medido em centenas de bilhões de parâmetros, cada um exigindo vários bytes de memória. Um acelerador simplesmente não consegue lidar com isso. Por isso é necessário dividir — fazer sharding — essas matrizes entre vários chips.

Como funciona o sharding

Imagine uma matriz A de tamanho [I, J]. Ela pode ser dividida de várias formas:

• Por linhas (row-wise) — o primeiro acelerador pega as linhas 1–N, o segundo as linhas N+1–2N e assim por diante
• Por colunas (column-wise) — analogamente, mas na vertical
• Particionamento em blocos — a matriz é dividida em blocos retangulares e distribuída em uma grade de chips
• Por diagonal e outros padrões — esquemas mais complexos para operações específicas

O papel de cada acelerador é executar a operação em sua parte da matriz e depois sincronizar os resultados com os vizinhos.

Do que depende a qualidade do sharding

A escolha adequada da estratégia de sharding afeta:

• Velocidade de treinamento — minimizar o tempo de comunicação entre GPUs
• Eficiência de memória — preenchimento correto dos buffers em cada chip
• Largura de banda — quantidade de dados que precisam ser transferidos entre aceleadores
• Localidade computacional — quanto trabalho pode ser executado sem sincronização

Um sharding deficiente pode levar a uma situação em que os aceleadores passam a maior parte do tempo esperando um pelo outro ou desperdiçam a largura de banda das conexões entre eles. Um bom sharding tenta minimizar essas perdas e manter todos os chips trabalhando simultaneamente.

O que isso significa

Sharding não é simplesmente uma otimização técnica, é a base para a economia do dimensionamento. A distribuição adequada de computações permite usar clusters de centenas e milhares de GPUs de forma que a velocidade geral se aproxime do ideal e os recursos computacionais não sejam desperdiçados esperando comunicação.