Sharding em LLMs: como distribuir o processamento entre GPUs

Escalar grandes modelos de linguagem exige mais de uma GPU ou TPU. Uma das técnicas-chave para isso é o sharding: distribuir matrizes e vetores entre vários aceleradores para que o processamento seja eficiente e coordenado.

Por que as matrizes não cabem na memória

Em redes neurais realmente grandes, as matrizes de pesos e de ativações quase nunca cabem inteiras na memória de uma única GPU ou TPU. Um LLM moderno pode ter centenas de bilhões de parâmetros, e cada um ocupa vários bytes. Um único acelerador simplesmente não dá conta. Por isso é preciso dividir, ou fazer o sharding dessas matrizes entre vários chips.

Como o sharding funciona

Imagine uma matriz A de tamanho [I, J]. Ela pode ser dividida de várias formas:

• Por linhas (row-wise) — o primeiro acelerador pega as linhas 1–N, o segundo as linhas N+1–2N, e assim por diante
• Por colunas (column-wise) — a mesma ideia, mas na vertical
• Divisão em blocos — a matriz é dividida em blocos retangulares e distribuída em uma grade de chips
• Por diagonal e outros padrões — esquemas mais complexos para operações específicas

O papel de cada acelerador é executar a operação sobre a sua parte da matriz e depois sincronizar os resultados com os vizinhos.

O que a qualidade do sharding afeta

A escolha da estratégia de sharding determina:

• Velocidade de treinamento — minimizar o tempo de comunicação entre GPUs
• Eficiência de memória — preencher corretamente os buffers de cada chip
• Largura de banda — a quantidade de dados que precisa ser transferida entre aceleradores
• Localidade do processamento — quanto trabalho pode ser executado sem sincronização

Um sharding ruim pode fazer os aceleradores passarem a maior parte do tempo esperando uns pelos outros ou desperdiçarem a largura de banda das conexões entre eles. Um bom sharding busca minimizar essas perdas e manter todos os chips trabalhando ao mesmo tempo.

O que isso significa

Sharding não é apenas uma otimização técnica: é a base da economia do escalonamento. A distribuição correta do processamento permite usar clusters de centenas e milhares de GPUs de modo que a velocidade total se aproxime da ideal e os recursos computacionais não sejam desperdiçados esperando a comunicação.