Hugging Face ensina o TRL a entregar um trilhão de parâmetros por meio de deltas de pesos

A Hugging Face adicionou à biblioteca TRL (Transformers Reinforcement Learning) uma ferramenta chamada Delta Weight Sync, um método para entregar e sincronizar com eficiência modelos gigantes de um trilhão de parâmetros por meio de um bucket comum do Hub.

Por que entregar um trilhão de parâmetros é difícil

Ao treinar grandes modelos de linguagem em ambiente distribuído, por exemplo no ajuste com aprendizado por reforço ou com dados especializados, é preciso sincronizar os pesos do modelo entre os nós do cluster. Se o modelo pesa centenas de gigabytes ou até terabytes, enviar arquivos completos significa gastar uma quantidade enorme de tráfego de rede.

A abordagem tradicional: baixar o checkpoint completo (pode ter 2-4 TB), aplicar as mudanças de um passo de treinamento e subir de volta ao Hub. No servidor do Hub isso ocupa espaço (cotas); na rede, horas de espera.

Como funciona o Delta Weight Sync

O Delta Weight Sync envia não o arquivo inteiro, mas só a diferença (delta) entre a versão antiga dos pesos e a nova. É parecido com o git diff, mas para pesos de redes neurais.

• Calcula-se a diferença entre o checkpoint A e o checkpoint B
• A delta é comprimida (a compressão chega a 10-50x em atualizações incrementais)
• A delta é enviada ao Hub em um arquivo separado
• No outro nó, a delta é baixada e aplicada à cópia local dos pesos
• Resultado: sincronização com centenas de vezes menos dados

O efeito depende de quanto os pesos mudaram. No ajuste fino incremental, costumam mudar 2-5% dos pesos, e o resto coincide com o original. O Delta Weight Sync tira proveito disso.

Economia em escala

Para um modelo de um trilhão de parâmetros, o checkpoint completo pode ter 2-4 TB. Enviar esse volume pela rede leva horas, mesmo em links dedicados. Uma delta de 100-500 GB é enviada em 15-60 minutos. Para sistemas que sincronizam pesos dezenas de vezes por dia (típico do RLHF, em que os pesos do modelo mudam a cada iteração), isso economiza dias de treinamento.

"Com o

Delta Weight Sync, é possível manter modelos gigantes no Hub sem penalidade de tráfego" — o conceito por trás da ferramenta.

Quem usa

O Delta Weight Sync é especialmente útil para:

• RLHF distribuído, quando se ajusta um modelo com feedback de pessoas ou de outros modelos
• Clusters multinó, em que cada nó ajusta em paralelo sua versão do modelo
• Experimentos com hiperparâmetros: mudar rapidamente a configuração e sincronizar só a delta
• Equipes com rede limitada: nuvem sem largura de banda ilimitada, laboratórios locais

O que isso significa

O Delta Weight Sync não é uma revolução na teoria, mas um passo de engenharia rumo à praticidade. Um trilhão de parâmetros já não é um pesadelo de armazenamento e sincronização, é simplesmente o padrão. Para startups e equipes de pesquisa, isso significa que é possível trabalhar com modelos enormes em hardware modesto e redes piores, se a compressão das deltas for bem organizada.