Hugging Face ensinou TRL a entregar um trilhão de parâmetros via pesos delta

Hugging Face apresentou Delta Weight Sync para TRL — uma ferramenta que entrega um trilhão de parâmetros via Hub enviando apenas deltas de pesos. O método reduz o volume de dados centenas de vezes e acelera a sincronização entre nós durante o treinamento distribuído.