Hugging Face apprend à TRL à livrer un trillion de paramètres via poids delta

Hugging Face a ajouté à la bibliothèque TRL (Transformers Reinforcement Learning) un outil appelé Delta Weight Sync — une méthode pour livrer et synchroniser efficacement des modèles géants avec un trillion de paramètres via le bucket Hub ordinaire.

Pourquoi livrer un trillion de paramètres est difficile

Lors de l'entraînement de grands modèles de langage dans un environnement distribué — par exemple, lors du fine-tuning via l'apprentissage par renforcement ou du fine-tuning sur des données spécialisées — il est nécessaire de synchroniser les poids du modèle entre les nœuds du cluster. Si le modèle pèse des centaines de gigaoctets ou même des téraoctets, envoyer simplement des fichiers complets signifie gaspiller une quantité colossale de trafic réseau. L'approche traditionnelle : télécharger le checkpoint complet (peut être 2-4 TB), appliquer les modifications résultant d'une étape d'entraînement, télécharger à nouveau sur le Hub. Sur le serveur Hub, cela prend de la place (quotas), sur le réseau — des heures d'attente.

Comment fonctionne Delta Weight Sync

Delta Weight Sync envoie non pas le fichier entier, mais seulement la différence (delta) entre l'ancienne version des poids et la nouvelle. C'est comme git diff, mais pour les poids de réseaux de neurones.

• La différence entre le checkpoint A et le checkpoint B est calculée
• Le delta est compressé (la compression atteint 10-50x sur les mises à jour incrémentielles)
• Le delta est envoyé au Hub dans un fichier séparé
• Sur un autre nœud : le delta est téléchargé et appliqué à la copie locale des poids
• Résultat : synchronisation avec un volume de données des centaines de fois plus petit

L'effet dépend de la façon dont les poids ont changé. Lors du fine-tuning incrémentiell, souvent 2-5% des poids changent, le reste correspondant à l'original. Delta Weight Sync l'utilise activement.

Économies à grande échelle

Pour un modèle avec un trillion de paramètres, le checkpoint complet peut être 2-4 TB. Envoyer un tel volume via le réseau — c'est des heures, même sur des canaux dédiés. Un delta de 100-500 GB est envoyé en 15-60 minutes. Pour les systèmes qui synchronisent les poids des dizaines de fois par jour (typique pour RLHF, où le poids du modèle change à chaque itération), cela économise des jours d'entraînement.

«

Avec Delta Weight Sync, on peut maintenir des modèles géants sur le Hub sans pénalité de trafic », — le concept qui sous-tend l'outil.

Qui l'utilise

Delta Weight Sync est particulièrement utile pour :

• RLHF distribué — quand on fine-tune un modèle selon les retours de personnes ou d'autres modèles
• Des clusters multi-nœuds, où chaque nœud fine-tune en parallèle une version du modèle
• Des expériences d'hyperparamètres — changer rapidement la configuration, synchroniser uniquement le delta
• Des équipes avec un réseau limité — cloud sans bande passante illimitée, labos locaux

Que cela signifie

Delta Weight Sync n'est pas une révolution en théorie, mais une étape d'ingénierie vers la praticité. Un trillion de paramètres — ce n'est plus un cauchemar pour le stockage et la synchronisation, c'est simplement la norme. Pour les startups et les équipes de recherche, cela signifie : on peut travailler avec des modèles énormes sur du matériel modeste et des réseaux médiocres, si on organise correctement la compression des deltas.