Hugging Face apprend à TRL à livrer mille milliards de paramètres via des deltas de poids

Hugging Face a ajouté à sa bibliothèque TRL (Transformers Reinforcement Learning) un outil nommé Delta Weight Sync, une méthode pour livrer et synchroniser efficacement des modèles géants de mille milliards de paramètres via un bucket Hub ordinaire.

Pourquoi livrer mille milliards de paramètres est difficile

Lors de l'entraînement de grands modèles de langage en environnement distribué, par exemple pour un fine-tuning par apprentissage par renforcement ou sur des données spécialisées, il faut synchroniser les poids du modèle entre les nœuds du cluster. Si le modèle pèse des centaines de gigaoctets, voire des téraoctets, envoyer des fichiers complets revient à consommer un volume colossal de trafic réseau.

L'approche traditionnelle : télécharger le checkpoint complet (qui peut atteindre 2-4 To), appliquer les changements d'une étape d'entraînement, puis le renvoyer sur le Hub. Sur le serveur du Hub, cela occupe de l'espace (quotas) ; sur le réseau, cela représente des heures d'attente.

Comment fonctionne Delta Weight Sync

Delta Weight Sync n'envoie pas le fichier entier, mais seulement la différence (delta) entre l'ancienne version des poids et la nouvelle. C'est comparable à git diff, mais pour les poids de réseaux de neurones.

• La différence entre le checkpoint A et le checkpoint B est calculée
• Le delta est compressé (la compression atteint 10-50x sur les mises à jour incrémentales)
• Le delta est envoyé au Hub dans un fichier distinct
• Sur l'autre nœud, le delta est téléchargé et appliqué à la copie locale des poids
• Résultat : une synchronisation avec des centaines de fois moins de données

L'effet dépend de l'ampleur des changements de poids. Lors d'un fine-tuning incrémental, 2-5 % des poids changent souvent, le reste étant identique à l'original. Delta Weight Sync exploite activement ce fait.

Des économies à grande échelle

Pour un modèle de mille milliards de paramètres, un checkpoint complet peut peser 2-4 To. Envoyer un tel volume par le réseau prend des heures, même sur des liaisons dédiées. Un delta de 100-500 Go part en 15-60 minutes. Pour les systèmes qui synchronisent leurs poids des dizaines de fois par jour (typique du RLHF, où les poids changent à chaque itération), cela fait gagner des jours d'entraînement.

«

Avec Delta Weight Sync, on peut garder des modèles géants sur le Hub sans pénalité de trafic » — le concept à la base de l'outil.

Qui l'utilise

Delta Weight Sync est particulièrement utile pour :

• le RLHF distribué, quand on affine un modèle à partir des retours d'humains ou d'autres modèles
• les clusters multinœuds, où chaque nœud affine en parallèle sa version du modèle
• les expériences sur les hyperparamètres : changer vite de configuration et ne synchroniser que le delta
• les équipes aux réseaux limités : cloud sans bande passante illimitée, laboratoires locaux

Ce que cela signifie

Delta Weight Sync n'est pas une révolution théorique, mais un pas d'ingénierie vers le pragmatisme. Mille milliards de paramètres ne sont plus un cauchemar de stockage et de synchronisation, c'est simplement la norme. Pour les startups et les équipes de recherche, cela signifie qu'elles peuvent travailler avec des modèles énormes sur du matériel modeste et des réseaux moins bons, à condition de bien organiser la compression des deltas.