L'optimiseur FARO réduit la perte de validation de GPT de 0,0136 nat sur 6 seeds sur 6

Les recettes actuelles d'entraînement des grands modèles de langage répartissent le travail entre optimiseurs à la main. Un momentum orthogonalisé de type Muon met à jour les matrices d'attention et de MLP, des règles de style Adam s'occupent du reste, et un budget de mise à jour unique s'applique à l'ensemble du modèle. Des chercheurs de l'Université des sciences et technologies de Hong Kong (Guangzhou) proposent FARO, un optimiseur qui prend ces décisions à partir de mesures effectuées sur le modèle en cours d'entraînement.

Sur un modèle de type GPT entraîné sur FineWeb, sa variante FARO-Adaptive (qui ne choisit que la géométrie de la mise à jour) atteint une perte de 3,2780 nats. Son extension FARO-ERC (redistribution du budget selon le principe de contribution égale au risque, equal risk contribution) réduit la perte sur les 6 seeds, c'est-à-dire les 6 exécutions avec des initialisations aléatoires différentes, de 0,0136 nat en moyenne. Le nat est l'unité naturelle de mesure de la perte d'entropie croisée.

Le code est publié sur GitHub.

Une géométrie choisie selon le résultat, pas selon le type de couche

La recette standard repose sur deux hypothèses. Le type de couche déterminerait la géométrie de mise à jour adaptée : norme spectrale pour les matrices, adaptivité coordonnée par coordonnée pour les vecteurs. Et un seul budget scalaire suffirait pour tout le réseau. Ces deux hypothèses proviennent d'heuristiques humaines et de petites grilles d'ablation, pas de mesures effectuées sur le modèle en cours d'entraînement. Les nouveaux optimiseurs matriciels (NorMuon, Scion, Dion2, ARO, PolarGrad, Newton–Muon) ne modifient qu'un détail de la recette et continuent de figer une seule géométrie pour toutes les matrices qu'ils traitent.

FARO fait du choix lui-même l'objet de l'apprentissage. Il découpe les paramètres en 117 blocs. Pour chaque bloc, toutes les règles candidates sont appliquées à un échantillon de contrôle mis de côté, et la règle qui réduit le plus la perte est retenue.

Tant que le classement est informatif, les routes peuvent changer, puis elles sont figées. Cela borne le coût de la recherche et retire le choix des routes des sources de variance. FARO est un cadre, pas une nouvelle règle de mise à jour : Muon, NorMuon et les règles de type Adam y figurent comme candidats, pas comme concurrents.

En annexe, les auteurs montrent que la décision bloc par bloc concorde avec la décision conjointe sur tous les blocs sous une hypothèse de séparabilité souple. Ils estiment aussi la borne du couplage qu'elle ignore.

Au final, FARO-Adaptive atteint 3,2780 nats sur le calendrier d'entraînement complet. La meilleure recette manuelle, NorMuonAndAdam, affiche 3,2794. Le système a reproduit l'heuristique humaine sans annotation manuelle de la géométrie par couche.

Risk parity de la théorie du portefeuille

La seconde partie du travail porte sur le budget. Une fois les routes figées, chaque bloc conserve son propre multiplicateur, qui met à l'échelle la mise à jour. Trois contrôleurs scalaires mettent à l'échelle un budget global unique : un multiplicateur de Kelly fractionnaire, sa relaxation continue et une règle fondée sur une estimation de la complexité. Tous trois restent indiscernables de FARO-Adaptive, neutre face au risque. Cela concorde avec une observation : élargir le pas en poursuivant le risque est improductif.

Les auteurs expliquent cela par la structure du problème. Un scalaire multiplie tous les budgets par un même coefficient et ne se déplace que le long de la diagonale du simplexe des budgets. Il ne peut donc pas décider quels blocs ont besoin de plus de mises à jour et lesquels de moins.

Les auteurs redistribuent donc le budget entre les blocs, à somme inchangée, selon une règle de la théorie du portefeuille : la contribution égale au risque (ERC, aussi appelée risk parity). Dans un portefeuille, les poids sont choisis pour que chaque actif apporte la même part du risque total. Dans FARO, le bloc joue le rôle de l'actif, et le rapport entre la mise à jour et la norme des poids celui de la volatilité.

Le risque brut varie de plusieurs ordres de grandeur d'un bloc à l'autre. Il est donc plafonné par rapport à la médiane des blocs (winsorisation), le multiplicateur est borné par le haut, et l'échelle qui conserve le budget total avec une précision numérique est trouvée par bissection. La redistribution n'utilise que le risque du pas précédent : le gradient courant n'influence donc pas son propre budget. La bissection fournit la solution exacte du problème de risque séparable, où le couplage par le budget passe par un seul prix scalaire. Les contributions égales au risque découlent de la solution, elles ne sont pas imposées. La comparaison avec FARO-Adaptive isole ainsi la redistribution d'un simple changement du learning rate effectif.

Un gain modeste, mais stable

FARO-ERC réduit la perte sur données propres sur les 6 seeds, de 0,0136 nat en moyenne, à volume de calcul identique. Le test des signes, le test apparié et l'intervalle de confiance concordent, et l'effet dépasse la dispersion mesurée entre les exécutions. Le temps de calcul et la mémoire n'augmentent pas. Le mécanisme est le suivant : ERC bride les blocs les plus risqués au lieu d'élargir les plus sûrs. Les auteurs qualifient eux-mêmes le gain de modeste mais stable.

La méthode a aussi été testée sur un flux de données corrompu : la perte moyenne a baissé là encore, et la majorité des seeds est restée en faveur de FARO-ERC.

Conséquence pratique pour ceux qui configurent un préentraînement : la répartition manuelle « matrices avec Muon, le reste avec Adam » peut être remplacée par une mesure sur un échantillon de contrôle. La redistribution du budget entre les blocs à somme fixe apporte une amélioration faible, mais reproductible. L'évaluation porte sur un seul modèle de type GPT et un seul jeu de données ; la transposition du résultat à d'autres échelles et à d'autres données reste donc une question ouverte.