L'entraînement unifié porte le score HumanEval+ à 24,96 % de pass@1

L'entraînement d'un modèle de langage ressemble aujourd'hui à un atelier doté de plusieurs lignes distinctes. Le modèle lit d'abord un énorme corpus de textes, puis assimile des données plus spécialisées, apprend ensuite à suivre des instructions et ne reçoit qu'à la fin un retour via le RL. À chaque transition, les données, le code, l'infrastructure et l'équipe changent. Un problème bien connu apparaît alors : en améliorant une compétence, le modèle peut en oublier partiellement une autre.

Les auteurs du travail Training Foundation Models with a Single Algorithm ont cherché à savoir s'il était possible de transformer ce relais en un processus continu unique. Leur réponse : les différentes étapes peuvent être représentées comme un apprentissage sur des distributions de données cibles, les exemples peuvent être mélangés dans un flux commun et l'on peut optimiser une unique loss de maximum de vraisemblance pondérée par token. Même les mises à jour de politique en RL se ramènent ici à l'ajustement des probabilités des réponses en tenant compte de la récompense obtenue.

À quoi cela ressemble sur un exemple simple

Imaginez un petit modèle que l'on entraîne d'abord sur le langage courant, puis sur des casse-têtes logiques, puis sur la programmation. Le pipeline classique lance trois entraînements successifs. Dans Unified Training, le serveur d'entraînement peut recevoir simultanément des exemples des trois types, mais dans des proportions différentes : beaucoup de données linguistiques générales, moins de casse-têtes et une petite part de tâches avec récompense pour un code correct.

Le poids de chaque flux détermine ce à quoi le modèle accorde le plus d'attention à un instant donné. Les anciennes données ne disparaissent pas complètement, si bien que le modèle perd moins souvent des capacités déjà acquises. On pense moins à un diplômé qui range son manuel après l'examen qu'à un spécialiste qui continue de réviser un peu les bases pendant la pratique.

Sur les tâches de logique, le résultat dépendait fortement de la composition du mélange : d'environ 4 % à 39 % de pass@1 sur des tâches de taille connue. Les variantes par étapes affichaient de 12,24 % à 24,54 %. Sur de nouvelles tâches avec 12 personnages, l'approche unifiée donnait environ 1 à 13 %, contre 5,58 % pour la variante par étapes retenue. La dispersion compte ici davantage que le beau maximum : l'algorithme ne dispense pas de régler les proportions de données.

Dans une expérience avec un modèle de 0,76 milliard de paramètres, le RL sur les mathématiques puis sur le code a donné 23,67 à 24,96 % de pass@1 sur HumanEval+, avec une part de données mélangées de 0,5 % à 5 %. L'entraînement séquentiel classique a obtenu 22,94 %. L'écart est modeste, mais il montre que conserver l'ancien flux de données peut aider l'étape d'adaptation suivante.

Où s'arrête la démonstration

La principale limite de ce travail est l'échelle. Toutes les expériences ont été menées sur des modèles de moins d'un milliard de paramètres. De plus, pour le modèle de 0,76B, la fusion n'a été utilisée que pendant le RL final, et non sur tout le parcours du pré-entraînement à l'assistant prêt à l'emploi. Il est donc prématuré d'affirmer que les pipelines distincts sont devenus inutiles.

Aucun calendrier de mélange universel n'a non plus été trouvé. Une proportion résout mieux les casse-têtes connus, une autre les nouvelles tâches, une troisième le code. Dans un produit réel s'ajouteront le coût de calcul, la qualité du filtrage des données, les latences d'un système asynchrone et des objectifs de sécurité contradictoires.

Que faire pour les équipes

Pour les développeurs de leurs propres modèles, Unified Training doit être vu comme une hypothèse d'ingénierie à vérifier. Inutile de réécrire immédiatement toute la pile. On peut commencer par une expérience ciblée : à l'étape SFT ou RL, conserver une petite part des données de l'étape précédente, puis comparer la qualité des nouvelles compétences et le degré d'oubli sur un jeu de tests fixe.

Les équipes produit peuvent retenir une autre idée : les frontières entre pré-entraînement, post-entraînement et RL relèvent peut-être de la commodité d'organisation plutôt que d'une propriété fondamentale de l'apprentissage. Si le résultat se reproduit sur de plus gros modèles, un flux asynchrone unique simplifiera le transfert des données entre les étapes et permettra de changer plus vite de priorités. Pour l'instant, la valeur de ce travail ne réside pas dans la promesse d'un « algorithme unique pour tout », mais dans le code, le modèle et le schéma d'expérience concret que l'on peut tester sur son propre jeu de tâches.