Nous Research accélère de 2,5 fois le préentraînement des LLM sans toucher à l'architecture

Nous Research a développé Token Superposition Training (TST), une méthode innovante de préentraînement en deux phases qui réduit de 2,5 fois le temps d'entraînement des grands modèles de langage à coût de calcul identique, sans exiger la moindre modification de l'architecture, du tokenizer ni du comportement à l'inférence.

Comment fonctionne Token Superposition Training

La méthode repose sur une idée simple mais efficace : durant la première phase du préentraînement, les embeddings de tokens voisins sont moyennés en groupes, ou « sacs » (bags). Au lieu de prédire chaque token séparément, le modèle travaille sur des représentations agrégées des séquences. Il traite ainsi l'information par blocs plus larges et accélère nettement le calcul des gradients pendant la rétropropagation de l'erreur. En pratique, la première phase apprend au modèle à repérer des régularités à un niveau d'abstraction plus élevé.

La seconde phase est un peu plus courte. Le modèle passe à la prédiction standard du token suivant, comme le fait habituellement tout LLM. À ce stade, il s'adapte rapidement à la tâche finale et récupère les éventuelles pertes de qualité apparues pendant la première phase. La transition entre les phases est fluide et naturelle pour une architecture de réseau de neurones, sans artefacts étranges ni incompatibilités.

L'avantage clé de TST est de ne pas toucher à l'architecture interne du modèle. Le nombre de paramètres reste inchangé, tout comme l'outillage et l'écosystème environnants : même nombre de poids, même tokenizer, même optimiseur, qu'il s'agisse d'Adam, de SGD ou d'un autre. À l'inférence, le modèle est pleinement compatible avec les systèmes de déploiement existants. C'est crucial pour un usage industriel, où changer d'architecture peut obliger à réécrire beaucoup de code.

Sur quels modèles la technique a-t-elle été testée ?

Nous Research a testé TST sur des modèles de différentes tailles et architectures afin de vérifier l'universalité de l'approche :

• 270M de paramètres (mini-modèles pour des expériences rapides)
• 600M de paramètres (taille standard pour les projets de recherche)
• 3B de paramètres (architecture dense, dense models)
• 10B de paramètres avec une architecture MoE (Mixture of Experts)

À toutes ces échelles, la méthode a affiché une accélération constante de 2,5 fois à coût de calcul identique, mesuré en FLOP (floating point operations). Les résultats sont encourageants : ce n'est pas un tour de passe-passe de laboratoire qui ne fonctionnerait que sur une taille ou une architecture précises, mais une approche universelle qui passe bien à l'échelle. Elle peut donc être appliquée largement.

Pourquoi c'est important pour l'industrie

Le préentraînement des LLM est l'étape la plus gourmande en ressources et la plus coûteuse du développement des modèles. Entraîner un seul grand modèle exige des milliers d'heures de clusters de GPU, et les dépenses d'électricité et de matériel se chiffrent en millions de dollars. Une accélération de 2,5 fois n'est pas un simple gain de 5-10 %, mais une réduction sérieuse et réalisable des coûts totaux, qui pèse directement sur l'économie du développement.

Pour les startups et les petites équipes, cela ouvre la possibilité d'entraîner des modèles de qualité et compétitifs avec un budget de départ plus modeste. Pour les grands laboratoires comme Meta*, Mistral ou OpenAI, cela permet d'explorer bien plus de variantes d'architecture, d'hyperparamètres et de stratégies d'entraînement sur la même infrastructure. Cela élargit le champ de l'expérimentation, accélère le rythme de l'innovation et permet de tester plus vite des idées nouvelles.

Ce que cela signifie

Token Superposition Training montre que, même dans un domaine aussi étudié que le préentraînement, il existe des moyens simples mais puissants d'économiser du calcul. Cela peut inspirer d'autres chercheurs à chercher des optimisations similaires à différentes étapes de l'entraînement, de l'initialisation des poids aux learning rate schedules adaptatifs. Pour l'industrie, c'est un signal positif : la frontière entre recherche fondamentale et application industrielle devient de plus en plus floue, et les bonnes idées trouvent vite le chemin de la production.

*Meta est reconnue comme organisation extrémiste et interdite en Russie.