DAGFormer planifie les connexions entre couches et réduit la perplexité de 17–25 %

Des chercheurs ont présenté DAGFormer, un modèle de langage à base de transformeur dans lequel un prédicteur de topologie, entraîné avec le réseau principal, planifie les connexions supplémentaires entre couches. Sur des paires OLMo-2 de 75M à 1B paramètres, la perplexité sur WikiText-2 baisse de 17–25 % par rapport au transformeur vanille. La version de 1B paramètres, entraînée sur 5 Md de tokens, dépasse la version vanille entraînée sur 10 Md. Le travail est publié dans Hugging Face Daily Papers.

Comment fonctionne le routage

Dans un transformeur classique, les couches sont reliées par des connexions résiduelles : chaque bloc reçoit la sortie du précédent, plus un « skip ». DAGFormer y ajoute des connexions directes des premières couches vers les dernières, ce qui transforme le réseau en graphe orienté acyclique. La force de chaque connexion n'est pas fixe. Le prédicteur de topologie la détermine à partir des tokens d'entrée, si bien que le chemin à travers les couches peut varier d'un texte à l'autre.

La principale différence avec les architectures de cross-layer routing existantes tient à l'échelle de la planification. Les approches précédentes règlent les connexions de chaque couche séparément, sans vue d'ensemble. DAGFormer planifie le routage de tout le modèle en une seule passe, et c'est selon les auteurs la source du gain.

Ce que montrent les mesures

La comparaison porte sur des paires OLMo-2 appariées, avec les mêmes données et le même budget. Les chiffres clés de l'article :

• la perplexité sur WikiText-2 est inférieure de 17–25 % à celle du transformeur vanille (tailles de 75M à 1B) ;
• le DAGFormer de 1B entraîné sur 5B tokens fait mieux que le modèle vanille entraîné sur 10B tokens ;
• la perplexité la plus basse parmi quatre baselines de routage à 75M, 300M et 1B ;
• sur 13 tâches (sens commun, sciences, lecture, mathématiques), la précision moyenne est supérieure de 2,0–2,5 points à 300M et 1B ;
• après instruction finetuning, le taux de victoire sur AlpacaEval face au modèle vanille est de 63–70 %, soit plus que n'importe quelle baseline de routage ;
• lors de l'élagage structuré, DAGFormer se dégrade le moins dans cinq configurations sur six.

Le résultat le plus concret est sans doute l'efficacité en données : deux fois moins de tokens pour une qualité comparable, voire meilleure. L'élagage mérite aussi l'attention, car c'est précisément l'épreuve que rencontrent les équipes qui compressent des modèles pour la production. Le gain de précision sur les tâches downstream est plus modeste que celui de la perplexité : deux points en moyenne se remarquent, mais ne sont pas radicaux. AlpacaEval repose sur l'évaluation par un autre modèle faisant office de juge ; mieux vaut donc lire les 63–70 % comme un signal fort que comme un verdict définitif.

Ce qu'il faut vérifier avant de déployer

Trois points restent flous à la lecture de la description. Le premier est le coût du prédicteur lui-même : combien de paramètres, de mémoire et de latence d'inférence il ajoute. Le deuxième est l'échelle : les expériences s'arrêtent à 1B, et la transposition du résultat à 7B et au-delà reste une hypothèse. L'autre moitié de la question est de savoir si l'avantage sur les baselines se maintient avec des contextes longs et des mixtures d'experts. Le troisième est la possibilité d'intégrer une telle topologie à des checkpoints déjà entraînés, ou la nécessité de prévoir l'architecture dès le départ. Le texte ne le précise pas.

Pour les équipes qui entraînent de petits modèles de zéro avec un budget de tokens limité, ce travail offre une idée concrète à reproduire : remplacer les connexions fixes par des connexions planifiées et comparer sur leur propre jeu de données. Pour celles qui travaillent avec des poids ouverts prêts à l'emploi, il suffit pour l'instant de suivre la publication du code et les réplications indépendantes. Si le gain se maintient à 7B et au-delà, et que le surcoût reste faible, l'approche deviendra un candidat sérieux pour la boîte à outils architecturale standard.