Huginn surpasse Ouro sur les 10 benchmarks : anatomie du design des LLM récurrents

Architecture des modèles récurrents : trois axes de conception

Les modèles de langage récurrents réutilisent physiquement les blocs du Transformer pour gagner en profondeur logique, ce qui permet d'économiser des ressources de calcul. Mais les architectures existantes mélangent trois axes de conception critiques : le placement des blocs récurrents, la méthode d'injection des signaux d'entrée et l'organisation de l'état récurrent. Les chercheurs de l'Institute of Foundation Models ont mené une comparaison contrôlée de ces axes sur des modèles entraînés depuis zéro, à échelle de paramètres, profondeur logique et budget de tokens identiques.

Les auteurs de l'étude sont Benhao Huang, Chufan Shi, Junlin Chen, Shicheng Wen, Zhengzhong Liu, Eric Xing et Xuezhe Ma. L'étude montre que l'architecture en sandwich prelude-recurrent block-coda (introduction → blocs cycliques → conclusion) surpasse systématiquement les autres configurations de placement de la récurrence. Cette approche améliore nettement les performances sur les tâches d'extraction contextuelle et celles exigeant un raisonnement logique complexe.

Injection de l'entrée et état récurrent : ce qui fonctionne et ce qui

ne fonctionne pas

L'injection de l'entrée (répétée à chaque étape du cycle) améliore avant tout l'extraction des connaissances et l'utilisation efficace du contexte. En revanche, l'initialisation aléatoire de l'état caché et le schéma d'états récurrents séparés pour les paramètres H et L donnent des résultats mitigés, voire clairement négatifs, sans justifier la complexité supplémentaire qu'ils introduisent.

Huginn contre

Ouro : comparaison complète sur tous les benchmarks

À l'échelle de base (730M de paramètres, 336B tokens d'entraînement), l'architecture complète de Huginn surpasse Ouro sur les dix benchmarks testés. Ces avantages se maintiennent lors du passage à des modèles Mixture-of-Experts (MoE). À l'échelle de 8B0,8B paramètres (32B3B une fois déployés), entraînés sur 500B tokens, les modèles Huginn se montrent supérieurs à Ouro sur presque tous les benchmarks couvrant les connaissances, le raisonnement et le code.

Résultats détaillés sur les benchmarks nommés :

• DROP (extraction d'information dans un texte) : Huginn l'emporte • GSM8K (raisonnement mathématique sous forme de problèmes textuels) : Huginn l'emporte • MATH500 (problèmes mathématiques complexes) : Huginn fait jeu égal avec le modèle MoE de référence

Le routage des experts dans Huginn est plus équilibré, ce qui réduit le problème de spécialisation et d'effondrement des experts — lorsque la majorité des exemples est routée vers un seul expert.

Efficacité paramétrique et applications pratiques

À FLOPs équivalents pour l'entraînement et l'inférence, l'architecture Huginn utilise 75% de paramètres résidents en moins par rapport au modèle MoE feedforward de référence à 112 couches. Malgré ce volume de paramètres physiques réduit, le modèle surpasse la référence sur DROP et GSM8K, fait jeu égal sur MATH500, et reste compétitif sur les sept autres benchmarks. Cela fait de Huginn une architecture prometteuse pour des grands modèles de langage efficaces en paramètres, en particulier sous contraintes de mémoire ou d'exigences d'inférence rapide. L'étude est entièrement ouverte dans le dépôt GitHub xllm-loop, permettant à la communauté de reproduire les résultats et de développer à partir de ces principes de conception.