ECHO : des prédictions multi-étapes sans modules annexes, deux fois moins chères que MTP

ECHO : la prédiction multi-étapes sans modules auxiliaires

Des chercheurs de Baidu (ernie-research) ont proposé ECHO, une méthode qui intègre la prédiction multi-étapes directement dans le squelette du modèle de langage, supprimant le besoin de modules auxiliaires distincts. L'approche coûte deux fois moins cher que le paradigme standard de prédiction multi-étapes (MTP) et affiche un gain notable sur les tâches de raisonnement et la génération de code.

Les approches traditionnelles de prédiction multi-étapes fonctionnent comme une extension du modèle principal : chaque horizon de prédiction nécessite un module séparé, chacun exigeant un passage distinct dans le réseau, et l'entraînement de chacun constitue une tâche à part. ECHO change cela radicalement : au lieu de modules auxiliaires, la couche finale du réseau principal prédit directement tous les horizons.

Les trois composants d'ECHO

La méthode repose sur trois idées clés :

Une couche finale pour tous les horizons. Plutôt que de greffer des modules pour prédire les tokens à +1, +2, +3 pas en avant, ECHO transfère toute cette logique vers la couche finale du réseau principal. La fonction objectif agit directement sur les paramètres qui génèrent le prochain token. Résultat : les gains augmentent avec l'ajout d'horizons, là où les modules auxiliaires saturent depuis longtemps.

Échantillonnage dynamique de profondeur (DDS). La probabilité d'entraîner sur l'horizon +1 est plus élevée que sur +2, qui est elle-même plus élevée que sur +3. Cela rend la prédiction profonde abordable en coût, tout en préservant ses gains.

Extrapolation au-delà de l'horizon entraîné. Le modèle se révèle capable de prédire plus loin que ce sur quoi il a été entraîné. En inférence, cela lui permet de devenir son propre brouillon pour le décodage spéculatif.

Résultats sur quatre catégories de tâches

Le plus gros gain d'ECHO se manifeste sur les catégories primaires : • Raisonnement — déductions logiques et analyse multi-étapes • Génération de code — écriture de code et d'algorithmes

Sur les catégories secondaires, l'effet est perceptible mais plus modeste : • Questions-réponses (QA) — compréhension et recherche de réponses • Choix multiples — sélection parmi des options proposées

Après le finetuning supervisé, les gains se propagent aux quatre catégories. La méthode démontre sa robustesse : l'avantage se maintient avec un budget de tokens doublé et lors d'un nouveau cycle de pré-entraînement.

Déploiement en production

ECHO est déployé en production chez Baidu sur des modèles à partir de 200 milliards de paramètres. En inférence, le modèle génère lui-même ses brouillons, conservant des taux d'acceptation élevés même en prédisant au-delà de la profondeur d'entraînement. Cela élimine totalement le besoin de brouillons auxiliaires — le réseau est immédiatement prêt pour un décodage spéculatif accéléré, sans ajustements a posteriori.