DeLS-Spec accélère l'inférence des LLM sans réentraîner les modèles

Des chercheurs ont proposé DeLS-Spec, une nouvelle approche pour accélérer la génération de texte par les modèles de langage. C'est la première méthode à obtenir une accélération significative sans qu'il soit nécessaire de réentraîner les modèles eux-mêmes, ce qui abaisse nettement la barrière à l'adoption de ce type d'optimisation.

Comment fonctionne le speculative decoding

Le speculative decoding est une technique qui accélère l'inférence des LLM en générant plusieurs tokens en parallèle plutôt qu'un seul à la fois. Un petit modèle, le drafter, prédit des tokens candidats, et le modèle principal en vérifie l'exactitude en une seule passe. Si la prédiction correspond, les tokens sont acceptés ; sinon, le processus recommence.

Des méthodes plus avancées, comme DFlash, génèrent un bloc entier de tokens en une seule passe, ce qui accélère encore le processus. Mais cela pose un problème : les tokens d'un même bloc sont généralement prédits de façon indépendante, sans tenir compte de leur dépendance causale.

Le problème des méthodes existantes

D'autres méthodes récentes, comme Domino et DSpark, ont tenté d'introduire la causalité dans le block-parallel drafting, c'est-à-dire de prendre en compte les dépendances entre les tokens d'un bloc. Mais cela imposait d'entraîner le drafter entièrement à partir de zéro, ce qui coûte cher et exige d'énormes ressources de calcul. Les organisations qui ne disposent ni de pétaoctets de données ni de clusters de GPU à grande échelle ne peuvent pas s'offrir un tel réentraînement.

Ce que DeLS-Spec apporte de nouveau

DeLS-Spec résout le problème en répartissant les rôles entre deux experts. La méthode utilise un modèle DFlash existant comme « expert du contexte long » et ajoute une tête locale légère comme « expert du contexte court ».

L'avantage clé : la tête locale peut être entraînée de façon totalement indépendante, sans entraînement conjoint avec le modèle principal ni avec le backbone DFlash. Cela réduit fortement les coûts de calcul. La tête locale est un petit réseau qui ne regarde que le contexte récent et apprend à prédire les tokens en tenant compte de la dépendance causale.

• La méthode a été appliquée à des modèles Qwen3
• L'entraînement demande un coût minimal : seul l'adaptateur léger est entraîné
• À l'inférence, les logits des deux experts sont combinés
• La tête locale ne dépend pas d'une version précise du checkpoint DFlash
• La vitesse comme la longueur des tokens acceptés s'améliorent sur les benchmarks

Résultats des tests

Sur les benchmarks Qwen3, DeLS-Spec a amélioré à la fois la vitesse d'exécution (speedup) et la longueur moyenne des tokens acceptés (average acceptance length) par rapport à DFlash. Cela vaut pour trois catégories de tâches : mathématiques, programmation et systèmes de dialogue.

Pourquoi c'est important : des séquences plus longues de tokens acceptés signifient que le drafter prédit plus précisément et que le système peut générer plus de texte par itération, ce qui joue directement sur le débit.

Pourquoi c'est important pour l'industrie

Accélérer l'inférence des LLM n'est pas qu'une question de vitesse, c'est aussi une question d'économie. Entraîner un petit adaptateur coûte moins cher que réentraîner tout le drafter ou le modèle principal. Les méthodes d'optimisation deviennent ainsi plus accessibles aux organisations qui n'ont pas les moyens d'un réentraînement à grande échelle.

À mesure que les LLM gagnent en complexité et en appétit énergétique, les améliorations incrémentales de l'efficacité d'inférence s'additionnent et se traduisent par des gains significatifs de vitesse et de coût. DeLS-Spec illustre une tendance importante : les meilleurs résultats ne viennent souvent pas du réentraînement de grands modèles, mais de la combinaison élégante de composants existants.

Ce que cela signifie

Cette approche ouvre la voie à une optimisation des LLM plus accessible dans les organisations de toutes tailles, et permet même aux petites équipes d'obtenir des accélérations sans budgets de calcul colossaux.