Spectral-LSH : compresser les prompts jusqu'à 16× sans réentraînement pour accélérer l'inférence des LLM

Des chercheurs ont présenté Spectral-LSH, une méthode de compression des longs prompts pour les grands modèles de langage. Elle fonctionne sans réentraînement et réduit le texte d'entrée d'un facteur 8 à 16, tout en préservant la qualité là où les méthodes simples la perdent. Le preprint a été publié sur arXiv (numéro 2607.19368) en juillet 2026.

Pourquoi compresser les prompts

Traiter de longs prompts coûte cher : le coût de l'attention lors de la phase de prefill croît de manière quadratique, en O(N²) selon la longueur de la séquence. Spectral-LSH s'attaque au problème avant même que le prompt n'atteigne le modèle : la méthode repère les tokens proches par le sens et les fusionne en « macro-tokens », ce qui raccourcit l'entrée en amont des calculs.

Les faits clés du preprint :

• La méthode est training-free : elle ne demande aucun réentraînement du modèle
• Elle agit comme un préprocesseur, avant l'entrée dans le LLM
• Elle a été testée sur Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct et Qwen2.5-14B-Instruct
• Le jeu de données d'évaluation est C4
• Les taux de compression ρ ont été testés de 4× à 16×

Comment fonctionne la méthode

Spectral-LSH approxime les composantes principales de l'opérateur implicite du noyau d'attention grâce à la méthode des sous-espaces de Krylov, associée à des random features. Elle évite ainsi de construire explicitement la matrice d'attention de taille O(N²), l'étape la plus coûteuse en contexte long. Dans l'espace « spectral » de l'attention ainsi obtenu, la méthode applique ensuite SimHash : les tokens similaires sont hachés dans les mêmes buckets et agrégés en macro-tokens, avec préservation de l'ordre causal des positions, afin que le modèle ne perde pas la structure de la séquence.

Où se situe la transition de phase

Le résultat principal est une transition de phase selon le taux de compression, selon les auteurs. En dessous de ρ = 4×, la redondance locale des tokens est faible, et un chunking léger (simple découpage en blocs) offre le meilleur compromis entre vitesse et qualité. Au-delà de ρ = 8×, la voie spectrale commence à préserver une qualité que le chunking perd.

À ρ = 16×, l'écart est particulièrement net : d'après le preprint, Qwen2.5-7B en mode adaptatif fait passer sa perplexité (PPL) de 353,409 à 196,963, et Qwen2.5-14B de 9,533 à 3,427. Plus la perplexité est basse, moins la prédiction du modèle est déformée par la compression.

«

Nos expériences mettent en évidence une transition de phase selon le taux de compression », indique le résumé de l'étude sur arXiv.

Ce que montre le stress test

Sur un petit stress test en contexte long composé de données structurées (fragments de type JSON, code et tableaux), le LSH local a amélioré chacune des métriques par rapport au chunking à une compression de 8×. Le backend adaptatif combine les deux modes : chunking à faible compression, clustering spectral à forte compression. Le chunking reste toutefois le plus rapide en latence totale : la qualité obtenue aux taux de compression élevés se paie en temps.

Ce que cela signifie

Spectral-LSH montre qu'une compression agressive des prompts (8× et au-delà) est possible sans perte de qualité et sans réentraînement du modèle, à condition de regrouper les tokens selon le spectre de l'attention plutôt que de découper le texte en blocs. Pour l'inférence en contexte long, c'est une voie directe vers des coûts de calcul réduits.

Questions fréquentes

Qu'est-ce que Spectral-LSH ?

C'est une méthode training-free de compression des prompts d'entrée pour les modèles de langage : elle regroupe les tokens similaires par hachage SimHash dans l'espace spectral de l'attention et les fusionne en macro-tokens, ce qui réduit la longueur de l'entrée d'un facteur 4 à 16. Aucun réentraînement du modèle n'est nécessaire.

Sur quels modèles la méthode a-t-elle été testée ?

Les auteurs ont évalué Spectral-LSH sur Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct et Qwen2.5-14B-Instruct avec le jeu de données C4, ainsi que sur un stress test de données structurées de type JSON, code et tableaux.