Compresser un prompt par 7 fait chuter la précision en raisonnement de 70% à 57%
On raccourcit souvent les prompts longs à l'œil, et c'est risqué. Dans l'étude LLMLingua, une compression par 7 sur des tâches de raisonnement (BBH) a fait passer la part de réponses correctes de 70% à 57%. En mathématiques (GSM8K), même une compression par 20 n'a coûté que 1,5 point. Si une consigne de livraison perd l'exception prévue pour l'express, la réponse du modèle paraîtra plausible, mais le prix sera faux. Chaque prompt raccourci doit donc être vérifié sur un jeu de test contenant des cas rares.
Traité par IA depuis Habr AI ; édité par Hamidun News
Les prompts grossissent presque toujours selon le même schéma : d'abord la tâche, puis le rôle, les contraintes, quelques exemples et encore un paragraphe « au cas où ». Au bout d'une demi-page, on hésite à supprimer quoi que ce soit : cette phrase-là tient peut-être toute la logique. Les études montrent qu'on peut effectivement réduire le texte de plusieurs fois, mais le résultat dépend de la tâche.
Quand LLMLingua a compressé un prompt par 7 sur le jeu BBH (tâches de raisonnement), la part de réponses identiques à la référence est passée de 70,07% à 56,85%, soit une baisse de 13,22 points de pourcentage. Sur le jeu mathématique GSM8K, même une compression par 20 n'a coûté que 1,52 point. Prenons une consigne de calcul de livraison : si la ligne sur l'exception pour l'express disparaît lors du raccourcissement, la réponse du modèle ressemblera à une bonne réponse, mais le prix sera faux.
Raccourcir un prompt ne se justifie donc qu'accompagné d'un test.
Ce que montrent les études
Dans Selective Context (EMNLP 2023), un modèle auxiliaire évalue à quel point chaque fragment de texte lui paraît inattendu, puis supprime les plus prévisibles. Avec un contexte réduit de 50%, la consommation de mémoire a baissé de 36% et le temps de traitement de la requête (l'inférence) de 32%. La métrique de proximité avec la référence BERTScore a reculé de 0,023, et le score de fidélité au texte d'origine (faithfulness) de 0,038. Un texte deux fois plus court est donc traité environ un tiers plus vite, pour une perte modeste sur ces métriques.
LLMLingua (EMNLP 2023) est plus agressif : un petit modèle choisit les parties du prompt à conserver et répartit le budget de tokens entre l'instruction, les exemples et la question. Le test a été mené sur GPT-3.5-Turbo-0301, et la qualité a été mesurée par la part de réponses exactement identiques à la référence (Exact Match).
Sur GSM8K, le prompt est passé de 2366 à 446 tokens (compression par 5), et le résultat a même légèrement progressé : de 78,85% à 79,08%. Avec une compression à 117 tokens (par 20), il est tombé à 77,33%. Sur BBH, la compression de 774 à 110 tokens (par 7) a fait s'effondrer le résultat de 70,07% à 56,85%.
La même technique se comporte donc très différemment selon les tâches.
Pour LLMLingua-2 (Findings of ACL 2024), le modèle a été entraîné à décider, pour chaque token, s'il faut le « garder ou le supprimer », en regardant le contexte des deux côtés. GPT-4 a préparé les données d'entraînement, et la validation s'est faite sur cinq benchmarks, dont MeetingBank et LongBench. Le compresseur lui-même est 3 à 6 fois plus rapide que les méthodes comparées, et le cycle complet, de la compression à la réponse, s'accélère de 1,6 à 2,9 fois pour un prompt réduit de 2 à 5 fois.
Quand la compression détruit le sens
Les mots conservés viennent du texte d'origine, mais si une négation ou une partie de la condition disparaît, la règle change. La version courte « Livraison gratuite à partir de 5000 roubles » perd la précision selon laquelle cela ne concerne que la livraison standard, alors que l'express coûte 790 roubles quel que soit le montant. Une seule bonne réponse ne révélera pas une telle perte : il faut une commande avec express. La longueur du texte et la précision d'exécution de la tâche doivent être vérifiées séparément.
L'auteur de l'analyse propose une méthode. On prend trois versions de la consigne : l'originale, une écriture compacte des mêmes conditions et une version dense, où les mots sont remplacés par des flèches et une expression ternaire. On les exécute sur GPT-4.
1 Mini via BotHub : 12 commandes, trois répétitions par version, soit 108 requêtes au total avec temperature=0, top_p=1 et max_tokens=512. L'ordre des requêtes est mélangé, et chacune part dans un nouveau chat sans historique. Une réponse n'est comptée que si le JSON est valide, que le statut correspond et que le prix est correct.
Les textes des prompts sont figés avant le lancement, pour ne pas les ajuster à des réponses connues. L'article ne contient pas de résultats finaux : il s'agit uniquement d'une méthode. Même 36 bonnes réponses sur 36 avec 12 cas ne prédisent pas le taux d'erreur futur, d'où la nécessité d'enrichir le jeu avec des commandes réelles.
Comment calculer honnêtement l'économie
Les tokens d'entrée et de sortie ne coûtent pas le même prix. Exemple : un prompt de 2000 tokens contre 1200, une réponse de 600 tokens, un token de sortie quatre fois plus cher qu'un token d'entrée. On obtient 4400 unités conventionnelles contre 3600. L'entrée a diminué de 40%, mais le prix de la requête de seulement 18% environ. Si l'instruction courte provoque une réponse plus longue ou une requête répétée, le gain est encore plus faible.
Il faut aussi intégrer le travail du compresseur : si le contexte est nouveau à chaque requête, la compression se paie à chaque fois. Il faut compter le temps de correction manuelle et de vérification du modèle de prompt, ainsi que le cache : un long préfixe issu du cache peut revenir moins cher qu'un court préfixe neuf. La métrique finale est le coût du résultat accepté : les dépenses de toutes les requêtes plus celles de la compression, divisées par le nombre de réponses ayant passé la vérification. Les tentatives ratées vont au numérateur.
En pratique, raccourcissez le prompt, mais avec un test : mêmes données, exceptions et champs manquants dans le jeu, un seul modèle, des paramètres fixes. Comparez par paires quatre issues : les deux versions réussissent, seule l'originale réussit, seule la courte réussit, les deux échouent. Une version qui a perdu la règle ne convient pas, quel que soit le nombre de tokens économisés.
- 12 oct. 2026RunPod passe en revue 4 méthodes de quantification : de FP16 à INT4, la mémoire est divisée par 4
- 8 nov. 2026Un trader combine RAG et RandomForest pour générer des signaux BUY/SELL : 62 % de précision sur 59 observations
- 12 nov. 2026Modal accélère de 35 % la génération de Sakana Namazu grâce à un modèle brouillon
- 11 oct. 2026DeepSeek-OCR compresse le contexte textuel par 10 avec une précision de 97 %
Questions clés sur cet article
Que sait-on sur Ce que montrent les études ?
Dans Selective Context (EMNLP 2023), un modèle auxiliaire évalue à quel point chaque fragment de texte lui paraît inattendu, puis supprime les plus prévisibles. Avec un contexte réduit de 50%, la consommation de mémoire a baissé de 36% et le temps de traitement de la requête (l'inférence) de 32%. La métrique de proximité avec la référence BERTScore a reculé de 0,023, et le score de fidélité au texte d'origine (faithfulness) de 0,038.
Quand la compression détruit le sens?
Les mots conservés viennent du texte d'origine, mais si une négation ou une partie de la condition disparaît, la règle change. La version courte « Livraison gratuite à partir de 5000 roubles » perd la précision selon laquelle cela ne concerne que la livraison standard, alors que l'express coûte 790 roubles quel que soit le montant. Une seule bonne réponse ne révélera pas une telle perte : il faut une commande avec express.
Comment calculer honnêtement l'économie?
Les tokens d'entrée et de sortie ne coûtent pas le même prix. Exemple : un prompt de 2000 tokens contre 1200, une réponse de 600 tokens, un token de sortie quatre fois plus cher qu'un token d'entrée. On obtient 4400 unités conventionnelles contre 3600. L'entrée a diminué de 40%, mais le prix de la requête de seulement 18% environ. Si l'instruction courte provoque une réponse plus longue ou une requête répétée, le gain est encore plus faible.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.