Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Compresser un prompt par 7 fait chuter la précision en raisonnement de 70% à 57%

On raccourcit souvent les prompts longs à l'œil, et c'est risqué. Dans l'étude LLMLingua, une compression par 7 sur des tâches de raisonnement (BBH) a fait passer la part de réponses correctes de 70% à 57%. En mathématiques (GSM8K), même une compression par 20 n'a coûté que 1,5 point. Si une consigne de livraison perd l'exception prévue pour l'express, la réponse du modèle paraîtra plausible, mais le prix sera faux. Chaque prompt raccourci doit donc être vérifié sur un jeu de test contenant des cas rares.

Traité par IA depuis Habr AI ; édité par Hamidun News
Compresser un prompt par 7 fait chuter la précision en raisonnement de 70% à 57%
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Selective Contextcontexte −50 %, soit −32% de temps et −36% de mémoire
LLMLingua-2le cycle complet, de la compression à la réponse, est 1,6 à 2,9 fois plus rapide
Chiffre clé #3Une réduction de 40% des tokens en entrée n'abaisse le prix d'une requête que d'environ 18%

Les prompts grossissent presque toujours selon le même schéma : d'abord la tâche, puis le rôle, les contraintes, quelques exemples et encore un paragraphe « au cas où ». Au bout d'une demi-page, on hésite à supprimer quoi que ce soit : cette phrase-là tient peut-être toute la logique. Les études montrent qu'on peut effectivement réduire le texte de plusieurs fois, mais le résultat dépend de la tâche.

Quand LLMLingua a compressé un prompt par 7 sur le jeu BBH (tâches de raisonnement), la part de réponses identiques à la référence est passée de 70,07% à 56,85%, soit une baisse de 13,22 points de pourcentage. Sur le jeu mathématique GSM8K, même une compression par 20 n'a coûté que 1,52 point. Prenons une consigne de calcul de livraison : si la ligne sur l'exception pour l'express disparaît lors du raccourcissement, la réponse du modèle ressemblera à une bonne réponse, mais le prix sera faux.

Raccourcir un prompt ne se justifie donc qu'accompagné d'un test.

Ce que montrent les études

Dans Selective Context (EMNLP 2023), un modèle auxiliaire évalue à quel point chaque fragment de texte lui paraît inattendu, puis supprime les plus prévisibles. Avec un contexte réduit de 50%, la consommation de mémoire a baissé de 36% et le temps de traitement de la requête (l'inférence) de 32%. La métrique de proximité avec la référence BERTScore a reculé de 0,023, et le score de fidélité au texte d'origine (faithfulness) de 0,038. Un texte deux fois plus court est donc traité environ un tiers plus vite, pour une perte modeste sur ces métriques.

LLMLingua (EMNLP 2023) est plus agressif : un petit modèle choisit les parties du prompt à conserver et répartit le budget de tokens entre l'instruction, les exemples et la question. Le test a été mené sur GPT-3.5-Turbo-0301, et la qualité a été mesurée par la part de réponses exactement identiques à la référence (Exact Match).

Sur GSM8K, le prompt est passé de 2366 à 446 tokens (compression par 5), et le résultat a même légèrement progressé : de 78,85% à 79,08%. Avec une compression à 117 tokens (par 20), il est tombé à 77,33%. Sur BBH, la compression de 774 à 110 tokens (par 7) a fait s'effondrer le résultat de 70,07% à 56,85%.

La même technique se comporte donc très différemment selon les tâches.

Pour LLMLingua-2 (Findings of ACL 2024), le modèle a été entraîné à décider, pour chaque token, s'il faut le « garder ou le supprimer », en regardant le contexte des deux côtés. GPT-4 a préparé les données d'entraînement, et la validation s'est faite sur cinq benchmarks, dont MeetingBank et LongBench. Le compresseur lui-même est 3 à 6 fois plus rapide que les méthodes comparées, et le cycle complet, de la compression à la réponse, s'accélère de 1,6 à 2,9 fois pour un prompt réduit de 2 à 5 fois.

Quand la compression détruit le sens

Les mots conservés viennent du texte d'origine, mais si une négation ou une partie de la condition disparaît, la règle change. La version courte « Livraison gratuite à partir de 5000 roubles » perd la précision selon laquelle cela ne concerne que la livraison standard, alors que l'express coûte 790 roubles quel que soit le montant. Une seule bonne réponse ne révélera pas une telle perte : il faut une commande avec express. La longueur du texte et la précision d'exécution de la tâche doivent être vérifiées séparément.

L'auteur de l'analyse propose une méthode. On prend trois versions de la consigne : l'originale, une écriture compacte des mêmes conditions et une version dense, où les mots sont remplacés par des flèches et une expression ternaire. On les exécute sur GPT-4.

1 Mini via BotHub : 12 commandes, trois répétitions par version, soit 108 requêtes au total avec temperature=0, top_p=1 et max_tokens=512. L'ordre des requêtes est mélangé, et chacune part dans un nouveau chat sans historique. Une réponse n'est comptée que si le JSON est valide, que le statut correspond et que le prix est correct.

Les textes des prompts sont figés avant le lancement, pour ne pas les ajuster à des réponses connues. L'article ne contient pas de résultats finaux : il s'agit uniquement d'une méthode. Même 36 bonnes réponses sur 36 avec 12 cas ne prédisent pas le taux d'erreur futur, d'où la nécessité d'enrichir le jeu avec des commandes réelles.

Comment calculer honnêtement l'économie

Les tokens d'entrée et de sortie ne coûtent pas le même prix. Exemple : un prompt de 2000 tokens contre 1200, une réponse de 600 tokens, un token de sortie quatre fois plus cher qu'un token d'entrée. On obtient 4400 unités conventionnelles contre 3600. L'entrée a diminué de 40%, mais le prix de la requête de seulement 18% environ. Si l'instruction courte provoque une réponse plus longue ou une requête répétée, le gain est encore plus faible.

Il faut aussi intégrer le travail du compresseur : si le contexte est nouveau à chaque requête, la compression se paie à chaque fois. Il faut compter le temps de correction manuelle et de vérification du modèle de prompt, ainsi que le cache : un long préfixe issu du cache peut revenir moins cher qu'un court préfixe neuf. La métrique finale est le coût du résultat accepté : les dépenses de toutes les requêtes plus celles de la compression, divisées par le nombre de réponses ayant passé la vérification. Les tentatives ratées vont au numérateur.

En pratique, raccourcissez le prompt, mais avec un test : mêmes données, exceptions et champs manquants dans le jeu, un seul modèle, des paramètres fixes. Comparez par paires quatre issues : les deux versions réussissent, seule l'originale réussit, seule la courte réussit, les deux échouent. Une version qui a perdu la règle ne convient pas, quel que soit le nombre de tokens économisés.

Dossier

Questions clés sur cet article

Que sait-on sur Ce que montrent les études ?

Dans Selective Context (EMNLP 2023), un modèle auxiliaire évalue à quel point chaque fragment de texte lui paraît inattendu, puis supprime les plus prévisibles. Avec un contexte réduit de 50%, la consommation de mémoire a baissé de 36% et le temps de traitement de la requête (l'inférence) de 32%. La métrique de proximité avec la référence BERTScore a reculé de 0,023, et le score de fidélité au texte d'origine (faithfulness) de 0,038.

Quand la compression détruit le sens?

Les mots conservés viennent du texte d'origine, mais si une négation ou une partie de la condition disparaît, la règle change. La version courte « Livraison gratuite à partir de 5000 roubles » perd la précision selon laquelle cela ne concerne que la livraison standard, alors que l'express coûte 790 roubles quel que soit le montant. Une seule bonne réponse ne révélera pas une telle perte : il faut une commande avec express.

Comment calculer honnêtement l'économie?

Les tokens d'entrée et de sortie ne coûtent pas le même prix. Exemple : un prompt de 2000 tokens contre 1200, une réponse de 600 tokens, un token de sortie quatre fois plus cher qu'un token d'entrée. On obtient 4400 unités conventionnelles contre 3600. L'entrée a diminué de 40%, mais le prix de la requête de seulement 18% environ. Si l'instruction courte provoque une réponse plus longue ou une requête répétée, le gain est encore plus faible.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…