Сжатие промпта в 7 раз уронило точность на рассуждениях с 70% до 57%
Длинные промпты часто сокращают на глаз, и это рискованно: в исследовании LLMLingua сжатие в 7 раз на задачах на рассуждение (BBH) снизило долю верных ответов с 70% до 57%, а на математике (GSM8K) даже 20-кратное сжатие стоило лишь 1,5 пункта. Если из инструкции по доставке выпадет исключение для экспресса, ответ будет выглядеть правдоподобно, но цена окажется неверной. Поэтому каждый сокращённый промпт надо проверять на наборе с редкими случаями.
AI-обработка оригинала Habr AI; редакция Hamidun News
Промпты обычно растут по одной схеме: сначала задача, потом роль, ограничения, пара примеров и ещё абзац «на всякий случай». Через полстраницы страшно что-то вычеркнуть: вдруг именно эта фраза держит всю логику. Исследования показывают, что текст действительно можно сократить в разы, но результат зависит от задачи. Когда LLMLingua сжал промпт в 7 раз на наборе BBH (задачи на рассуждение), доля ответов, совпавших с эталоном, упала с 70,07% до 56,85%, то есть на 13,22 процентного пункта. На математическом наборе GSM8K даже 20-кратное сжатие стоило всего 1,52 пункта. Представьте инструкцию для расчёта доставки: если при сокращении потеряется строка про исключение для экспресса, ответ модели останется похожим на правильный, но цена будет неверной. Поэтому сокращать промпт стоит только вместе с тестом.
Что показали исследования
В Selective Context (EMNLP 2023) вспомогательная модель оценивает, насколько неожиданным для неё выглядит каждый фрагмент текста, и удаляет самые предсказуемые. При сокращении контекста на 50% расход памяти снизился на 36%, время обработки запроса (инференса) — на 32%. Метрика близости к эталону BERTScore просела на 0,023, а оценка верности исходному тексту (faithfulness) — на 0,038. Вдвое более короткий текст обрабатывается примерно на треть быстрее при небольшой потере по этим метрикам.
LLMLingua (EMNLP 2023) действует агрессивнее: небольшая модель выбирает, какие части промпта оставить, и распределяет бюджет токенов между инструкцией, примерами и вопросом. Тест шёл на GPT-3.5-Turbo-0301, качество измеряли долей ответов, точно совпавших с эталоном (Exact Match). На GSM8K промпт сжали с 2366 до 446 токенов (в 5 раз), и результат даже слегка вырос: с 78,85% до 79,08%. При сжатии до 117 токенов (в 20 раз) он упал до 77,33%. На BBH сжатие с 774 до 110 токенов (в 7 раз) обрушило результат с 70,07% до 56,85%. Одна и та же техника на разных задачах ведёт себя по-разному.
LLMLingua-2 (Findings of ACL 2024) обучили для каждого токена решать «оставить или удалить», причём модель смотрит на контекст с обеих сторон. Обучающие данные подготовил GPT-4, проверка шла на пяти бенчмарках, включая MeetingBank и LongBench. Сам компрессор работает в 3–6 раз быстрее сравниваемых методов, а весь цикл от сжатия до ответа ускоряется в 1,6–2,9 раза при сокращении промпта в 2–5 раз.
Где сжатие ломает смысл
Оставленные слова берутся из исходника, но если пропало отрицание или часть условия, правило меняется. Короткий вариант «Доставка бесплатна от 5000 рублей» теряет уточнение, что это касается только обычной доставки, а экспресс стоит 790 рублей при любой сумме. Один правильный ответ такую потерю не покажет: нужен заказ с экспрессом. Длину текста и точность выполнения задачи надо проверять отдельно.
Автор разбора предлагает методику. Берут три версии инструкции: исходную, компактную запись тех же условий и плотную, где слова заменены стрелками и тернарным выражением. Их гоняют на GPT-4.1 Mini через BotHub: 12 заказов, по три повтора для каждой версии, всего 108 запросов при temperature=0, top_p=1 и max_tokens=512. Порядок запросов перемешан, каждый идёт в новом чате без истории. Ответ засчитывается, только если JSON валиден, статус совпадает, а цена верна. Тексты промптов фиксируют до запуска, чтобы не подгонять их под знакомые ответы. Итоговых результатов в материале нет, это именно методика. Даже 36 верных ответов из 36 на 12 случаях не покажет будущую частоту ошибок, поэтому набор надо расширять реальными заказами.
Как честно посчитать экономию
Входные и выходные токены стоят по-разному. Пример: промпт в 2000 токенов против 1200, ответ по 600 токенов, выходной токен в четыре раза дороже входного. Выходит 4400 условных единиц против 3600. Вход сократился на 40%, а цена запроса — лишь примерно на 18%. Если короткая инструкция вызовет более длинный ответ или повторный запрос, выигрыш ещё меньше.
В расчёт стоит добавить работу компрессора: если контекст новый для каждого запроса, сжатие оплачивается каждый раз. Нужно учесть время на ручную правку и проверку шаблона, а также кэш: длинный префикс из кэша может обойтись дешевле свежего короткого. Итоговая метрика — стоимость принятого результата: расходы на все запросы плюс расходы на сжатие, делённые на число ответов, прошедших проверку. Неудачные попытки идут в числитель.
На практике сокращайте промпт, но с тестом: одни и те же данные, исключения и пропущенные поля в наборе, одна модель, фиксированные настройки. Сравнивайте четыре исхода по парам: справились обе версии, только исходная, только короткая, ошиблись обе. Версия, потерявшая правило, не годится, сколько бы токенов она ни сэкономила.
- 12 окт. 2026 г.RunPod разобрал 4 метода квантизации: от FP16 до INT4 память падает в 4 раза
- 8 нояб. 2026 г.Трейдер собрал RAG и RandomForest в сигналы BUY/SELL: 62% точности на 59 записях
- 12 нояб. 2026 г.Modal ускорила генерацию Sakana Namazu на 35% с помощью модели-черновика
- 11 окт. 2026 г.DeepSeek-OCR сжимает текстовый контекст в 10 раз при точности 97%
Вопросы и ответы по материалу
Что известно по теме: что показали исследования?
В Selective Context (EMNLP 2023) вспомогательная модель оценивает, насколько неожиданным для неё выглядит каждый фрагмент текста, и удаляет самые предсказуемые. При сокращении контекста на 50% расход памяти снизился на 36%, время обработки запроса (инференса) — на 32%. Метрика близости к эталону BERTScore просела на 0,023, а оценка верности исходному тексту (faithfulness) — на 0,038. Вдвое более короткий текст обрабатывается примерно на треть быстрее при небольшой потере по этим метрикам.
Что известно по теме: где сжатие ломает смысл?
Оставленные слова берутся из исходника, но если пропало отрицание или часть условия, правило меняется. Короткий вариант «Доставка бесплатна от 5000 рублей» теряет уточнение, что это касается только обычной доставки, а экспресс стоит 790 рублей при любой сумме. Один правильный ответ такую потерю не покажет: нужен заказ с экспрессом. Длину текста и точность выполнения задачи надо проверять отдельно. Автор разбора предлагает методику.
Что известно по теме: как честно посчитать экономию?
Входные и выходные токены стоят по-разному. Пример: промпт в 2000 токенов против 1200, ответ по 600 токенов, выходной токен в четыре раза дороже входного. Выходит 4400 условных единиц против 3600. Вход сократился на 40%, а цена запроса — лишь примерно на 18%. Если короткая инструкция вызовет более длинный ответ или повторный запрос, выигрыш ещё меньше. В расчёт стоит добавить работу компрессора: если контекст новый для каждого запроса, сжатие оплачивается каждый раз.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.