Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
Безопасность и правоРазбор · На радарHabr AI→ оригинал

Сжатие промпта в 7 раз уронило точность на рассуждениях с 70% до 57%

Длинные промпты часто сокращают на глаз, и это рискованно: в исследовании LLMLingua сжатие в 7 раз на задачах на рассуждение (BBH) снизило долю верных ответов с 70% до 57%, а на математике (GSM8K) даже 20-кратное сжатие стоило лишь 1,5 пункта. Если из инструкции по доставке выпадет исключение для экспресса, ответ будет выглядеть правдоподобно, но цена окажется неверной. Поэтому каждый сокращённый промпт надо проверять на наборе с редкими случаями.

AI-обработка оригинала Habr AI; редакция Hamidun News
Сжатие промпта в 7 раз уронило точность на рассуждениях с 70% до 57%
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Selective Contextконтекст −50% дал −32% времени и −36% памяти
LLMLingua-2цикл от сжатия до ответа быстрее в 1,6–2,9 раза
Ключевой факт #3Вход −40% токенов снижает цену запроса лишь примерно на 18%

Промпты обычно растут по одной схеме: сначала задача, потом роль, ограничения, пара примеров и ещё абзац «на всякий случай». Через полстраницы страшно что-то вычеркнуть: вдруг именно эта фраза держит всю логику. Исследования показывают, что текст действительно можно сократить в разы, но результат зависит от задачи. Когда LLMLingua сжал промпт в 7 раз на наборе BBH (задачи на рассуждение), доля ответов, совпавших с эталоном, упала с 70,07% до 56,85%, то есть на 13,22 процентного пункта. На математическом наборе GSM8K даже 20-кратное сжатие стоило всего 1,52 пункта. Представьте инструкцию для расчёта доставки: если при сокращении потеряется строка про исключение для экспресса, ответ модели останется похожим на правильный, но цена будет неверной. Поэтому сокращать промпт стоит только вместе с тестом.

Что показали исследования

В Selective Context (EMNLP 2023) вспомогательная модель оценивает, насколько неожиданным для неё выглядит каждый фрагмент текста, и удаляет самые предсказуемые. При сокращении контекста на 50% расход памяти снизился на 36%, время обработки запроса (инференса) — на 32%. Метрика близости к эталону BERTScore просела на 0,023, а оценка верности исходному тексту (faithfulness) — на 0,038. Вдвое более короткий текст обрабатывается примерно на треть быстрее при небольшой потере по этим метрикам.

LLMLingua (EMNLP 2023) действует агрессивнее: небольшая модель выбирает, какие части промпта оставить, и распределяет бюджет токенов между инструкцией, примерами и вопросом. Тест шёл на GPT-3.5-Turbo-0301, качество измеряли долей ответов, точно совпавших с эталоном (Exact Match). На GSM8K промпт сжали с 2366 до 446 токенов (в 5 раз), и результат даже слегка вырос: с 78,85% до 79,08%. При сжатии до 117 токенов (в 20 раз) он упал до 77,33%. На BBH сжатие с 774 до 110 токенов (в 7 раз) обрушило результат с 70,07% до 56,85%. Одна и та же техника на разных задачах ведёт себя по-разному.

LLMLingua-2 (Findings of ACL 2024) обучили для каждого токена решать «оставить или удалить», причём модель смотрит на контекст с обеих сторон. Обучающие данные подготовил GPT-4, проверка шла на пяти бенчмарках, включая MeetingBank и LongBench. Сам компрессор работает в 3–6 раз быстрее сравниваемых методов, а весь цикл от сжатия до ответа ускоряется в 1,6–2,9 раза при сокращении промпта в 2–5 раз.

Где сжатие ломает смысл

Оставленные слова берутся из исходника, но если пропало отрицание или часть условия, правило меняется. Короткий вариант «Доставка бесплатна от 5000 рублей» теряет уточнение, что это касается только обычной доставки, а экспресс стоит 790 рублей при любой сумме. Один правильный ответ такую потерю не покажет: нужен заказ с экспрессом. Длину текста и точность выполнения задачи надо проверять отдельно.

Автор разбора предлагает методику. Берут три версии инструкции: исходную, компактную запись тех же условий и плотную, где слова заменены стрелками и тернарным выражением. Их гоняют на GPT-4.1 Mini через BotHub: 12 заказов, по три повтора для каждой версии, всего 108 запросов при temperature=0, top_p=1 и max_tokens=512. Порядок запросов перемешан, каждый идёт в новом чате без истории. Ответ засчитывается, только если JSON валиден, статус совпадает, а цена верна. Тексты промптов фиксируют до запуска, чтобы не подгонять их под знакомые ответы. Итоговых результатов в материале нет, это именно методика. Даже 36 верных ответов из 36 на 12 случаях не покажет будущую частоту ошибок, поэтому набор надо расширять реальными заказами.

Как честно посчитать экономию

Входные и выходные токены стоят по-разному. Пример: промпт в 2000 токенов против 1200, ответ по 600 токенов, выходной токен в четыре раза дороже входного. Выходит 4400 условных единиц против 3600. Вход сократился на 40%, а цена запроса — лишь примерно на 18%. Если короткая инструкция вызовет более длинный ответ или повторный запрос, выигрыш ещё меньше.

В расчёт стоит добавить работу компрессора: если контекст новый для каждого запроса, сжатие оплачивается каждый раз. Нужно учесть время на ручную правку и проверку шаблона, а также кэш: длинный префикс из кэша может обойтись дешевле свежего короткого. Итоговая метрика — стоимость принятого результата: расходы на все запросы плюс расходы на сжатие, делённые на число ответов, прошедших проверку. Неудачные попытки идут в числитель.

На практике сокращайте промпт, но с тестом: одни и те же данные, исключения и пропущенные поля в наборе, одна модель, фиксированные настройки. Сравнивайте четыре исхода по парам: справились обе версии, только исходная, только короткая, ошиблись обе. Версия, потерявшая правило, не годится, сколько бы токенов она ни сэкономила.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что показали исследования?

В Selective Context (EMNLP 2023) вспомогательная модель оценивает, насколько неожиданным для неё выглядит каждый фрагмент текста, и удаляет самые предсказуемые. При сокращении контекста на 50% расход памяти снизился на 36%, время обработки запроса (инференса) — на 32%. Метрика близости к эталону BERTScore просела на 0,023, а оценка верности исходному тексту (faithfulness) — на 0,038. Вдвое более короткий текст обрабатывается примерно на треть быстрее при небольшой потере по этим метрикам.

Что известно по теме: где сжатие ломает смысл?

Оставленные слова берутся из исходника, но если пропало отрицание или часть условия, правило меняется. Короткий вариант «Доставка бесплатна от 5000 рублей» теряет уточнение, что это касается только обычной доставки, а экспресс стоит 790 рублей при любой сумме. Один правильный ответ такую потерю не покажет: нужен заказ с экспрессом. Длину текста и точность выполнения задачи надо проверять отдельно. Автор разбора предлагает методику.

Что известно по теме: как честно посчитать экономию?

Входные и выходные токены стоят по-разному. Пример: промпт в 2000 токенов против 1200, ответ по 600 токенов, выходной токен в четыре раза дороже входного. Выходит 4400 условных единиц против 3600. Вход сократился на 40%, а цена запроса — лишь примерно на 18%. Если короткая инструкция вызовет более длинный ответ или повторный запрос, выигрыш ещё меньше. В расчёт стоит добавить работу компрессора: если контекст новый для каждого запроса, сжатие оплачивается каждый раз.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…