Compressão de prompt em 7 vezes derrubou a precisão em raciocínio de 70% para 57%
Prompts longos costumam ser encurtados no olhômetro, e isso é arriscado. No estudo do LLMLingua, a compressão de 7 vezes em tarefas de raciocínio (BBH) reduziu a taxa de respostas corretas de 70% para 57%. Já na matemática (GSM8K), até a compressão de 20 vezes custou apenas 1,5 ponto. Se a instrução de entrega perder a exceção para o expresso, a resposta vai parecer plausível, mas o preço virá errado. Por isso, todo prompt reduzido precisa ser testado em um conjunto que inclua casos raros.
Processado por IA de Habr AI; editado por Hamidun News
Prompts costumam crescer sempre do mesmo jeito: primeiro a tarefa, depois o papel, as restrições, um par de exemplos e mais um parágrafo "só por garantia". Meia página depois, dá medo de cortar qualquer coisa: e se justamente aquela frase sustentar toda a lógica? As pesquisas mostram que o texto realmente pode ser encurtado várias vezes, mas o resultado depende da tarefa.
Quando o LLMLingua comprimiu o prompt em 7 vezes no conjunto BBH (tarefas de raciocínio), a taxa de respostas que coincidiam com o gabarito caiu de 70,07% para 56,85%, ou seja, 13,22 pontos percentuais. No conjunto de matemática GSM8K, até a compressão de 20 vezes custou só 1,52 ponto. Imagine uma instrução para calcular frete: se a linha sobre a exceção para entrega expressa se perder no corte, a resposta do modelo continuará parecendo correta, mas o preço virá errado.
Por isso, só vale encurtar um prompt junto com um teste.
O que as pesquisas mostraram
No Selective Context (EMNLP 2023), um modelo auxiliar avalia o quanto cada trecho do texto é surpreendente para ele e remove os mais previsíveis. Com o contexto reduzido em 50%, o uso de memória caiu 36%, e o tempo de processamento da requisição (inferência), 32%. A métrica de proximidade com o gabarito, BERTScore, recuou 0,023, e a avaliação de fidelidade ao texto original (faithfulness), 0,038. Ou seja, um texto com metade do tamanho é processado cerca de um terço mais rápido, com perda pequena nessas métricas.
O LLMLingua (EMNLP 2023) é mais agressivo: um modelo pequeno escolhe quais partes do prompt manter e distribui o orçamento de tokens entre instrução, exemplos e pergunta. O teste usou o GPT-3.5-Turbo-0301, e a qualidade foi medida pela taxa de respostas idênticas ao gabarito (Exact Match). No GSM8K, o prompt foi comprimido de 2366 para 446 tokens (5 vezes), e o resultado até subiu levemente: de 78,85% para 79,08%. Com compressão para 117 tokens (20 vezes), caiu para 77,33%. No BBH, a compressão de 774 para 110 tokens (7 vezes) derrubou o resultado de 70,07% para 56,85%. A mesma técnica se comporta de forma diferente conforme a tarefa.
O LLMLingua-2 (Findings of ACL 2024) foi treinado para decidir, token a token, entre "manter" ou "remover", e o modelo olha o contexto dos dois lados. Os dados de treinamento foram preparados pelo GPT-4, e a avaliação usou cinco benchmarks, entre eles MeetingBank e LongBench. O compressor em si roda de 3 a 6 vezes mais rápido que os métodos de comparação, e o ciclo completo, da compressão até a resposta, fica de 1,6 a 2,9 vezes mais rápido com o prompt reduzido de 2 a 5 vezes.
Onde a compressão quebra o sentido
As palavras mantidas vêm do texto original, mas, se uma negação ou parte de uma condição sumir, a regra muda. A versão curta "Entrega grátis a partir de 5000 rublos" perde o esclarecimento de que isso vale só para a entrega comum, e que o expresso custa 790 rublos para qualquer valor de pedido. Uma única resposta correta não revela esse tipo de perda: é preciso um pedido com entrega expressa. O tamanho do texto e a precisão na execução da tarefa devem ser verificados separadamente.
O autor da análise propõe uma metodologia. Ele usa três versões da instrução: a original, uma versão compacta com as mesmas condições e uma versão densa, em que as palavras são trocadas por setas e por uma expressão ternária. Elas são executadas no GPT-4.
1 Mini via BotHub: 12 pedidos, três repetições para cada versão, 108 requisições no total, com temperature=0, top_p=1 e max_tokens=512. A ordem das requisições é embaralhada, e cada uma roda em um chat novo, sem histórico. Uma resposta só conta como correta se o JSON for válido, o status coincidir e o preço estiver certo.
Os textos dos prompts são fixados antes da execução, para não serem ajustados a respostas já conhecidas. O material não traz resultados finais: trata-se apenas da metodologia. Mesmo 36 respostas corretas em 36 não revelam a taxa futura de erros com 12 casos, então o conjunto precisa ser ampliado com pedidos reais.
Como calcular a economia com honestidade
Tokens de entrada e de saída têm preços diferentes. Exemplo: um prompt de 2000 tokens contra 1200, resposta de 600 tokens em ambos os casos e token de saída quatro vezes mais caro que o de entrada. O resultado é 4400 unidades arbitrárias contra 3600. A entrada diminuiu 40%, mas o preço da requisição caiu só cerca de 18%. Se a instrução curta provocar uma resposta mais longa ou uma nova requisição, o ganho é ainda menor.
O cálculo também deve incluir o trabalho do compressor: se o contexto é novo a cada requisição, a compressão é paga toda vez. É preciso considerar o tempo gasto na edição manual e na verificação do modelo de prompt, além do cache: um prefixo longo vindo do cache pode sair mais barato que um texto curto novo. A métrica final é o custo do resultado aceito: o gasto com todas as requisições mais o gasto com a compressão, dividido pelo número de respostas que passaram na verificação. As tentativas malsucedidas entram no numerador.
Na prática, encurte o prompt, mas com teste: os mesmos dados, exceções e campos ausentes no conjunto, um único modelo e configurações fixas. Compare quatro desfechos por pares: as duas versões acertaram, só a original acertou, só a curta acertou, as duas erraram. A versão que perdeu uma regra não serve, por mais tokens que economize.
- 12 de out. de 2026RunPod compara 4 métodos de quantização: de FP16 a INT4, a memória cai 4 vezes
- 8 de nov. de 2026Trader transforma RAG e RandomForest em sinais BUY/SELL: 62% de acerto em 59 registros
- 12 de nov. de 2026Modal acelera a geração do Sakana Namazu em 35% com um modelo de rascunho
- 11 de out. de 2026DeepSeek-OCR comprime o contexto de texto em 10 vezes com 97% de precisão
Perguntas frequentes sobre a notícia
O que as pesquisas mostraram?
No Selective Context (EMNLP 2023), um modelo auxiliar avalia o quanto cada trecho do texto é surpreendente para ele e remove os mais previsíveis. Com o contexto reduzido em 50%, o uso de memória caiu 36%, e o tempo de processamento da requisição (inferência), 32%. A métrica de proximidade com o gabarito, BERTScore, recuou 0,023, e a avaliação de fidelidade ao texto original (faithfulness), 0,038. Ou seja, um texto com metade do tamanho é processado cerca de um terço mais rápido, com perda pequena nessas métricas.
Onde a compressão quebra o sentido?
As palavras mantidas vêm do texto original, mas, se uma negação ou parte de uma condição sumir, a regra muda. A versão curta "Entrega grátis a partir de 5000 rublos" perde o esclarecimento de que isso vale só para a entrega comum, e que o expresso custa 790 rublos para qualquer valor de pedido. Uma única resposta correta não revela esse tipo de perda: é preciso um pedido com entrega expressa. O tamanho do texto e a precisão na execução da tarefa devem ser verificados separadamente.
Como calcular a economia com honestidade?
Tokens de entrada e de saída têm preços diferentes. Exemplo: um prompt de 2000 tokens contra 1200, resposta de 600 tokens em ambos os casos e token de saída quatro vezes mais caro que o de entrada. O resultado é 4400 unidades arbitrárias contra 3600. A entrada diminuiu 40%, mas o preço da requisição caiu só cerca de 18%. Se a instrução curta provocar uma resposta mais longa ou uma nova requisição, o ganho é ainda menor.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.