Spectral-LSH: compressão de prompts de até 16× sem retreinamento para acelerar a inferência de LLMs

Pesquisadores apresentaram o Spectral-LSH, um método de compressão de prompts longos para grandes modelos de linguagem que funciona sem retreinamento e reduz o texto de entrada em 8 a 16 vezes, mantendo a qualidade onde métodos simples a perdem. O preprint foi publicado no arXiv (número 2607.19368) em julho de 2026.

Por que comprimir prompts

Processar prompts longos é caro, porque o custo da atenção (attention) na etapa de prefill cresce de forma quadrática, como O(N²) em relação ao comprimento da sequência. O Spectral-LSH ataca o problema antes de o prompt chegar ao modelo: o método encontra tokens próximos em significado e os funde em "macro-tokens", encurtando a entrada já na porta de entrada dos cálculos.

Principais fatos do preprint:

• O método é training-free — não exige retreinamento do modelo
• Funciona como pré-processador, antes da entrada no LLM
• Foi testado no Mistral-7B-Instruct-v0.3, no Qwen2.5-7B-Instruct e no Qwen2.5-14B-Instruct
• O dataset de avaliação foi o C4
• Os coeficientes de compressão ρ foram verificados em uma faixa de 4× a 16×

Como o método funciona

O Spectral-LSH aproxima os componentes principais do operador implícito do kernel de atenção por meio do método do subespaço de Krylov, combinado com random features. Isso permite dispensar a construção explícita da matriz de atenção de tamanho O(N²), a parte mais cara em contextos longos. Em seguida, no espaço espectral de atenção obtido, aplica-se o SimHash: tokens semelhantes caem nos mesmos buckets de hash e são agregados em macro-tokens, com a ordem causal das posições preservada para que o modelo não perca a estrutura da sequência.

Onde ocorre a transição de fase

O resultado central é uma transição de fase no coeficiente de compressão, descrita pelos autores. Abaixo de ρ = 4×, a redundância local de tokens é pequena, e o chunking leve (a simples divisão em blocos) oferece o melhor equilíbrio entre velocidade e qualidade. Acima de ρ = 8×, o caminho espectral passa a preservar a qualidade que o chunking perde.

Com ρ = 16×, a diferença fica especialmente visível: segundo o preprint, o Qwen2.5-7B no modo adaptativo reduz a perplexidade (PPL) de 353,409 para 196,963, e o Qwen2.5-14B, de 9,533 para 3,427. Quanto menor a perplexidade, menor a distorção na previsão do modelo após a compressão.

"Nossos experimentos revelam uma transição de fase no coeficiente de

compressão", diz o resumo do estudo no arXiv.

O que mostrou o teste de estresse

Em um pequeno teste de estresse com contexto longo de dados estruturados — trechos no estilo JSON, código e tabelas —, o LSH local melhorou todas as métricas em relação ao chunking com compressão de 8×. O backend adaptativo combina os dois modos: chunking quando a compressão é baixa e clusterização espectral quando ela é alta. Ainda assim, o mais rápido em latência final continua sendo o chunking — a qualidade em coeficientes altos é paga com tempo.

O que isso significa

O Spectral-LSH mostra que a compressão agressiva de prompts (8× ou mais) pode ser feita sem perda de qualidade e sem retreinar o modelo — desde que os tokens sejam agrupados pelo espectro da atenção, e não por cortes do texto em blocos. Para a inferência com contextos longos, é um caminho direto para reduzir o custo computacional.

Perguntas frequentes

O que é o Spectral-LSH?

É um método training-free de compressão de prompts de entrada para modelos de linguagem: ele agrupa tokens semelhantes por meio do hashing SimHash no espaço espectral da atenção e os funde em macro-tokens, reduzindo o comprimento da entrada de 4 a 16 vezes. Não é necessário retreinar o modelo.

Em quais modelos o método foi testado?

Os autores avaliaram o Spectral-LSH no Mistral-7B-Instruct-v0.3, no Qwen2.5-7B-Instruct e no Qwen2.5-14B-Instruct, usando o dataset C4, além de um teste de estresse com dados estruturados no estilo JSON, código e tabelas.