Spectral-LSH: compresión de prompts de hasta 16× sin reentrenamiento para acelerar la inferencia de LLM

Un grupo de investigadores ha presentado Spectral-LSH, un método de compresión de prompts largos para grandes modelos de lenguaje que funciona sin reentrenamiento y reduce el texto de entrada entre 8 y 16 veces, conservando la calidad en los casos en que los métodos simples la pierden. El preprint se publicó en arXiv (número 2607.19368) en julio de 2026.

Por qué comprimir los prompts

Procesar prompts largos es caro porque el coste de la atención (attention) en la fase de prefill crece de forma cuadrática: como O(N²) respecto a la longitud de la secuencia. Spectral-LSH aborda el problema antes de que el prompt llegue al modelo: localiza tokens cercanos en significado y los fusiona en «macrotokens», con lo que reduce la longitud de la entrada incluso antes de que empiecen los cálculos.

Datos clave del preprint:

• El método es training-free: no requiere reentrenar el modelo
• Funciona como preprocesador, antes de que el texto entre en el LLM
• Se probó en Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct y Qwen2.5-14B-Instruct
• El conjunto de datos de evaluación es C4
• Los coeficientes de compresión ρ se comprobaron en un rango de 4× a 16×

Cómo funciona el método

Spectral-LSH aproxima las componentes principales del operador implícito del núcleo de atención mediante el método del subespacio de Krylov, junto con random features. Así evita construir de forma explícita la matriz de atención de tamaño O(N²), la parte más costosa con contextos largos. Después, en el espacio «espectral» de la atención así obtenido, se aplica SimHash: los tokens similares caen en las mismas cubetas y se agregan en macrotokens, con el orden causal de las posiciones intacto, para que el modelo no pierda la estructura de la secuencia.

Dónde está la transición de fase

El resultado principal es una transición de fase en el coeficiente de compresión, según describen los autores. Por debajo de ρ = 4×, la redundancia local de tokens es baja y el chunking ligero (la simple división en bloques) ofrece el mejor equilibrio entre velocidad y calidad. Por encima de ρ = 8×, la vía espectral empieza a conservar la calidad que el chunking pierde.

Con ρ = 16× la diferencia es especialmente visible: según los datos del preprint, Qwen2.5-7B en modo adaptativo reduce la perplejidad (PPL) de 353,409 a 196,963, y Qwen2.5-14B, de 9,533 a 3,427. Cuanto menor es la perplejidad, menos se distorsiona la predicción del modelo tras la compresión.

«Nuestros experimentos revelan una transición de fase en el

coeficiente de compresión», se indica en el resumen del estudio en arXiv.

Qué mostró la prueba de estrés

En una prueba de estrés de pequeño tamaño con contexto largo compuesto por datos estructurados (fragmentos al estilo JSON, código y tablas), el LSH local mejoró todas las métricas frente al chunking con una compresión de 8×. El backend adaptativo combina ambos modos: chunking con compresión baja y clustering espectral con compresión alta. Aun así, el chunking sigue siendo el más rápido en latencia total: la calidad con coeficientes altos se paga con tiempo.

Qué significa

Spectral-LSH muestra que la compresión agresiva de prompts (8× y más) puede hacerse sin pérdida de calidad y sin reentrenar el modelo, siempre que los tokens se agrupen según el espectro de la atención en lugar de cortar el texto en bloques. Para la inferencia con contextos largos, es una vía directa hacia un menor coste de cómputo.

Preguntas frecuentes

¿Qué es Spectral-LSH?

Es un método training-free de compresión de prompts de entrada para modelos de lenguaje: agrupa tokens similares mediante hashing SimHash en el espacio espectral de la atención y los fusiona en macrotokens, con lo que reduce la longitud de la entrada entre 4 y 16 veces. No requiere reentrenar el modelo.

¿En qué modelos se probó el método?

Los autores evaluaron Spectral-LSH en Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct y Qwen2.5-14B-Instruct con el conjunto de datos C4, así como en una prueba de estrés con datos estructurados al estilo JSON, código y tablas.