D-SLR sustituye al SVD truncado con tres descomposiciones y sin ajustar parámetros

Un grupo de investigadores ha presentado D-SLR (Disjoint Row-Sparse plus Low-Rank), un método de compresión de matrices que aspira a ser un sustituto directo del SVD truncado. Se calcula en forma cerrada: toda la curva «error frente a número de parámetros» y la solución final cuestan tres descomposiciones en valores singulares. Si no se conserva ninguna fila, el algoritmo degenera en el SVD convencional. Por tanto, con el mismo presupuesto no queda por detrás. El preprint se publicó en arXiv cs.LG, y los experimentos se realizaron con tablas de embeddings de LLM, tráfico de red e imágenes hiperespectrales.

Qué falla en el SVD truncado

Cuando hay que comprimir una matriz con posibilidad de reconstruirla, lo habitual es recurrir al SVD truncado: los datos se aproximan con una única estructura de bajo rango. El método es rápido y está bien estudiado, pero tiene un punto débil. Si varias filas encajan mal en el subespacio común de bajo rango, elevan el error residual, y hay que subir el rango para todas las filas a la vez.

Para corregirlo, suele añadirse al bajo rango un componente disperso por filas que se solapa con la parte de bajo rango. Estos problemas conjuntos se resuelven de forma iterativa, ajustando coeficientes de regularización. Eso supone más configuración, inestabilidad y tiempo de cálculo. Los autores de D-SLR proponen prescindir de todo ello.

Cómo funciona la disyunción

La restricción clave es sencilla: cada fila se guarda literalmente o se aproxima con el ajuste de bajo rango, pero nunca hace ambas cosas. Según los autores, para el error cuadrático esta restricción no tiene coste alguno. El óptimo del problema conjunto también se alcanza en forma disyunta, y además con menos parámetros para cualquier rango no trivial y cualquier número de filas conservadas.

El algoritmo evalúa de entrada todo el compromiso entre error y número de parámetros sobre una cuadrícula «rango × número de filas conservadas». La solución se elige después, según un error objetivo, un presupuesto de parámetros o una regla de selección dada. La cuadrícula, calculada una sola vez, sirve para distintos requisitos.

Principales características según el resumen del artículo:

• solución cerrada, sin solucionadores iterativos;
• el coste de la cuadrícula y de la solución juntas es de tres SVD;
• no hay parámetros configurables ni regularización;
• con cero filas conservadas coincide con el SVD truncado;
• para cada rango no trivial y número de filas, usa como máximo los mismos parámetros que el modelo conjunto.

Un certificado en lugar de confiar en acertar

Otra aportación del trabajo es una cota inferior a posteriori del error que no exige supuestos sobre los datos. Se calcula para cada forma de solución, es decir, para cada par «rango y número de filas almacenadas». Con ella se puede ver cuánto podría mejorar, en principio, cualquier otra combinación respecto a la solución elegida. Si el margen es pequeño, no tiene sentido seguir buscando. Si es grande, se sabe dónde buscar.

El resumen no incluye resultados numéricos de los experimentos. Los autores afirman que las pruebas con datos sintéticos y reales confirman la mejora y muestran lo informativo que es el certificado. La magnitud real de la mejora frente al SVD habrá que consultarla en el texto completo. La afirmación «no peor con el mismo coste» se deriva de la construcción del método, mientras que «cuánto mejor» depende de la estructura de cada conjunto de datos.

Dónde puede aplicarse

El candidato más evidente son las tablas de embeddings de modelos de lenguaje. En ellas, una parte de los tokens, por ejemplo los raros o atípicos, se describe mal con un rango bajo común, y guardar esas filas enteras puede resultar más rentable que subir el rango de toda la tabla. Una lógica similar se aplica al tráfico de red con flujos anómalos poco frecuentes y a las imágenes hiperespectrales con píxeles atípicos.

En la práctica, conviene probar el método allí donde el SVD ya forma parte del pipeline de compresión: basta sustituirlo por D-SLR y comparar las curvas de error con el mismo presupuesto de parámetros. Como con cero filas el resultado coincide con el del SVD, el riesgo de regresión es mínimo. Hay una salvedad: las garantías se formulan para el error cuadrático, y en métricas de calidad del modelo, como la perplejidad tras comprimir los pesos, la mejora debe medirse por separado.