D-SLR remplace le SVD tronqué par trois décompositions, sans aucun réglage de paramètres

Des chercheurs présentent D-SLR (Disjoint Row-Sparse plus Low-Rank), une méthode de compression de matrices qui se positionne comme un remplaçant direct du SVD tronqué. Elle s'exprime sous forme fermée : la courbe complète « erreur en fonction du nombre de paramètres » et la solution finale coûtent trois décompositions en valeurs singulières, et lorsqu'aucune ligne n'est conservée, l'algorithme dégénère en SVD classique. Autrement dit, à budget égal, il ne fait pas moins bien. Le preprint est paru dans arXiv cs.LG ; les expériences portent sur des tables d'embeddings de LLM, du trafic réseau et des images hyperspectrales.

Ce qui cloche avec le SVD tronqué

Lorsqu'il faut compresser une matrice tout en pouvant la reconstruire, on recourt par défaut au SVD tronqué : les données sont approximées par une seule structure de faible rang. La méthode est rapide et bien étudiée, mais elle a un point faible. Si quelques lignes s'inscrivent mal dans le sous-espace de faible rang commun, elles font grimper l'erreur résiduelle, et il faut augmenter le rang pour toutes les lignes à la fois.

Pour y remédier, on ajoute généralement au faible rang une composante parcimonieuse par lignes, qui se recouvre avec la partie de faible rang. Ces problèmes joints se résolvent de façon itérative, avec un réglage des coefficients de régularisation. Cela implique du paramétrage supplémentaire, de l'instabilité et du temps de calcul. Les auteurs de D-SLR proposent de s'en passer entièrement.

Comment fonctionne la disjonction

La contrainte centrale est simple : chaque ligne est soit conservée telle quelle, soit approximée par un ajustement de faible rang, mais jamais les deux. Pour l'erreur quadratique, selon les auteurs, cette contrainte ne coûte rien. L'optimum du problème joint est atteignable aussi sous forme disjointe, et avec moins de paramètres, pour tout rang non trivial et tout nombre de lignes conservées.

L'algorithme évalue d'emblée l'ensemble du compromis entre erreur et nombre de paramètres sur une grille « rang × nombre de lignes conservées ». La solution n'est choisie qu'ensuite : selon une erreur cible, un budget de paramètres ou une règle de sélection donnée. Une grille calculée une seule fois peut servir à des exigences différentes.

Principales caractéristiques d'après le résumé :

• solution fermée, sans solveur itératif ;
• coût de la grille et de la solution réunies : trois SVD ;
• aucun paramètre à régler, aucune régularisation ;
• quand aucune ligne n'est conservée, coïncide avec le SVD tronqué ;
• pour chaque rang non trivial et chaque nombre de lignes, utilise au plus autant de paramètres que le modèle joint.

Un certificat plutôt que l'espoir de bien choisir

L'apport distinct de ce travail est une borne inférieure a posteriori de l'erreur, qui ne requiert aucune hypothèse sur les données. Elle est calculée pour chaque forme de solution, c'est-à-dire pour chaque paire « rang et nombre de lignes conservées ». Pour la solution retenue, on peut voir combien n'importe quelle autre combinaison pourrait, en principe, gagner. Si la marge est faible, inutile de chercher plus loin. Si elle est grande, on sait où chercher.

Le résumé ne contient aucun résultat chiffré. Les auteurs écrivent que des expériences sur données synthétiques et réelles confirment le gain et montrent à quel point le certificat est informatif. L'ampleur réelle des améliorations par rapport au SVD reste à vérifier dans le texte complet. L'affirmation « pas moins bon à coût égal » découle de la construction même de la méthode, alors que le « combien mieux » dépend de la structure des données considérées.

Où l'appliquer

Le candidat le plus évident est la table d'embeddings des modèles de langage. Une partie des tokens, par exemple les plus rares ou atypiques, se décrit mal avec un faible rang commun, et il peut être plus avantageux de stocker ces lignes en entier que d'augmenter le rang de toute la table. Une logique analogue vaut pour le trafic réseau, avec ses flux anormaux rares, et pour les images hyperspectrales, avec leurs pixels aberrants.

En pratique, la méthode mérite d'être testée là où le SVD figure déjà dans le pipeline de compression : il suffit d'y substituer D-SLR et de comparer les courbes d'erreur à budget de paramètres identique. Comme le résultat coïncide avec le SVD quand aucune ligne n'est conservée, le risque de régression est minimal. Une réserve toutefois : les garanties sont formulées pour l'erreur quadratique, et pour les métriques de qualité du modèle, comme la perplexité après compression des poids, le gain doit être mesuré séparément.