D-SLR substitui o SVD truncado com três decomposições e sem ajuste de parâmetros

Pesquisadores apresentaram o D-SLR (Disjoint Row-Sparse plus Low-Rank), um método de compressão de matrizes que se propõe a ser um substituto direto do SVD truncado. Ele tem solução em forma fechada: toda a curva de «erro versus número de parâmetros» e a solução final custam três decomposições em valores singulares. Quando nenhuma linha é armazenada, o algoritmo degenera no SVD comum. Ou seja, com o mesmo orçamento, ele não perde. O preprint foi publicado no arXiv cs.LG, e os experimentos foram feitos com tabelas de embeddings de LLMs, tráfego de rede e imagens hiperespectrais.

O que há de errado com o SVD truncado

Quando é preciso comprimir uma matriz mantendo a possibilidade de reconstruí-la, a escolha padrão é o SVD truncado: os dados são aproximados por uma única estrutura de baixo posto. O método é rápido e bem estudado, mas tem um ponto fraco. Se algumas linhas se encaixam mal no subespaço comum de baixo posto, elas elevam o erro residual, e o posto precisa subir para todas as linhas de uma vez.

Para corrigir isso, costuma-se somar ao baixo posto uma componente esparsa por linhas, que se sobrepõe à parte de baixo posto. Esses problemas conjuntos são resolvidos de forma iterativa, com ajuste de coeficientes de regularização. Isso significa mais configuração, instabilidade e tempo de computação. Os autores do D-SLR propõem dispensar tudo isso.

Como funciona a disjunção

A restrição central é simples: cada linha é armazenada literalmente ou aproximada por um ajuste de baixo posto, mas nunca pelos dois. Segundo os autores, para o erro quadrático essa restrição não custa nada. O ótimo do problema conjunto é alcançável também na forma disjunta, e com menos parâmetros, para qualquer posto não trivial e qualquer número de linhas armazenadas.

O algoritmo avalia de uma vez todo o equilíbrio entre erro e número de parâmetros, numa grade de «posto × número de linhas armazenadas». Só depois a solução é escolhida: por erro-alvo, por orçamento de parâmetros ou por uma regra de seleção definida. Uma grade calculada uma única vez serve a requisitos diferentes.

Principais características, segundo o resumo do artigo:

• solução em forma fechada, sem solucionadores iterativos;
• custo da grade e da solução juntas: três SVDs;
• sem parâmetros ajustáveis nem regularização;
• com zero linhas armazenadas, coincide com o SVD truncado;
• para cada posto não trivial e número de linhas, usa no máximo tantos parâmetros quanto o modelo conjunto.

Certificado em vez de torcer por uma boa escolha

Uma contribuição à parte do trabalho é um limite inferior a posteriori do erro, que não exige nenhuma suposição sobre os dados. Ele é calculado para cada formato de solução, ou seja, para cada par «posto e número de linhas armazenadas». Para a solução escolhida, dá para ver quanto qualquer outra combinação poderia, em princípio, ganhar. Se a folga é pequena, não vale a pena continuar procurando. Se é grande, fica claro onde buscar.

O resumo do artigo não traz resultados numéricos dos experimentos. Os autores escrevem que os testes com dados sintéticos e reais confirmam o ganho e mostram quão informativo é o certificado. A dimensão real da melhora em relação ao SVD terá de ser conferida no texto completo. A afirmação «não pior com o mesmo custo» decorre da construção do método, já o «quanto melhor» depende da estrutura de cada conjunto de dados.

Onde isso pode ser aplicado

O candidato mais óbvio são as tabelas de embeddings de modelos de linguagem. Nelas, parte dos tokens, como os raros ou atípicos, é mal descrita por um posto baixo comum, e armazenar essas linhas por inteiro pode compensar mais do que elevar o posto da tabela toda. Lógica semelhante vale para tráfego de rede com fluxos anômalos raros e para imagens hiperespectrais com pixels discrepantes.

Na prática, vale testar o método onde o SVD já faz parte do pipeline de compressão: basta trocar por D-SLR e comparar as curvas de erro com o mesmo orçamento de parâmetros. Como, com zero linhas, o resultado coincide com o do SVD, o risco de regressão é mínimo. Há uma ressalva: as garantias valem para o erro quadrático, e, para métricas de qualidade do modelo, como a perplexidade após a compressão dos pesos, o ganho precisa ser medido separadamente.