Pesos de LLM dão lugar a uma receita: como tentam condensar 16 GB de matrizes em fórmulas

Um modelo de 8 bilhões de parâmetros em fp16 pesa cerca de 16 GB: oito bilhões de números de dois bytes cada. A versão de 70 bilhões já chega a 140 GB. A quantização para 4 bits reduz um modelo de 8B para aproximadamente 4–5 GB, mas continuam sendo as mesmas matrizes, só que com precisão reduzida. O Habr AI publicou uma análise de uma ideia mais radical: guardar não os pesos em si, mas uma pequena receita pela qual eles podem ser calculados.

O anúncio do material trata de várias famílias desses métodos. Os detalhes de implementação e os benchmarks aparecem apenas no artigo completo do autor, por isso abaixo estão descritas as abordagens em si e suas limitações conhecidas.

Uma rede que desenha outra rede

A variante mais conhecida são as hiper-redes. A ideia foi descrita no trabalho HyperNetworks, de 2016: uma rede pequena recebe como entrada, por exemplo, o número da camada e um vetor treinável, e entrega na saída os pesos da rede grande. Só é preciso armazenar o gerador e um conjunto de vetores curtos.

A abordagem tem um custo evidente. O gerador produz pesos de uma família estreita, e, se a tarefa real exigir matrizes "incômodas", a precisão cai. O treinamento também fica mais complexo: o gradiente passa por dois níveis de redes, e não por um.

Fórmulas e fractais

O segundo ramo são as descrições analíticas. Se os pesos de uma camada se ajustam bem a uma função suave, basta guardar os coeficientes dela e calcular os valores a partir das coordenadas do elemento da matriz. É assim que funcionam as representações neurais implícitas, como a SIREN para imagens e a NeRF para cenas.

A ideia fractal vem da compressão de imagens do fim dos anos 1980. Os blocos de dados são descritos como cópias transformadas de outros blocos, e, em vez de um array, guarda-se um conjunto de regras de autossimilaridade. Para os pesos, isso é possível enquanto houver estrutura repetitiva neles. As LLMs treinadas nem sempre a apresentam.

Os métodos com geradores de números pseudoaleatórios seguem uma lógica próxima. No trabalho SeedLM, de 2024, um bloco de pesos é aproximado por uma combinação de uma sequência gerada a partir de uma semente (seed) curta e alguns coeficientes. Guarda-se a semente, e o resto é recalculado no carregamento.

O que se paga por isso

Nessa área, a compactação quase nunca sai de graça. Os compromissos gerais são estes:

• Memória versus computação. Os pesos não são lidos da memória, mas gerados, o que adiciona operações a cada camada.
• Precisão. Toda aproximação gera erro, e os erros se acumulam ao longo da profundidade do modelo.
• Treinamento. O modelo é treinado já na parametrização comprimida ou é comprimido depois do treinamento, e, neste segundo caso, a qualidade depende das propriedades dos pesos específicos.
• Hardware. As GPUs são otimizadas para multiplicar matrizes densas. A geração não padronizada de pesos na hora pode consumir o ganho de memória.

O autor do material compara o caminho da LLM ao destino do primeiro Doom, que rodou em calculadoras, impressoras e outros eletrônicos de uso doméstico. Por enquanto, a LLM não roda em qualquer chaleira: mesmo um modelo muito comprimido esbarra na largura de banda da memória, e não apenas no volume dela.

Conclusão prática

Para engenheiros que implantam modelos em dispositivos, a compressão por receitas continua sendo uma linha de pesquisa. Em produção, seguem funcionando a quantização, os adaptadores LoRA e a destilação. Vale acompanhar as hiper-redes e os métodos baseados em sementes para quem esbarra no tamanho da distribuição: em aplicativos móveis, inferência no navegador e sistemas embarcados, até uma economia de duas vezes no armazenamento decide se o modelo pode ou não ser executado. Antes de implementar qualquer coisa, é preciso verificar três pontos: a perda de qualidade nas suas próprias tarefas, a latência no hardware de destino e a complexidade do ajuste fino posterior.