Poda estruturada de LLMs sem perda de precisão: método foi testado no Llama-3-8B e no Vicuna

Em julho de 2026, foi publicado no arXiv um artigo com um novo método de poda estruturada de grandes modelos de linguagem. Os pesquisadores descrevem três problemas sistêmicos ao transferir a técnica AFR para a poda estruturada e propõem uma abordagem unificada que combina transformação de potência, agregação que preserva os sinais e corte de outliers por percentis. Os experimentos com Llama-3-8B, Vicuna-v1.5-13B e LLaVA-v1.5-13B mostraram precisão no nível da poda não estruturada, com aceleração real da inferência.

Por que a poda estruturada é melhor para a implantação

A poda é uma das técnicas básicas de compressão de redes neurais: parâmetros pouco relevantes são removidos e o modelo fica menor e mais rápido. Existem duas abordagens fundamentalmente diferentes.

A poda não estruturada zera pesos individuais, gerando matrizes esparsas. A precisão sofre menos, mas quase não há ganho prático de velocidade em GPUs convencionais: é preciso ter kernels especializados ou hardware que a maioria das equipes não tem.

A poda estruturada remove neurônios, cabeças de atenção ou camadas inteiras. O modelo resultante tem densidade padrão e roda mais rápido em hardware comum, sem truques adicionais. O problema: a qualidade tradicionalmente ficava abaixo à dos métodos não estruturados. Os autores atacaram justamente essa lacuna.

Três problemas ao adaptar o AFR

O AFR (Adaptive Feature Retention) é um método não estruturado que preserva os pesos "importantes" com base em informações de gradiente. Os autores tentaram levá-lo ao nível estrutural e esbarraram em três obstáculos:

• Descasamento de distribuições: as pontuações de importância de camadas diferentes têm escalas incomparáveis, e a média direta produz um resultado distorcido
• Perda de informação de sinal: o sinal da pontuação indica se a direção de atualização do peso coincide com o gradiente de otimização; a maioria dos métodos de agregação perde esse sinal
• Influência de outliers: valores extremos dominam a agregação e levam à remoção de estruturas que não são as menos importantes

Cada um desses problemas reduz sozinho a qualidade final; juntos, tornam inviável a transferência direta do AFR.

Como funciona a solução proposta

Os autores propõem três técnicas, aplicadas em sequência dentro de um único esquema de agregação.

A transformação de potência equaliza as distribuições das pontuações de forma não linear. O escalonamento linear lida mal com as caudas pesadas típicas das ativações de transformers. Uma função de potência com expoente ajustável torna comparáveis as pontuações de fontes diferentes.

A agregação que preserva os sinais combina as pontuações transformadas sem perder a informação de direção. Se um neurônio recebe uma pontuação com determinado sinal, isso é considerado na escolha dos candidatos à remoção, em vez de simplesmente tirar a média dos valores absolutos.

O corte de outliers por percentis remove os valores extremos antes da agregação. O limiar é definido em percentis, e não em números absolutos, o que deixa o método estável diante de mudanças de arquitetura ou de tarefa.

Resultados no Llama, no Vicuna e no LLaVA

O método foi testado em três modelos abertos de classes diferentes:

• Llama-3-8B: a precisão após a poda estruturada é comparável à da versão não estruturada do AFR
• Vicuna-v1.5-13B: o modelo de diálogo mantém a qualidade das respostas com menos parâmetros
• LLaVA-v1.5-13B: o modelo multimodal também não apresentou degradação significativa

Os autores enfatizam o "practical inference speedup": os modelos comprimidos rodam mais rápido em GPUs convencionais, sem bibliotecas especiais para matrizes esparsas. É isso que torna a poda estruturada atraente para implantações em produção, onde o custo computacional é contado diretamente.

O que isso significa

O trabalho fecha uma lacuna técnica específica: adaptar métricas de importância não estruturadas à poda estruturada exigia antes abrir mão de precisão ou recorrer a um caro fine-tuning de recuperação. Três correções pontuais (alinhamento de distribuições, preservação de sinais e corte de outliers por percentis) permitem manter a precisão e obter aceleração real ao mesmo tempo, sem remendos pós-poda.