Poda Estruturada de LLM Sem Perda de Precisão: Método Verificado em Llama-3-8B e Vicuna

Em julho de 2026, um novo método de poda estrutural de grandes modelos de linguagem foi publicado no arXiv: os pesquisadores descreveram três problemas sistêmicos ao transferir a técnica AFR para poda estrutural e propuseram uma abordagem unificada combinando transformação de potência, agregação que preserva sinais e clipping de percentil de valores atípicos. Os experimentos em Llama-3-8B, Vicuna-v1.5-13B e LLaVA-v1.5-13B mostraram precisão comparável à poda não estruturada enquanto conseguem aceleração real de inferência.

Por que a poda estrutural é melhor para implantação

A poda é um dos métodos básicos de compressão de rede neural: parâmetros insignificantes são removidos, o modelo fica menor e mais rápido. Existem duas abordagens fundamentalmente diferentes.

A poda não estruturada anula pesos individuais, resultando em matrizes esparsas. A precisão sofre menos, mas isso oferece quase nenhuma aceleração prática em GPUs padrão — são necessários kernels especializados ou hardware indisponível para a maioria das equipes.

A poda estrutural remove neurônios inteiros, cabeças de atenção ou camadas. O modelo resultante de densidade padrão roda mais rápido em hardware regular sem truques adicionais. O problema é que a qualidade tradicionalmente ficou aquém dos métodos não estruturados. Os autores deste artigo abordaram exatamente essa lacuna.

Três problemas na adaptação de AFR

AFR (Adaptive Feature Retention) é um método não estruturado que preserva pesos "importantes" levando em conta informações de gradiente. Os autores tentaram transferi-lo para o nível estrutural e encontraram três obstáculos:

• Desajuste de distribuição: estimativas de importância de diferentes camadas têm escalas incomparáveis — a média direta fornece resultados distorcidos
• Perda de informação de sinal: o sinal da estimativa mostra se a direção da atualização de peso corresponde ao gradiente de otimização; a maioria dos métodos de agregação perde este sinal
• Efeito de valores discrepantes: valores extremos dominam a agregação e forçam a exclusão de estruturas não baseadas em importância real

Cada um desses problemas individualmente reduz a qualidade final; juntos tornam a transferência direta de AFR impraticável.

Como a solução proposta funciona

Os autores propuseram três técnicas aplicadas sequencialmente em um esquema de agregação unificado.

Transformação de potência iguala distribuições de estimativas de forma não linear. O dimensionamento linear lida mal com caudas pesadas características de ativações de transformador. Uma função de potência com expoente ajustável torna as estimativas de diferentes fontes comparáveis.

Agregação que preserva sinais combina estimativas transformadas sem perder informação direcional. Se um neurônio recebe uma estimativa com um certo sinal, isso é levado em conta na seleção de candidatos para exclusão — em vez de simplesmente fazer a média de valores absolutos.

Clipping de percentil de valores discrepantes remove valores extremos antes da agregação. O limite é definido em percentis, não em números absolutos, tornando o método robusto a mudanças de arquitetura ou tarefa.

Resultados em Llama, Vicuna e LLaVA

O método foi testado em três modelos abertos de diferentes classes:

• Llama-3-8B — a precisão após poda estrutural é comparável à versão AFR não estruturada
• Vicuna-v1.5-13B — modelo de diálogo mantém a qualidade das respostas enquanto reduz a contagem de parâmetros
• LLaVA-v1.5-13B — modelo multimodal também não mostrou degradação significativa

Os autores enfatizam "aceleração de inferência prática": modelos comprimidos são executados mais rápido em GPUs padrão sem bibliotecas especiais para matrizes esparsas. Isto é o que torna a poda estrutural desejável para implantações em produção, onde os custos computacionais são calculados diretamente.

O que isso significa

O trabalho fecha uma lacuna técnica específica: adaptar métricas de importância não estruturadas para poda estrutural anteriormente exigia um compromisso na precisão ou fine-tuning pós-poda caro. Três correções direcionadas — equalização de distribuição, preservação de sinal, remoção de valores discrepantes percentil — permitem preservação simultânea de precisão e aceleração real sem truques pós-poda.