Poda estructurada de LLM sin pérdida de precisión: el método, probado en Llama-3-8B y Vicuna

En julio de 2026 se publicó en arXiv un artículo con un nuevo método de poda estructurada de grandes modelos de lenguaje. Los investigadores describen tres problemas sistémicos al trasladar la técnica AFR a la poda estructurada y proponen un enfoque unificado que combina una transformación de potencia, una agregación que conserva los signos y un recorte de valores atípicos por percentiles. Los experimentos con Llama-3-8B, Vicuna-v1.5-13B y LLaVA-v1.5-13B mostraron una precisión equiparable a la de la poda no estructurada, con aceleración real de la inferencia.

Por qué la poda estructurada es mejor para el despliegue

La poda es una de las técnicas básicas de compresión de redes neuronales: se eliminan los parámetros poco relevantes y el modelo se vuelve más pequeño y rápido. Existen dos enfoques fundamentalmente distintos.

La poda no estructurada pone a cero pesos individuales y produce matrices dispersas. La precisión se resiente menos, pero apenas aporta aceleración práctica en las GPU estándar: requiere núcleos especializados o hardware al que la mayoría de los equipos no tiene acceso.

La poda estructurada elimina neuronas, cabezas de atención o capas enteras. El modelo resultante tiene densidad estándar y se ejecuta más rápido en hardware convencional sin trucos adicionales. El problema: su calidad ha sido tradicionalmente inferior a la de los métodos no estructurados. Los autores abordan precisamente esa brecha.

Tres problemas al adaptar AFR

AFR (Adaptive Feature Retention) es un método no estructurado que conserva los pesos «importantes» a partir de información de gradientes. Los autores intentaron trasladarlo al nivel estructural y se toparon con tres obstáculos:

• Desajuste de distribuciones: las puntuaciones de importancia de distintas capas tienen escalas incomparables, de modo que promediarlas sin más da un resultado distorsionado
• Pérdida de información de signo: el signo de la puntuación indica si la dirección de actualización del peso coincide con el gradiente de optimización; la mayoría de los métodos de agregación lo pierden
• Influencia de los valores atípicos: los valores extremos dominan la agregación y obligan a eliminar estructuras que no son las menos importantes

Cada uno de estos problemas reduce por sí solo la calidad final; juntos hacen inviable el traslado directo de AFR.

Cómo funciona la solución propuesta

Los autores proponen tres técnicas que se aplican de forma secuencial dentro de un único esquema de agregación.

La transformación de potencia iguala las distribuciones de las puntuaciones de forma no lineal. El escalado lineal maneja mal las colas pesadas típicas de las activaciones de los transformers. Una función de potencia con exponente ajustable hace comparables las puntuaciones de distintas fuentes.

La agregación que conserva los signos combina las puntuaciones transformadas sin perder la información de dirección. Si una neurona recibe una puntuación con un signo determinado, se tiene en cuenta al elegir candidatas a la eliminación, en lugar de promediar simplemente valores absolutos.

El recorte de valores atípicos por percentiles elimina los valores extremos antes de la agregación. El umbral se fija en percentiles y no en cifras absolutas, lo que hace que el método sea estable ante cambios de arquitectura o de tarea.

Resultados en Llama, Vicuna y LLaVA

El método se probó en tres modelos abiertos de distinto tipo:

• Llama-3-8B: la precisión tras la poda estructurada es comparable a la de la versión no estructurada de AFR
• Vicuna-v1.5-13B: el modelo conversacional conserva la calidad de sus respuestas con menos parámetros
• LLaVA-v1.5-13B: el modelo multimodal tampoco mostró una degradación significativa

Los autores destacan la «practical inference speedup»: los modelos comprimidos funcionan más rápido en GPU estándar sin bibliotecas especiales para matrices dispersas. Eso hace atractiva la poda estructurada para despliegues en producción, donde el coste de cómputo se contabiliza directamente.

Qué significa

El trabajo cubre un hueco técnico concreto: adaptar métricas de importancia no estructuradas a la poda estructurada exigía antes sacrificar precisión o recurrir a un costoso ajuste fino de recuperación. Tres correcciones específicas (alineación de distribuciones, conservación de signos y recorte de atípicos por percentiles) permiten mantener la precisión y obtener a la vez una aceleración real, sin artificios posteriores a la poda.