Структурный прунинг LLM без потери точности: метод проверен на Llama-3-8B и Vicuna

В июле 2026 года в arXiv опубликована статья с новым методом структурного прунинга больших языковых моделей: исследователи описали три системные проблемы при переносе техники AFR на структурный прунинг и предложили единый подход, сочетающий степенное преобразование, агрегацию с сохранением знаков и процентильное отсечение выбросов. Эксперименты на Llama-3-8B, Vicuna-v1.5-13B и LLaVA-v1.5-13B показали точность на уровне неструктурного прунинга при реальном ускорении инференса.

Почему структурный прунинг лучше для развёртывания

Прунинг — один из базовых методов сжатия нейросетей: незначимые параметры удаляются, модель становится меньше и быстрее. Существуют два принципиально разных подхода.

Неструктурный прунинг обнуляет отдельные веса, получая разреженные матрицы. Точность страдает меньше, но практического ускорения на стандартных GPU это почти не даёт — нужны специализированные ядра или оборудование, недоступное большинству команд.

Структурный прунинг удаляет целые нейроны, головы внимания или слои. Получившаяся модель стандартной плотности запускается быстрее на обычном железе без дополнительных ухищрений. Проблема — качество традиционно уступало неструктурным методам. Авторы статьи взялись именно за этот разрыв.

Три проблемы при адаптации AFR

AFR (Adaptive Feature Retention) — неструктурный метод, сохраняющий «важные» веса с учётом градиентной информации. Авторы попытались перенести его на структурный уровень и столкнулись с тремя препятствиями:

• Рассогласование распределений: оценки важности из разных слоёв имеют несопоставимые масштабы — прямое усреднение даёт искажённый результат
• Потеря знаковой информации: знак оценки показывает, совпадает ли направление обновления веса с градиентом оптимизации; большинство методов агрегации этот знак теряют
• Влияние выбросов: экстремальные значения доминируют при агрегации и вынуждают удалять структуры не по реальной важности

Каждая из этих проблем по отдельности снижает итоговое качество; вместе они делают прямой перенос AFR неработоспособным.

Как устроено предложенное решение

Авторы предложили три техники, применяемые последовательно в единой схеме агрегации.

Степенное преобразование выравнивает распределения оценок нелинейным способом. Линейное масштабирование плохо справляется с тяжёлыми хвостами, характерными для активаций трансформеров. Степенная функция с подбираемым показателем делает оценки из разных источников сопоставимыми.

Агрегация с сохранением знаков объединяет преобразованные оценки, не теряя информацию о направлении. Если нейрон получает оценку с определённым знаком, это учитывается при отборе кандидатов на удаление — вместо простого усреднения абсолютных значений.

Процентильное отсечение выбросов убирает экстремальные значения до агрегации. Порог задаётся в процентилях, а не в абсолютных числах, что делает метод устойчивым при смене архитектуры или задачи.

Результаты на Llama, Vicuna и LLaVA

Метод проверен на трёх открытых моделях разного класса:

• Llama-3-8B — точность после структурного прунинга сопоставима с неструктурной версией AFR
• Vicuna-v1.5-13B — диалоговая модель сохраняет качество ответов при уменьшении числа параметров
• LLaVA-v1.5-13B — мультимодальная модель также не показала значимой деградации

Авторы акцентируют «practical inference speedup»: сжатые модели работают быстрее на стандартных GPU без специальных библиотек для разреженных матриц. Именно это делает структурный прунинг востребованным для продакшен-развёртываний, где стоимость вычислений считается напрямую.

Что это значит

Работа закрывает конкретный технический пробел: адаптация неструктурных метрик важности к структурному прунингу раньше требовала компромисса по точности или дорогостоящего восстановительного файнтюнинга. Три целенаправленных исправления — выравнивание распределений, сохранение знаков, процентильный сброс выбросов — позволяют одновременно сохранить точность и получить реальное ускорение без постпрунинговых ухищрений.