Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РазборОткрытые веса · В работуHacker News AI→ оригинал

Unsloth обновила сжатые Qwen3.8-27B: точность выросла на 5–10% при том же размере

Чтобы запустить большую модель Qwen3.8-27B дома, её веса сжимают до 2–6 бит, и качество при этом падает. Команда Unsloth выпустила обновление Dynamic v3.1: на бенчмарках, включая Terminal Bench 2.1 и DeepSWE, сжатые версии отвечают точнее на 5–10% при том же размере файла. 4-битная версия помещается в 16–19 ГБ видеопамяти — хватит RTX 4090 или Mac с 24 ГБ. Если гоняете модель локально для кода и агентов, стоит перекачать веса.

AI-обработка оригинала Hacker News AI; редакция Hamidun News
Unsloth обновила сжатые Qwen3.8-27B: точность выросла на 5–10% при том же размере
Источник: Hacker News AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHacker News AI ↗
Главный редактор
3-битные версии не трогалистарая UD3 показала результат на уровне UD3.1
Unsloth оспорила тест ISTAу неё 14 прогонов AIME25 против одного
Ключевой факт #3NVFP4 на видеокартах Blackwell в 1,5 раза быстрее BF16

Qwen3.8-27B — модель Qwen на 27 миллиардов параметров, которая хорошо пишет код, работает агентом в терминале, понимает картинки и поддерживает диалог. В полной точности она весит десятки гигабайт и не влезает в память обычной видеокарты. Поэтому её сжимают: каждый вес хранят не в 16 битах, а в 2–6. Это как JPEG для фотографии: файл меньше, но детали теряются. Команда Unsloth делает такие сжатые версии, и в обновлении Dynamic v3.1 она заявляет: при том же размере файла средняя точность на большинстве бенчмарков выросла на 5–10% по сравнению с её прежними версиями. Для тех, кто запускает модель у себя, это означает тот же объём памяти и более качественные ответы.

Что изменилось в Dynamic v3.1

Обновление вышло 11 ноября 2026 года. Новая версия алгоритма сжатия затронула почти все варианты от 2 до 6 бит. Исключение — 3-битные UD3: на них UD3.1 почти не дала выигрыша, и команда решила их не менять.

Проверяли на агентских задачах Terminal Bench 2.1 и DeepSWE v1.1, а также на LiveCodeBench v6, GPQA Diamond, MMLU-Pro и AIME25. В агентских тестах контекст составлял 256K токенов, в остальных — 128K. Параметры генерации: temperature 1.0, top_p 0.95, top_k 20, с сохранением рассуждений и максимальным уровнем reasoning.

Для практики важнее всего требования к железу. 4-битная версия работает на 16–19 ГБ видеопамяти: подойдут RTX 5080, RTX 4090 или Mac с 24 ГБ памяти. Правило от авторов: сумма оперативной и видеопамяти должна примерно равняться размеру выбранной версии. Если не хватает, модель всё равно запустится, но заметно медленнее, потому что часть данных придётся подгружать с диска. Ещё стоит оставить запас в 1–2 ГБ.

Спор с ISTA о том, как честно мерить точность

Отдельная часть материала — полемика с конкурирующим методом GSQ-RCO от ISTA. В сравнении ISTA старые сжатия Unsloth на LiveCodeBench выглядели хуже. Unsloth получила обратный результат: UD3 лучше ISTA на всех размерах, кроме самого маленького. Авторы предполагают, что ISTA считала с контекстом около 96K, а не 128K. При 96K метод GSQ-RCO действительно немного впереди, при 128K UD3 выигрывает заметно.

Второй пример — AIME25. У ISTA сжатые версии сохраняли 100% точности исходной модели в трёх случаях из четырёх и 96,7% в четвёртом. Unsloth считает, что там был лишь один прогон. Сама команда сделала 14 прогонов и получила среднее сохранение точности 93–96%, а не 100%. Жадное декодирование (temperature 0) тоже не дало стабильных 100%: вычисления на GPU не полностью детерминированы, к тому же в реальной работе так почти никто не генерирует.

Практический урок для всех, кто сравнивает модели: один запуск почти ничего не доказывает. Гоняйте тест несколько раз и на том контексте, который будете использовать в продукте.

Есть и оговорка про Exllama-v3. Эта библиотека хранит таблицу токенов в формате BF16. Unsloth убрала её из основных графиков размера, но признаёт: по реальному расходу диска и памяти картина выглядит иначе. Выбирая версию, сравнивайте полный размер файлов.

NVFP4, режимы рассуждения и ограничения

Владельцам видеокарт Blackwell (RTX 50-й серии, DGX Spark, B200, B300) предлагают версии NVFP4. По данным Unsloth, они в 1,5 раза быстрее BF16 и сохраняют 92–97% совпадений с оригиналом по топ-1 предсказанию токена. Запускать их сначала можно было только в vLLM, затем заработал и SGLang версии 0.5.19. Для старых карт остаются GGUF-файлы, которые работают в llama.cpp и в приложении Unsloth Desktop.

По умолчанию модель рассуждает на максимальном уровне. Чтобы сократить цепочки рассуждений и расход токенов, в llama.cpp можно передать параметр reasoning_effort, например medium. Есть и режим сохранения прошлых рассуждений между репликами: токенов уходит больше, зато в длинных диалогах точность может расти.

Главная оговорка: все цифры приведены самой Unsloth, независимой проверки пока нет, а полные таблицы в исходнике сведены к ссылкам. Однако методику авторы раскрыли достаточно подробно, чтобы замеры можно было повторить. Если вы используете Qwen3.8-27B локально для программирования или агентов, обновить веса до v3.1 разумно. Заодно проверьте свой сценарий на нескольких прогонах, а не по одному удачному результату.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что изменилось в Dynamic v3.1?

Обновление вышло 11 ноября 2026 года. Новая версия алгоритма сжатия затронула почти все варианты от 2 до 6 бит. Исключение — 3-битные UD3: на них UD3.1 почти не дала выигрыша, и команда решила их не менять. Проверяли на агентских задачах Terminal Bench 2.1 и DeepSWE v1.1, а также на LiveCodeBench v6, GPQA Diamond, MMLU-Pro и AIME25. В агентских тестах контекст составлял 256K токенов, в остальных — 128K.

Что известно по теме: спор с ISTA о том, как честно мерить точность?

Отдельная часть материала — полемика с конкурирующим методом GSQ-RCO от ISTA. В сравнении ISTA старые сжатия Unsloth на LiveCodeBench выглядели хуже. Unsloth получила обратный результат: UD3 лучше ISTA на всех размерах, кроме самого маленького. Авторы предполагают, что ISTA считала с контекстом около 96K, а не 128K. При 96K метод GSQ-RCO действительно немного впереди, при 128K UD3 выигрывает заметно. Второй пример — AIME25.

Что известно по теме: NVFP4, режимы рассуждения и ограничения?

Владельцам видеокарт Blackwell (RTX 50-й серии, DGX Spark, B200, B300) предлагают версии NVFP4. По данным Unsloth, они в 1,5 раза быстрее BF16 и сохраняют 92–97% совпадений с оригиналом по топ-1 предсказанию токена. Запускать их сначала можно было только в vLLM, затем заработал и SGLang версии 0.5.19. Для старых карт остаются GGUF-файлы, которые работают в llama.cpp и в приложении Unsloth Desktop. По умолчанию модель рассуждает на максимальном уровне.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…