Unsloth обновила сжатые Qwen3.8-27B: точность выросла на 5–10% при том же размере
Чтобы запустить большую модель Qwen3.8-27B дома, её веса сжимают до 2–6 бит, и качество при этом падает. Команда Unsloth выпустила обновление Dynamic v3.1: на бенчмарках, включая Terminal Bench 2.1 и DeepSWE, сжатые версии отвечают точнее на 5–10% при том же размере файла. 4-битная версия помещается в 16–19 ГБ видеопамяти — хватит RTX 4090 или Mac с 24 ГБ. Если гоняете модель локально для кода и агентов, стоит перекачать веса.
AI-обработка оригинала Hacker News AI; редакция Hamidun News
Qwen3.8-27B — модель Qwen на 27 миллиардов параметров, которая хорошо пишет код, работает агентом в терминале, понимает картинки и поддерживает диалог. В полной точности она весит десятки гигабайт и не влезает в память обычной видеокарты. Поэтому её сжимают: каждый вес хранят не в 16 битах, а в 2–6. Это как JPEG для фотографии: файл меньше, но детали теряются. Команда Unsloth делает такие сжатые версии, и в обновлении Dynamic v3.1 она заявляет: при том же размере файла средняя точность на большинстве бенчмарков выросла на 5–10% по сравнению с её прежними версиями. Для тех, кто запускает модель у себя, это означает тот же объём памяти и более качественные ответы.
Что изменилось в Dynamic v3.1
Обновление вышло 11 ноября 2026 года. Новая версия алгоритма сжатия затронула почти все варианты от 2 до 6 бит. Исключение — 3-битные UD3: на них UD3.1 почти не дала выигрыша, и команда решила их не менять.
Проверяли на агентских задачах Terminal Bench 2.1 и DeepSWE v1.1, а также на LiveCodeBench v6, GPQA Diamond, MMLU-Pro и AIME25. В агентских тестах контекст составлял 256K токенов, в остальных — 128K. Параметры генерации: temperature 1.0, top_p 0.95, top_k 20, с сохранением рассуждений и максимальным уровнем reasoning.
Для практики важнее всего требования к железу. 4-битная версия работает на 16–19 ГБ видеопамяти: подойдут RTX 5080, RTX 4090 или Mac с 24 ГБ памяти. Правило от авторов: сумма оперативной и видеопамяти должна примерно равняться размеру выбранной версии. Если не хватает, модель всё равно запустится, но заметно медленнее, потому что часть данных придётся подгружать с диска. Ещё стоит оставить запас в 1–2 ГБ.
Спор с ISTA о том, как честно мерить точность
Отдельная часть материала — полемика с конкурирующим методом GSQ-RCO от ISTA. В сравнении ISTA старые сжатия Unsloth на LiveCodeBench выглядели хуже. Unsloth получила обратный результат: UD3 лучше ISTA на всех размерах, кроме самого маленького. Авторы предполагают, что ISTA считала с контекстом около 96K, а не 128K. При 96K метод GSQ-RCO действительно немного впереди, при 128K UD3 выигрывает заметно.
Второй пример — AIME25. У ISTA сжатые версии сохраняли 100% точности исходной модели в трёх случаях из четырёх и 96,7% в четвёртом. Unsloth считает, что там был лишь один прогон. Сама команда сделала 14 прогонов и получила среднее сохранение точности 93–96%, а не 100%. Жадное декодирование (temperature 0) тоже не дало стабильных 100%: вычисления на GPU не полностью детерминированы, к тому же в реальной работе так почти никто не генерирует.
Практический урок для всех, кто сравнивает модели: один запуск почти ничего не доказывает. Гоняйте тест несколько раз и на том контексте, который будете использовать в продукте.
Есть и оговорка про Exllama-v3. Эта библиотека хранит таблицу токенов в формате BF16. Unsloth убрала её из основных графиков размера, но признаёт: по реальному расходу диска и памяти картина выглядит иначе. Выбирая версию, сравнивайте полный размер файлов.
NVFP4, режимы рассуждения и ограничения
Владельцам видеокарт Blackwell (RTX 50-й серии, DGX Spark, B200, B300) предлагают версии NVFP4. По данным Unsloth, они в 1,5 раза быстрее BF16 и сохраняют 92–97% совпадений с оригиналом по топ-1 предсказанию токена. Запускать их сначала можно было только в vLLM, затем заработал и SGLang версии 0.5.19. Для старых карт остаются GGUF-файлы, которые работают в llama.cpp и в приложении Unsloth Desktop.
По умолчанию модель рассуждает на максимальном уровне. Чтобы сократить цепочки рассуждений и расход токенов, в llama.cpp можно передать параметр reasoning_effort, например medium. Есть и режим сохранения прошлых рассуждений между репликами: токенов уходит больше, зато в длинных диалогах точность может расти.
Главная оговорка: все цифры приведены самой Unsloth, независимой проверки пока нет, а полные таблицы в исходнике сведены к ссылкам. Однако методику авторы раскрыли достаточно подробно, чтобы замеры можно было повторить. Если вы используете Qwen3.8-27B локально для программирования или агентов, обновить веса до v3.1 разумно. Заодно проверьте свой сценарий на нескольких прогонах, а не по одному удачному результату.
- 21 нояб. 2026 г.MLCommons начал мерить ИИ-API под реальной нагрузкой: 7 замеров для агентов
- 21 нояб. 2026 г.Google открыла предзаказ на умные очки с Gemini от $395 — продажи с 10 декабря
- 21 нояб. 2026 г.Через OpenRouter три дня отвечала взломанная DeepSeek: отказы упали с 83–98% до 1%
- 21 нояб. 2026 г.Алиса, ChatGPT и Perplexity ссылаются лишь на 34 из 309 площадок для статей
Вопросы и ответы по материалу
Что известно по теме: что изменилось в Dynamic v3.1?
Обновление вышло 11 ноября 2026 года. Новая версия алгоритма сжатия затронула почти все варианты от 2 до 6 бит. Исключение — 3-битные UD3: на них UD3.1 почти не дала выигрыша, и команда решила их не менять. Проверяли на агентских задачах Terminal Bench 2.1 и DeepSWE v1.1, а также на LiveCodeBench v6, GPQA Diamond, MMLU-Pro и AIME25. В агентских тестах контекст составлял 256K токенов, в остальных — 128K.
Что известно по теме: спор с ISTA о том, как честно мерить точность?
Отдельная часть материала — полемика с конкурирующим методом GSQ-RCO от ISTA. В сравнении ISTA старые сжатия Unsloth на LiveCodeBench выглядели хуже. Unsloth получила обратный результат: UD3 лучше ISTA на всех размерах, кроме самого маленького. Авторы предполагают, что ISTA считала с контекстом около 96K, а не 128K. При 96K метод GSQ-RCO действительно немного впереди, при 128K UD3 выигрывает заметно. Второй пример — AIME25.
Что известно по теме: NVFP4, режимы рассуждения и ограничения?
Владельцам видеокарт Blackwell (RTX 50-й серии, DGX Spark, B200, B300) предлагают версии NVFP4. По данным Unsloth, они в 1,5 раза быстрее BF16 и сохраняют 92–97% совпадений с оригиналом по топ-1 предсказанию токена. Запускать их сначала можно было только в vLLM, затем заработал и SGLang версии 0.5.19. Для старых карт остаются GGUF-файлы, которые работают в llama.cpp и в приложении Unsloth Desktop. По умолчанию модель рассуждает на максимальном уровне.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.