Сжатая Bonsai 2 27B на карте 2017 года выдала 17 токенов/с, а Qwen3 8B — 32
Разработчик хотел запустить локальную модель на старой майнинговой карте с 8 ГБ памяти и взял сжатую Bonsai 2 27B: 27 млрд параметров ужаты с 54 до 5,9 ГБ. Она запустилась, но обычная Qwen3 8B в те же 8 ГБ дала почти тот же результат: 36 баллов из 40 против 35 у Bonsai, а скорость 32 токена в секунду против 17. Bonsai требует форк PrismML: Ollama и обычный llama.cpp её не читают. Для домашнего ассистента на 8 ГБ проще взять 8B без костылей.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте, что вы хотите поднять локального ассистента без облака на железе, которое уже стоит под столом: например, на старой видеокарте от майнинга с 8 ГБ памяти. Обычная модель класса 27 миллиардов параметров весит десятки гигабайт и туда не влезает. Студия PrismML выпустила Bonsai 2 27B, которую ужала до 5,9 ГБ, и пообещала почти полное качество. Автор разбора на Habr проверил это на майнинговой NVIDIA P104-100 2017 года, процессоре i7-3770 без AVX2, 15,5 ГБ оперативки и двух недорогих Android-смартфонах. Итог для практика: запустить можно, но обычная Qwen3 8B, которая и так помещается в 8 ГБ, работает почти так же хорошо и вдвое быстрее. Скорость здесь считается в токенах в секунду (t/s): токен — это кусочек слова, примерно несколько букв.
Как 27B помещается в 5,9 ГБ
Обычная модель хранит каждый вес как 16-битное число, и 27B в таком виде весит около 54 ГБ. В Bonsai 2 у веса осталось всего три значения: −1, 0 и +1 (такое сжатие называют троичным). В формате PTQ1_0 это 1,75 бита на вес и 5,9 ГБ, в формате PQ2_0 — 2,13 бита и 7,2 ГБ. По заявлению разработчиков, сохраняется 98,2% качества исходной Qwen3.8-27B, а умножение заменяется сложением и сменой знака.
Размер важен ещё и для скорости: чтобы выдать один токен, карта читает все веса, поэтому скорость чаще упирается в пропускную способность памяти, чем в вычисления.
Есть и неприятная деталь. Троичные тензоры понимает только форк PrismML. Ollama при попытке прочитать такой файл выдаёт ошибку. Стандартный llama.cpp хуже: старый формат Q2_0 он загружает молча, а потом модель отвечает бессмыслицей. Перед сжатием веса поворачивают матрицей Адамара, чтобы сгладить редкие выбросы, и входные данные при работе нужно поворачивать так же, а обычный llama.cpp этого не делает. Ollama можно подружить с форком патчами, но они пропадут при первом же обновлении.
Что показали замеры
На P104-100 Bonsai PTQ1_0 читает промпт со скоростью 93,8 t/s, а генерирует около 17 t/s. При контексте 16K токенов занято 7967 МБ из 8191, а на 32K модель не стартует, так что паспортные 262K для 8 ГБ остаются теорией. На RTX 4090, по данным PrismML, скорость 81–91 t/s, то есть старая карта даёт примерно пятую часть.
Обычный 2-битный Qwen UD-IQ2_XXS того же размера на этой карте в шесть раз медленнее читает промпт (15,7 t/s) и в 1,6 раза медленнее генерирует (10,8 t/s). Скорость определяют ядра, написанные под конкретный формат, а не число бит на вес. Процессор без видеокарты выдал 0,6 t/s.
Диск влияет только на старт: 25 секунд с NVMe и 87 с HDD, дальше скорость почти одинакова — 16,5 и 17,0 t/s.
На качестве разницы почти нет. В наборе из 40 коротких заданий у Bonsai 35 баллов, у Qwen3 8B — 36. Код, JSON, поиск факта в тексте, знания и русский текст почти у всех безошибочны.
Расходятся только логика и математика, и тут 8B выиграла не совсем честно: в промпте было «ответь только числом», а она всё равно расписала вычисления по шагам. Когда автор включил рассуждение у Bonsai, она решила все пять задач вместо трёх, потратив 63 токена. В наборе из 20 сложных заданий с редкими знаниями и контекстом 8K и 16K явного преимущества у 27B тоже не нашлось: 8B набрала 8 баллов из 10 при 31,9 t/s, Bonsai — 7 из 10 при 16,8 t/s.
Сказки 27B писала чуть лучше, 19 баллов из 25 против 18, но выборка из пяти историй мала.
А что с телефонами
TECNO Pouvoir 4 строго 32-битный: Android-сборки форка есть только под arm64, а 32-битный процесс не откроет файл на 5,9 ГБ из-за лимита адресов в 4 ГБ. Младшие Bonsai 2B и 4B пришлось собирать из исходников, и они дают от 0,6 до 1,4 t/s. На TECNO Pova 5 с 8 ГБ 27B запустилась и верно ответила на 5 из 6 вопросов. Но приложению из 8 ГБ доступно около 3–4 ГБ, поэтому телефон заново читает веса с флеш-памяти на каждый токен. Итог — 0,05 t/s, то есть около 20 секунд на токен. На флагмане с 12–16 ГБ картина, вероятно, лучше, но автор это не проверял.
Что делать на практике
Для локального ассистента на 8 ГБ Qwen3 8B проще: стандартные инструменты, вдвое выше скорость и сопоставимое качество. Bonsai стоит пробовать, если у вас карта на 12–16 ГБ и нужен именно класс 27B, либо вы готовы жить на форке. Метод автора ограничен: один прогон на задание, маленькие наборы и субъективная оценка сказок.
- 18 нояб. 2026 г.LLM на VPS без видеокарты: 4B-модели сортируют обращения с точностью 90% за 3–5 с
- 18 нояб. 2026 г.Qwen на двух DGX Spark стал быстрее на 34–59% по токенам в секунду и обошёл GLM
- 18 нояб. 2026 г.Языковую модель на ESP32-S3 разогнали до 406 токенов/с — в 18 раз быстрее
- 18 нояб. 2026 г.После сбоя агенты откатывают работу лишь в 47% случаев, хотя решают 84% задач
Вопросы и ответы по материалу
Что известно по теме: как 27B помещается в 5,9 ГБ?
Обычная модель хранит каждый вес как 16-битное число, и 27B в таком виде весит около 54 ГБ. В Bonsai 2 у веса осталось всего три значения: −1, 0 и +1 (такое сжатие называют троичным). В формате PTQ1_0 это 1,75 бита на вес и 5,9 ГБ, в формате PQ2_0 — 2,13 бита и 7,2 ГБ. По заявлению разработчиков, сохраняется 98,2% качества исходной Qwen3.8-27B, а умножение заменяется сложением и сменой знака.
Что известно по теме: что показали замеры?
На P104-100 Bonsai PTQ1_0 читает промпт со скоростью 93,8 t/s, а генерирует около 17 t/s. При контексте 16K токенов занято 7967 МБ из 8191, а на 32K модель не стартует, так что паспортные 262K для 8 ГБ остаются теорией. На RTX 4090, по данным PrismML, скорость 81–91 t/s, то есть старая карта даёт примерно пятую часть. Обычный 2-битный Qwen UD-IQ2_XXS того же размера на этой карте в шесть раз медленнее читает промпт (15,7 t/s) и в 1,6 раза медленнее генерирует (10,8 t/s).
Что известно по теме: а что с телефонами?
TECNO Pouvoir 4 строго 32-битный: Android-сборки форка есть только под arm64, а 32-битный процесс не откроет файл на 5,9 ГБ из-за лимита адресов в 4 ГБ. Младшие Bonsai 2B и 4B пришлось собирать из исходников, и они дают от 0,6 до 1,4 t/s. На TECNO Pova 5 с 8 ГБ 27B запустилась и верно ответила на 5 из 6 вопросов. Но приложению из 8 ГБ доступно около 3–4 ГБ, поэтому телефон заново читает веса с флеш-памяти на каждый токен. Итог — 0,05 t/s, то есть около 20 секунд на токен.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.