Поток 3 · Старт 23.11Живой Поток 3 интенсива «Вайбкодинг и ИИ-агенты» (23 ноября, 18:30 МСК): 3 недели практики, 9 живых встречПоток 3 (23.11) →
ИнфраструктураОткрытые веса · В работуX: @grok→ оригинал

bitnet.cpp от Microsoft ускоряет LLM на обычном CPU до 6,17 раза и режет энергию на 82%

В сети пишут, что Microsoft запустила 100-миллиардную нейросеть на обычном процессоре. Правда лишь частично: bitnet.cpp ускоряет модели с весами из трёх значений (−1, 0, +1, или 1,58 бита) на x86 до 6,17 раза и режет энергопотребление до 82,2%. Но 100 млрд — теоретический потолок, а обучена и опубликована только модель на 2 млрд. Для CPU-проектов считать стоит на неё.

AI-обработка оригинала X: @grok; редакция Hamidun News
bitnet.cpp от Microsoft ускоряет LLM на обычном CPU до 6,17 раза и режет энергию на 82%
Источник: X: @grok. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @grok ↗
Главный редактор
Скорость на x86до 6,17 раза выше, энергии уходит до 82,2% меньше
100B пока только расчёт5–7 токенов в секунду, примерно темп чтения
Ключевой факт #3Реально доступна модель на 2 млрд параметров, близкая к полной точности

В соцсетях снова ходит красивая история: Microsoft якобы научила обычный процессор без видеокарты запускать нейросеть на 100 миллиардов параметров. Звучит как конец эпохи дорогих GPU. На деле подтверждается только часть: открытый фреймворк bitnet.cpp действительно ускоряет модели с очень «лёгкими» весами на обычных процессорах x86 до 6,17 раза и снижает энергопотребление до 82,2%. А вот готовой модели на 100 миллиардов параметров никто не публиковал. Разберёмся, что здесь реально, а что пока расчёт на бумаге, потому что от этого зависит, стоит ли закладывать запуск на CPU в продукт.

Что подтверждается

BitNet b1.58 — подход, при котором веса нейросети хранятся не в 16 или 8 битах, а всего в трёх значениях: −1, 0 и +1. Чтобы закодировать три состояния, нужно около 1,58 бита на вес, отсюда и название. Представьте, что вместо точной оценки «7,34 из 10» эксперт ставит только «плохо», «нейтрально» или «хорошо». Информации меньше, зато считать и хранить это радикально дешевле: вместо умножения дробных чисел остаются сложения и вычитания.

Чтобы такие модели не просто занимали мало места, но и быстро работали, Microsoft выпустила открытый фреймворк bitnet.cpp. По заявленным данным, на процессорах x86 он ускоряет инференс (то есть генерацию ответов готовой моделью) до 6,17 раза и снижает энергопотребление до 82,2% по сравнению с обычными реализациями. Важна оговорка «до»: это верхняя граница в лучших конфигурациях, а не гарантия для любой машины и любого размера модели.

Где заканчивается правда: история про 100B

Цифра в 100 миллиардов параметров действительно фигурирует в материалах проекта, но как демонстрация возможностей фреймворка. Теоретически bitnet.cpp способен прогнать такую модель на одном CPU со скоростью 5–7 токенов в секунду, примерно как скорость неспешного чтения человеком. Однако готовой обученной модели такого размера в открытом доступе нет. Фреймворк умеет её запускать, но запускать пока нечего.

Реально опубликована модель на 2 миллиарда параметров. По заявлению Microsoft, по качеству она близка к моделям того же размера с полной точностью весов. Это важная деталь: речь о сравнении «наш 2B против чужих 2B», а не о том, что маленькая троичная модель догоняет крупные модели класса GPT. Двухмиллиардная модель — хороший вариант для простых задач вроде классификации, извлечения полей, коротких ответов и локальных ассистентов, но не замена флагманским LLM в сложных рассуждениях.

Что это значит для разработчиков

Первое: CPU-инференс становится практичным для узких сценариев. Если вам нужна небольшая модель на ноутбуках сотрудников, на периферийных устройствах или на серверах без GPU, экономия энергии и памяти может быть существенной. Меньшее энергопотребление важно и для тех, кто считает стоимость владения, а не только скорость.

Второе: не стройте планы вокруг модели на 100B. Пока нет обученного публичного чекпойнта, это красивый слайд, а не инструмент. Чтобы такая модель появилась, её нужно обучить с нуля в троичном формате: обычную модель просто «сжать» до 1,58 бита без потери качества нельзя. Это дорого, и пока никто из крупных игроков публично не показал результат на таком масштабе.

Третье: проверяйте цифры на своём железе. Ускорение в 6,17 раза измерено в определённых условиях, и на вашем процессоре с вашим объёмом контекста результат может оказаться заметно скромнее. Скачайте bitnet.cpp, запустите двухмиллиардную модель и измерьте скорость в токенах в секунду, потребление памяти и качество на ваших реальных запросах.

Ограничения

Источник этой проверки — короткий ответ в соцсети, поэтому точные условия бенчмарков (модель процессора, размер контекста, сравниваемые реализации) стоит искать в первоисточниках Microsoft. Кроме того, экосистема 1,58-битных моделей пока крошечная: выбор весов ограничен, а инструменты дообучения отстают от привычных для обычных LLM.

Итог: заявление частично правдиво. Технология работает, ускорение и экономия энергии заявлены на практике, двухмиллиардная модель доступна. Но сенсация «100B на домашнем процессоре» пока остаётся теоретической возможностью, а не готовым продуктом.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что подтверждается?

BitNet b1.58 — подход, при котором веса нейросети хранятся не в 16 или 8 битах, а всего в трёх значениях: −1, 0 и +1. Чтобы закодировать три состояния, нужно около 1,58 бита на вес, отсюда и название. Представьте, что вместо точной оценки «7,34 из 10» эксперт ставит только «плохо», «нейтрально» или «хорошо». Информации меньше, зато считать и хранить это радикально дешевле: вместо умножения дробных чисел остаются сложения и вычитания.

Что известно по теме: где заканчивается правда: история про 100B?

Цифра в 100 миллиардов параметров действительно фигурирует в материалах проекта, но как демонстрация возможностей фреймворка. Теоретически bitnet.cpp способен прогнать такую модель на одном CPU со скоростью 5–7 токенов в секунду, примерно как скорость неспешного чтения человеком. Однако готовой обученной модели такого размера в открытом доступе нет. Фреймворк умеет её запускать, но запускать пока нечего. Реально опубликована модель на 2 миллиарда параметров.

Что известно по теме: что это значит для разработчиков?

Первое: CPU-инференс становится практичным для узких сценариев. Если вам нужна небольшая модель на ноутбуках сотрудников, на периферийных устройствах или на серверах без GPU, экономия энергии и памяти может быть существенной. Меньшее энергопотребление важно и для тех, кто считает стоимость владения, а не только скорость. Второе: не стройте планы вокруг модели на 100B. Пока нет обученного публичного чекпойнта, это красивый слайд, а не инструмент.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…