Вышел llama.cpp 1.0.0: NVIDIA оптимизировала под свои видеокарты 4-битный формат NVFP4
Движок llama.cpp, который запускает нейросети прямо на вашем компьютере без облака, дорос до версии 1.0.0, и NVIDIA поздравила команду. В релизе есть новые открытые модели и CUDA-оптимизации (код под платформу NVIDIA для видеокарт) для NVFP4 — 4-битного формата, где модель занимает меньше памяти и считается быстрее. Цифр прироста в анонсе нет, поэтому скорость и качество ответов проверяйте на своей карте.
AI-обработка оригинала X: @NVIDIARTXSpark; редакция Hamidun News
Если вы хотите запускать языковую модель у себя на ноутбуке или домашнем сервере, а не платить облаку за каждый запрос, вам, скорее всего, пригодится llama.cpp. Это открытый движок Георгия Герганова, который выполняет уже обученные нейросети на обычном железе. Теперь он вышел в версии 1.0.0, и NVIDIA отметила это отдельным постом. В релизе есть поддержка новых открытых моделей и CUDA-оптимизации для NVFP4. CUDA — это программная платформа NVIDIA, через которую код работает на её видеокартах. NVFP4 — 4-битный формат записи чисел модели: он ужимает её, чтобы она занимала меньше видеопамяти и быстрее считалась.
Что известно о релизе
Фактов в публичном сообщении NVIDIA немного, и лучше назвать их честно. Во-первых, команда llama.cpp выпустила версию 1.0.0. Во-вторых, в релиз вошла поддержка дополнительных открытых моделей. В-третьих, для формата NVFP4 добавлены CUDA-оптимизации инференса, то есть ускорение того, как видеокарта NVIDIA выполняет готовую модель при ответах на запросы.
Бенчмарков, цифр прироста токенов в секунду и списка конкретных моделей в посте нет. Подробности, судя по всему, лежат в заметках к релизу, на которые ведёт ссылка. Поэтому громкие обещания вроде «в два раза быстрее» пока были бы выдумкой: на скорость влияют карта, размер модели, длина контекста и настройки запуска.
Зачем нужен NVFP4
Представьте, что модель — это огромная таблица чисел. Чем точнее записано каждое число, тем больше места оно занимает и тем дольше видеокарте приходится возить его из памяти в вычислительные блоки. Квантизация — это сжатие таблицы: числа записываются грубее, но модель занимает меньше памяти и работает быстрее. NVFP4 — 4-битный формат с плавающей запятой от NVIDIA, рассчитанный на её свежие архитектуры. Каждое число занимает всего четыре бита, поэтому модель с миллиардами параметров может поместиться в видеопамять, куда раньше влезала только модель поменьше.
Для llama.cpp это логичный шаг. Проект исторически силён в запуске сжатых моделей на самом разном железе: от процессоров и Apple Silicon до видеокарт. Оптимизации под CUDA для NVFP4 означают, что владельцы подходящих карт NVIDIA смогут использовать аппаратные возможности формата напрямую, а не через обходные пути. Насколько это ускорит работу и как скажется на качестве ответов, покажут независимые тесты.
Что это значит для разработчиков
Сам номер 1.0.0 — скорее сигнал зрелости, чем технический рубеж. Проект, который годами жил в режиме быстрых и иногда ломающихся обновлений, получает формальную отметку «можно закладывать в продукт». Для команд, которые строят локальные ассистенты, офлайн-инструменты или внутренние сервисы без передачи данных во внешние API, это удобный аргумент при выборе стека.
Практические шаги такие:
- Прочитайте заметки к релизу и проверьте, есть ли в списке поддержки модели, которые вы используете или собираетесь попробовать.
- Если у вас карта NVIDIA с поддержкой NVFP4, сравните новую сборку со своей текущей квантизацией по скорости и по качеству ответов на собственных задачах, а не на чужих графиках.
- Не переходите на новый формат вслепую. Любое 4-битное сжатие чуть меняет поведение модели, и на длинных рассуждениях или коде это может быть заметно.
Ограничения и контекст
Пост опубликован от лица NVIDIA, а не независимой лаборатории: компания заинтересована в том, чтобы популярные открытые инструменты хорошо работали на её видеокартах. Это не делает новость плохой, но заставляет отделять маркетинговую часть от измеримой. Кроме того, выигрыш от NVFP4 зависит от поколения GPU, и на старых картах эффект может быть другим или отсутствовать.
В целом новость показывает тенденцию: локальный ИИ перестаёт быть увлечением энтузиастов. Производитель чипов и главный открытый движок для домашнего инференса работают в одной связке, а значит, поддержка новых моделей и форматов будет появляться в таких инструментах быстрее. Остаётся дождаться реальных замеров и посмотреть, насколько версия 1.0.0 оправдает ожидания.
- 21 нояб. 2026 г.Linger запускает 12 ИИ-моделей на вашем ПК: до 5 раз быстрее и $0 за токены
- 21 нояб. 2026 г.QA-инженер сократил разработку автотестов с 2 недель до 2 дней с помощью LLM
- 21 нояб. 2026 г.Hermes позволил перенести локального агента в облако одним действием из Desktop
- 21 нояб. 2026 г.Apple перестроит защиту Mac в macOS 27.3 из-за ИИ-агентов с полным доступом к диску
Вопросы и ответы по материалу
Что известно по теме: что известно о релизе?
Фактов в публичном сообщении NVIDIA немного, и лучше назвать их честно. Во-первых, команда llama.cpp выпустила версию 1.0.0. Во-вторых, в релиз вошла поддержка дополнительных открытых моделей. В-третьих, для формата NVFP4 добавлены CUDA-оптимизации инференса, то есть ускорение того, как видеокарта NVIDIA выполняет готовую модель при ответах на запросы. Бенчмарков, цифр прироста токенов в секунду и списка конкретных моделей в посте нет. Подробности, судя по всему, лежат в заметках к релизу, на которые ведёт ссылка.
Что известно по теме: зачем нужен NVFP4?
Представьте, что модель — это огромная таблица чисел. Чем точнее записано каждое число, тем больше места оно занимает и тем дольше видеокарте приходится возить его из памяти в вычислительные блоки. Квантизация — это сжатие таблицы: числа записываются грубее, но модель занимает меньше памяти и работает быстрее. NVFP4 — 4-битный формат с плавающей запятой от NVIDIA, рассчитанный на её свежие архитектуры.
Что известно по теме: что это значит для разработчиков?
Сам номер 1.0.0 — скорее сигнал зрелости, чем технический рубеж. Проект, который годами жил в режиме быстрых и иногда ломающихся обновлений, получает формальную отметку «можно закладывать в продукт». Для команд, которые строят локальные ассистенты, офлайн-инструменты или внутренние сервисы без передачи данных во внешние API, это удобный аргумент при выборе стека. Практические шаги такие: Прочитайте заметки к релизу и проверьте, есть ли в списке поддержки модели, которые вы используете или собираетесь попробовать.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.