Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуOllama Blog→ оригинал

Ollama ускорила запуск моделей на NVIDIA до 20% и включила Vulkan для AMD и Intel

Ollama, программа для запуска нейросетей на своём компьютере, ускорила работу с форматом GGUF. На NVIDIA прирост до 20%: замер на Gemma 4 26B, видеокарте RTX 5090 и сжатии весов Q4_K_M. А Vulkan, универсальный графический интерфейс, теперь включён по умолчанию, и карты AMD и Intel работают без фирменных библиотек. Локальные модели проще запускать на том железе, что уже есть.

AI-обработка оригинала Ollama Blog; редакция Hamidun News
Ollama ускорила запуск моделей на NVIDIA до 20% и включила Vulkan для AMD и Intel
Источник: Ollama Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникOllama Blog ↗
Главный редактор
До 20% быстрее на NVIDIAоптимизации дали команды NVIDIA и llama.cpp
Ключевой факт #2Vulkan включён по умолчанию — AMD и Intel работают без доп. библиотек
Модель с Hugging FaceGGUF-файл, Modelfile и команда ollama create

Ollama — программа, которая запускает нейросети прямо на вашем компьютере, а не в чужом облаке, — выпустила обновление с двумя заметными изменениями. Во-первых, на видеокартах NVIDIA модели теперь работают до 20% быстрее: так показал замер на модели Gemma 4 26B, видеокарте RTX 5090 и сжатии весов Q4_K_M (это способ уменьшить модель, чтобы она влезала в видеопамять). Во-вторых, по умолчанию включён Vulkan — универсальный графический интерфейс, который понимают карты разных производителей. Поэтому владельцы AMD и Intel получают ускорение на GPU без установки фирменных библиотек. Вдобавок Ollama лучше работает с GGUF — единым файловым форматом, в котором локальные модели публикуют на Hugging Face. Для разработчика это значит меньше возни с драйверами и больше моделей, которые запускаются одной командой.

Запускать нейросети на собственном железе давно перестало быть хобби для энтузиастов: это способ не платить за API, не отправлять код и документы наружу и спокойно экспериментировать с открытыми моделями. Но у локального запуска всегда было два больных места: не каждая видеокарта нормально поддерживалась, а нужную модель с Hugging Face приходилось долго подгонять под инструмент. Свежее обновление Ollama бьёт сразу по обоим.

Быстрее на NVIDIA и шире по железу

Первое изменение — скорость. По данным Ollama, на оборудовании NVIDIA производительность выросла до 20%. Это не собственная магия разработчиков: в оптимизациях участвовали команды NVIDIA и проекта llama.cpp, на котором держится большая часть экосистемы локальных моделей. Замер сделали на Gemma 4 26B, запущенной на RTX 5090 с квантизацией Q4_K_M. Квантизация — это сжатие весов модели до меньшей разрядности, чтобы она помещалась в видеопамять и работала быстрее; Q4_K_M — один из самых популярных компромиссов между размером и качеством.

Второе изменение — Vulkan теперь включён по умолчанию. Благодаря ему ускорение на GPU получают устройства AMD и Intel, причём без установки фирменных библиотек от производителя. Раньше такая настройка нередко превращалась в квест: подобрать версию драйвера, поставить дополнительный набор компонентов, проверить, что всё увиделось. Теперь по замыслу авторов модель должна просто запуститься на видеокарте.

Параллельно Ollama расширила совместимость с экосистемой GGUF. Поддержку дополнили для Apple silicon, а теперь и для более широкого круга оборудования, так что больше моделей работает из коробки.

Как запустить модель из Hugging Face

Схема простая. Сначала скачиваете GGUF-файл или папку с такими файлами. Затем создаёте Modelfile — короткий текстовый файл, где указан путь к модели, например: FROM ./my-model.Q4_K_M.gguf. После этого выполняете команду ollama create -f Modelfile my-model и запускаете получившуюся модель под своим именем.

Для практики это важно: в Ollama проще привести не только «официальные» сборки, но и дообученные версии, которые выкладывают сообщество и сторонние команды. Если вам нужна модель, заточенная под вашу задачу, — например, под код на конкретном языке или под работу с документами, — не обязательно ждать, пока её добавят в каталог.

Агенты и ассистенты на локальной модели

Ещё одна деталь — наследование возможностей. Если GGUF-модель умеет вызывать инструменты (tool calling), эта способность сохраняется и в Ollama. Тогда её можно подключить к привычным кодинг-агентам и персональным ассистентам одной командой: ollama launch claude --model my-model, а также аналогичные варианты для hermes и openclaw. Чтобы проверить, что в конкретном файле поддержка вызова инструментов есть, нужно найти соответствующую отметку в описании модели.

Это полезно тем, кто собирает агентные цепочки и хочет прогонять черновые сценарии локально: отладка идёт без счёта за токены, а данные остаются на машине.

Что стоит учитывать

Цифра «до 20%» относится к одной конкретной конфигурации: Gemma 4 26B, RTX 5090 и Q4_K_M. На других моделях, картах и квантизациях прирост может отличаться, и сравнивать лучше на своих задачах. Про скорость Vulkan на картах AMD и Intel в анонсе цифр нет: заявлено расширение охвата, а не рекорды. Наконец, качество вызова инструментов зависит от самой модели: не каждая дообученная сборка уверенно справляется с агентными сценариями, даже если формально поддержка есть.

Авторы отдельно благодарят Георгия Герганова и мейнтейнеров llama.cpp, а также партнёров по железу — NVIDIA, AMD, Qualcomm и Intel — за работу над оптимизацией в экосистеме GGML. Это хороший сигнал: локальный запуск моделей всё чаще становится общей инженерной задачей производителей чипов, а не нишевой темой.

Практический вывод: если вы откладывали эксперименты с локальными моделями из-за капризного железа или сложной подгонки файлов, сейчас самое время попробовать. Обновите Ollama, скачайте GGUF с Hugging Face и сравните скорость на своей видеокарте — это займёт вечер, а результат поможет решить, какие задачи можно вынести с облачных API на собственную машину.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: быстрее на NVIDIA и шире по железу?

Первое изменение — скорость. По данным Ollama, на оборудовании NVIDIA производительность выросла до 20%. Это не собственная магия разработчиков: в оптимизациях участвовали команды NVIDIA и проекта llama.cpp, на котором держится большая часть экосистемы локальных моделей. Замер сделали на Gemma 4 26B, запущенной на RTX 5090 с квантизацией Q4_K_M.

Что известно по теме: как запустить модель из Hugging Face?

Схема простая. Сначала скачиваете GGUF-файл или папку с такими файлами. Затем создаёте Modelfile — короткий текстовый файл, где указан путь к модели, например: FROM ./my-model.Q4_K_M.gguf. После этого выполняете команду ollama create -f Modelfile my-model и запускаете получившуюся модель под своим именем. Для практики это важно: в Ollama проще привести не только «официальные» сборки, но и дообученные версии, которые выкладывают сообщество и сторонние команды.

Что известно по теме: агенты и ассистенты на локальной модели?

Ещё одна деталь — наследование возможностей. Если GGUF-модель умеет вызывать инструменты (tool calling), эта способность сохраняется и в Ollama. Тогда её можно подключить к привычным кодинг-агентам и персональным ассистентам одной командой: ollama launch claude --model my-model, а также аналогичные варианты для hermes и openclaw. Чтобы проверить, что в конкретном файле поддержка вызова инструментов есть, нужно найти соответствующую отметку в описании модели.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…