Ollama на Mac перешла на MLX: 1851 токен/с при разборе промпта в версии 0.19
Ollama, программа для локального запуска нейросетей, в превью-версии перешла на MLX — фреймворк Apple, который эффективно использует общую память процессора и GPU. Для локальных агентов вроде Claude Code это меньше ожидания: в Ollama 0.19 заявлены 1851 токен/с при разборе промпта и 134 токена/с при генерации ответа. Цифры получены на одной модели с int4-квантизацией, так что проверьте свой сценарий на Mac с памятью больше 32 ГБ.
AI-обработка оригинала Ollama Blog; редакция Hamidun News
Если вы запускали кодового агента на своём Mac, то знаете это ощущение: отправили запрос и ждёте, пока модель «прочитает» длинный контекст, и только потом она начинает отвечать. Команда Ollama, популярной программы для локального запуска нейросетей, выпустила превью-версию, которая бьёт именно по этой паузе. На компьютерах с чипами Apple Silicon Ollama теперь построена на MLX — собственном фреймворке Apple для машинного обучения, рассчитанном на единую память, где процессор и видеоядро работают с одним общим пулом и не копируют данные туда-сюда.
Главная цифра релиза относится к версии Ollama 0.19: 1851 токен в секунду при разборе промпта (эту стадию называют prefill) и 134 токена в секунду при генерации ответа (decode) с int4-квантизацией, то есть сжатием весов модели до 4 бит. Токен — это кусочек текста, примерно слог или короткое слово. Первое число показывает, как быстро модель «проглатывает» ваш запрос и контекст, второе — как быстро печатает ответ.
Что изменилось под капотом
Раньше Ollama на маках опиралась на другую реализацию, теперь основа — MLX. По словам разработчиков, ускорение получили все устройства на Apple Silicon. На новых чипах M5, M5 Pro и M5 Max Ollama дополнительно использует нейроускорители в GPU. Они сокращают время до первого токена (TTFT) — ту самую паузу между отправкой запроса и началом ответа — и повышают скорость генерации.
Замеры сделали 29 марта 2026 года на модели Alibaba Qwen3.5-35B-A3B. Новую реализацию с квантизацией NVFP4 сравнивали с прежней версией Ollama 0.18 и форматом Q4_K_M. Цифры 1851 и 134 токена/с авторы называют ожидаемыми для Ollama 0.19. Это данные самих разработчиков и одна связка «модель плюс железо», поэтому на вашем Mac результат будет другим.
NVFP4 и кэш для агентов
Вторая новость — поддержка формата NVFP4 от NVIDIA. Он хранит веса модели в сжатом виде, сохраняя точность и снижая нагрузку на память и диск. Практический смысл такой: всё больше провайдеров инференса запускают модели в NVFP4. Если локально вы используете тот же формат, ответы ближе к тем, что вы получите в продакшене. Ещё Ollama сможет запускать модели, оптимизированные инструментами NVIDIA. Другие форматы точности обещают добавить позже.
Третье улучшение — кэш, и оно важно для агентов. Представьте, что Claude Code открывает несколько веток работы с одним системным промптом и описанием инструментов. Раньше эту общую «шапку» приходилось обрабатывать снова. Теперь Ollama переиспользует кэш между диалогами: меньше занятой памяти и больше попаданий в кэш при ветвлении. Кроме того, Ollama сохраняет снимки кэша в «умных» местах промпта, поэтому не пересчитывает текст с начала. Общие префиксы живут дольше, даже когда старые ветки выбрасываются из памяти.
Как попробовать и какие ограничения
Превью ускоряет одну модель — Qwen3.5-35B-A3B с параметрами сэмплирования, подобранными для программирования. Нужен Mac с более чем 32 ГБ единой памяти. Команды запуска:
- ollama launch claude --model qwen3.5:35b-a3b-coding-nvfp4
- ollama launch openclaw --model qwen3.5:35b-a3b-coding-nvfp4
- ollama run qwen3.5:35b-a3b-coding-nvfp4
Ограничения понятны: это превью, список моделей короткий, а владельцам Mac с 16 или 24 ГБ памяти эта конфигурация не подойдёт. Для тех, кто дообучал свои модели на поддерживаемых архитектурах, команда обещает упростить импорт. Пока она будет расширять список архитектур.
Что делать разработчику
Если вы используете локальных агентов вроде Claude Code, OpenClaw или Codex на Mac с большим объёмом памяти, прогоните свой привычный сценарий на новом движке. Замеряйте два показателя отдельно: время до первого токена и скорость генерации. Для агентов, которые постоянно пересылают длинный контекст, выигрыш от кэша может оказаться заметнее, чем прирост скорости печати ответа. Ollama явно делает ставку на связку MLX, NVFP4 и открытые модели Qwen. В благодарностях разработчики называют команды MLX, NVIDIA, GGML и llama.cpp, а также Alibaba Qwen.
- 21 нояб. 2026 г.Флеш-память для SSD подешевела на 19–32% в разовых сделках — накопители могут упасть в цене
- 21 нояб. 2026 г.Unsloth обновила сжатые Qwen3.8-27B: точность выросла на 5–10% при том же размере
- 21 нояб. 2026 г.ИИ пишет уязвимый код в 44% тестов: Positive Technologies дала агентам сканер
- 21 нояб. 2026 г.Сбер выпустил колонку с ГигаЧатом за 14 990 рублей: голос понимает без интернета
Вопросы и ответы по материалу
Что известно по теме: что изменилось под капотом?
Раньше Ollama на маках опиралась на другую реализацию, теперь основа — MLX. По словам разработчиков, ускорение получили все устройства на Apple Silicon. На новых чипах M5, M5 Pro и M5 Max Ollama дополнительно использует нейроускорители в GPU. Они сокращают время до первого токена (TTFT) — ту самую паузу между отправкой запроса и началом ответа — и повышают скорость генерации. Замеры сделали 29 марта 2026 года на модели Alibaba Qwen3.5-35B-A3B.
Что известно по теме: NVFP4 и кэш для агентов?
Вторая новость — поддержка формата NVFP4 от NVIDIA. Он хранит веса модели в сжатом виде, сохраняя точность и снижая нагрузку на память и диск. Практический смысл такой: всё больше провайдеров инференса запускают модели в NVFP4. Если локально вы используете тот же формат, ответы ближе к тем, что вы получите в продакшене. Ещё Ollama сможет запускать модели, оптимизированные инструментами NVIDIA. Другие форматы точности обещают добавить позже. Третье улучшение — кэш, и оно важно для агентов.
Что известно по теме: как попробовать и какие ограничения?
Превью ускоряет одну модель — Qwen3.5-35B-A3B с параметрами сэмплирования, подобранными для программирования. Нужен Mac с более чем 32 ГБ единой памяти. Команды запуска: ollama launch claude --model qwen3.5:35b-a3b-coding-nvfp4 ollama launch openclaw --model qwen3.5:35b-a3b-coding-nvfp4 ollama run qwen3.5:35b-a3b-coding-nvfp4 Ограничения понятны: это превью, список моделей короткий, а владельцам Mac с 16 или 24 ГБ памяти эта конфигурация не подойдёт.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.