Ollama ускорила Gemma 4 на Mac почти на 90% в тесте кодинг-агента Aider
Ollama 0.31 ускорила Gemma 4 на Маках с Apple Silicon почти на 90%: в тесте Aider polyglot кодинг-агент решает реальные задачи, и модель выдаёт токены (кусочки текста) быстрее. Маленькая черновая модель угадывает несколько токенов вперёд, большая проверяет их за один проход и оставляет верные, поэтому ответ не меняется. В коде много скобок и шаблонов, так что догадки часто попадают. Локальным агентам это даёт меньше пауз между шагами.
AI-обработка оригинала Ollama Blog; редакция Hamidun News
Локальный кодинг-агент тормозит не из-за слабой модели, а из-за пауз: он читает файлы, вызывает инструменты, снова думает, и каждая секунда ожидания копится в минуты. Команда Ollama (программа для запуска нейросетей на своём компьютере) выпустила версию 0.31, в которой модель Gemma 4 от Google на Маках с чипами Apple Silicon генерирует токены, то есть кусочки текста, почти на 90% быстрее. Цифра получена на тесте Aider polyglot: в нём настоящий кодинг-агент решает реальные программистские задачи, а не синтетические загадки. Результат работы модели при этом остаётся тем же, а ускорение включено по умолчанию.
Как работает multi-token prediction
Обычная языковая модель выдаёт текст по одному токену: подумала, написала кусочек, снова подумала. Multi-token prediction (MTP, предсказание нескольких токенов сразу) ломает эту очередь. Вместе с Gemma 4 поставляется небольшая быстрая черновая модель. Она работает рядом с основной и предлагает сразу несколько следующих токенов.
Дальше основная модель проверяет всю пачку предложений за один проход и оставляет те токены, с которыми согласна. Это похоже на ситуацию, когда стажёр набрасывает несколько строк кода, а старший разработчик одним взглядом принимает правильные и вычёркивает ошибочные. Если догадки верны, модель фиксирует сразу несколько токенов по цене одного.
Код для такой схемы подходит почти идеально. В нём полно закрывающих скобок, повторяющихся имён переменных и шаблонных конструкций, поэтому черновая модель угадывает часто. Именно поэтому выигрыш заметнее всего у кодинг-агентов, которые обращаются к модели постоянно.
Разработчики Ollama отдельно подчёркивают: вывод модели не меняется. Основная модель всё равно сама решает, какие токены принять, так что это не упрощённая версия Gemma 4, а тот же результат, полученный быстрее.
Три изменения, которые дают ускорение
Первое: автоматический подбор длины черновика. Универсального числа токенов, которые стоит предлагать за раз, нет. Оно зависит от модели, квантизации (сжатия весов), железа и от того, насколько предсказуем текст в данный момент. Если предлагать мало, скорость остаётся на столе. Если много, время уходит на проверку отвергнутых догадок, и MTP становится медленнее обычной генерации. Ollama отслеживает, как часто догадки принимаются и сколько длится проверка, и выбирает длину, при которой выходит больше токенов в секунду. Когда догадки перестают попадать, движок возвращается к обычному режиму по одному токену, так что замедления не будет.
Второе: сам цикл спекулятивной генерации. Черновая модель предсказывает токен, подаёт его себе же на вход и повторяет, пока не получит короткую цепочку. Основная модель проверяет цепочку целиком. Всё это, включая выбор токена, выполняется на GPU одним проходом без возвратов на CPU. Отвергнутые токены к этому моменту уже записаны в кэш, то есть в рабочее состояние модели, чтобы не пересчитывать предыдущий текст. Поэтому движок запоминает точку отката перед каждым предложением, и при отказе просто откатывается к последнему принятому токену. Ничего прежнего не пересчитывается.
Третье: новое ядро для проверки пачки. Основные затраты приходятся не на черновик, а на проверку: основная модель прогоняется по пачке из 2–8 токенов. Ядра умножения матриц обычно рассчитаны либо на один токен, либо на большой пакет, а такой промежуточный размер неудобен для обоих случаев. Ollama добавила в MLX (фреймворк Apple для машинного обучения на Маках) ядро, которое читает и распаковывает каждый блок весов один раз и применяет его ко всей пачке, вместо того чтобы перечитывать веса для каждого токена. Вычисления те же, ускорение даёт отказ от лишней работы. Ядро доступно в MLX и другим моделям, не только Gemma 4 в Ollama.
Что важно знать на практике
Замеры сделаны на модели Gemma 4 12B в квантизации nvfp4 на чипе M5 Max. Сами авторы оговариваются, что выигрыш от MTP сильно зависит от нагрузки, а синтетический тест можно подогнать под любой результат. Поэтому ожидать ровно 90% на любой задаче не стоит: на непредсказуемом тексте догадки будут промахиваться чаще, и выигрыш уменьшится. Зато автоподбор длины должен защитить от замедления.
Чтобы попробовать, нужна Ollama 0.31 или новее для macOS. Запустить Gemma 4 с агентом можно командой ollama launch claude --model gemma4:12b-mlx. Если вы скачивали Gemma 4 раньше, модель нужно обновить: ollama pull gemma4:12b-mlx. Как сообщает Ollama, схема работает также с Codex, Droid, OpenCode, Copilot и другими инструментами.
Gemma 4 стала первой моделью, получившей такое ускорение, и Ollama обещает распространить его на другие. Для тех, кто гоняет кодинг-агентов локально на Mac, это бесплатный способ сократить ожидание без смены модели и без потери качества.
- 21 нояб. 2026 г.Флеш-память для SSD подешевела на 19–32% в разовых сделках — накопители могут упасть в цене
- 21 нояб. 2026 г.Unsloth обновила сжатые Qwen3.8-27B: точность выросла на 5–10% при том же размере
- 21 нояб. 2026 г.ИИ пишет уязвимый код в 44% тестов: Positive Technologies дала агентам сканер
- 21 нояб. 2026 г.Сбер выпустил колонку с ГигаЧатом за 14 990 рублей: голос понимает без интернета
Вопросы и ответы по материалу
Что известно по теме: как работает multi-token prediction?
Обычная языковая модель выдаёт текст по одному токену: подумала, написала кусочек, снова подумала. Multi-token prediction (MTP, предсказание нескольких токенов сразу) ломает эту очередь. Вместе с Gemma 4 поставляется небольшая быстрая черновая модель. Она работает рядом с основной и предлагает сразу несколько следующих токенов. Дальше основная модель проверяет всю пачку предложений за один проход и оставляет те токены, с которыми согласна.
Что известно по теме: три изменения, которые дают ускорение?
Первое: автоматический подбор длины черновика. Универсального числа токенов, которые стоит предлагать за раз, нет. Оно зависит от модели, квантизации (сжатия весов), железа и от того, насколько предсказуем текст в данный момент. Если предлагать мало, скорость остаётся на столе. Если много, время уходит на проверку отвергнутых догадок, и MTP становится медленнее обычной генерации.
Что известно по теме: что важно знать на практике?
Замеры сделаны на модели Gemma 4 12B в квантизации nvfp4 на чипе M5 Max. Сами авторы оговариваются, что выигрыш от MTP сильно зависит от нагрузки, а синтетический тест можно подогнать под любой результат. Поэтому ожидать ровно 90% на любой задаче не стоит: на непредсказуемом тексте догадки будут промахиваться чаще, и выигрыш уменьшится. Зато автоподбор длины должен защитить от замедления. Чтобы попробовать, нужна Ollama 0.31 или новее для macOS.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.