Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарOllama Blog→ оригинал

Ollama ускорила Gemma 4 на Mac почти на 90% в тесте кодинг-агента Aider

Ollama 0.31 ускорила Gemma 4 на Маках с Apple Silicon почти на 90%: в тесте Aider polyglot кодинг-агент решает реальные задачи, и модель выдаёт токены (кусочки текста) быстрее. Маленькая черновая модель угадывает несколько токенов вперёд, большая проверяет их за один проход и оставляет верные, поэтому ответ не меняется. В коде много скобок и шаблонов, так что догадки часто попадают. Локальным агентам это даёт меньше пауз между шагами.

AI-обработка оригинала Ollama Blog; редакция Hamidun News
Ollama ускорила Gemma 4 на Mac почти на 90% в тесте кодинг-агента Aider
Источник: Ollama Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникOllama Blog ↗
Главный редактор
ЗамерGemma 4 12B (nvfp4) на чипе M5 Max, ускорение включено по умолчанию
Ключевой факт #2Длина черновика подбирается на лету; при промахах — обычный режим
Ключевой факт #3Новое ядро для проверки 2–8 токенов добавлено в MLX для всех моделей

Локальный кодинг-агент тормозит не из-за слабой модели, а из-за пауз: он читает файлы, вызывает инструменты, снова думает, и каждая секунда ожидания копится в минуты. Команда Ollama (программа для запуска нейросетей на своём компьютере) выпустила версию 0.31, в которой модель Gemma 4 от Google на Маках с чипами Apple Silicon генерирует токены, то есть кусочки текста, почти на 90% быстрее. Цифра получена на тесте Aider polyglot: в нём настоящий кодинг-агент решает реальные программистские задачи, а не синтетические загадки. Результат работы модели при этом остаётся тем же, а ускорение включено по умолчанию.

Как работает multi-token prediction

Обычная языковая модель выдаёт текст по одному токену: подумала, написала кусочек, снова подумала. Multi-token prediction (MTP, предсказание нескольких токенов сразу) ломает эту очередь. Вместе с Gemma 4 поставляется небольшая быстрая черновая модель. Она работает рядом с основной и предлагает сразу несколько следующих токенов.

Дальше основная модель проверяет всю пачку предложений за один проход и оставляет те токены, с которыми согласна. Это похоже на ситуацию, когда стажёр набрасывает несколько строк кода, а старший разработчик одним взглядом принимает правильные и вычёркивает ошибочные. Если догадки верны, модель фиксирует сразу несколько токенов по цене одного.

Код для такой схемы подходит почти идеально. В нём полно закрывающих скобок, повторяющихся имён переменных и шаблонных конструкций, поэтому черновая модель угадывает часто. Именно поэтому выигрыш заметнее всего у кодинг-агентов, которые обращаются к модели постоянно.

Разработчики Ollama отдельно подчёркивают: вывод модели не меняется. Основная модель всё равно сама решает, какие токены принять, так что это не упрощённая версия Gemma 4, а тот же результат, полученный быстрее.

Три изменения, которые дают ускорение

Первое: автоматический подбор длины черновика. Универсального числа токенов, которые стоит предлагать за раз, нет. Оно зависит от модели, квантизации (сжатия весов), железа и от того, насколько предсказуем текст в данный момент. Если предлагать мало, скорость остаётся на столе. Если много, время уходит на проверку отвергнутых догадок, и MTP становится медленнее обычной генерации. Ollama отслеживает, как часто догадки принимаются и сколько длится проверка, и выбирает длину, при которой выходит больше токенов в секунду. Когда догадки перестают попадать, движок возвращается к обычному режиму по одному токену, так что замедления не будет.

Второе: сам цикл спекулятивной генерации. Черновая модель предсказывает токен, подаёт его себе же на вход и повторяет, пока не получит короткую цепочку. Основная модель проверяет цепочку целиком. Всё это, включая выбор токена, выполняется на GPU одним проходом без возвратов на CPU. Отвергнутые токены к этому моменту уже записаны в кэш, то есть в рабочее состояние модели, чтобы не пересчитывать предыдущий текст. Поэтому движок запоминает точку отката перед каждым предложением, и при отказе просто откатывается к последнему принятому токену. Ничего прежнего не пересчитывается.

Третье: новое ядро для проверки пачки. Основные затраты приходятся не на черновик, а на проверку: основная модель прогоняется по пачке из 2–8 токенов. Ядра умножения матриц обычно рассчитаны либо на один токен, либо на большой пакет, а такой промежуточный размер неудобен для обоих случаев. Ollama добавила в MLX (фреймворк Apple для машинного обучения на Маках) ядро, которое читает и распаковывает каждый блок весов один раз и применяет его ко всей пачке, вместо того чтобы перечитывать веса для каждого токена. Вычисления те же, ускорение даёт отказ от лишней работы. Ядро доступно в MLX и другим моделям, не только Gemma 4 в Ollama.

Что важно знать на практике

Замеры сделаны на модели Gemma 4 12B в квантизации nvfp4 на чипе M5 Max. Сами авторы оговариваются, что выигрыш от MTP сильно зависит от нагрузки, а синтетический тест можно подогнать под любой результат. Поэтому ожидать ровно 90% на любой задаче не стоит: на непредсказуемом тексте догадки будут промахиваться чаще, и выигрыш уменьшится. Зато автоподбор длины должен защитить от замедления.

Чтобы попробовать, нужна Ollama 0.31 или новее для macOS. Запустить Gemma 4 с агентом можно командой ollama launch claude --model gemma4:12b-mlx. Если вы скачивали Gemma 4 раньше, модель нужно обновить: ollama pull gemma4:12b-mlx. Как сообщает Ollama, схема работает также с Codex, Droid, OpenCode, Copilot и другими инструментами.

Gemma 4 стала первой моделью, получившей такое ускорение, и Ollama обещает распространить его на другие. Для тех, кто гоняет кодинг-агентов локально на Mac, это бесплатный способ сократить ожидание без смены модели и без потери качества.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как работает multi-token prediction?

Обычная языковая модель выдаёт текст по одному токену: подумала, написала кусочек, снова подумала. Multi-token prediction (MTP, предсказание нескольких токенов сразу) ломает эту очередь. Вместе с Gemma 4 поставляется небольшая быстрая черновая модель. Она работает рядом с основной и предлагает сразу несколько следующих токенов. Дальше основная модель проверяет всю пачку предложений за один проход и оставляет те токены, с которыми согласна.

Что известно по теме: три изменения, которые дают ускорение?

Первое: автоматический подбор длины черновика. Универсального числа токенов, которые стоит предлагать за раз, нет. Оно зависит от модели, квантизации (сжатия весов), железа и от того, насколько предсказуем текст в данный момент. Если предлагать мало, скорость остаётся на столе. Если много, время уходит на проверку отвергнутых догадок, и MTP становится медленнее обычной генерации.

Что известно по теме: что важно знать на практике?

Замеры сделаны на модели Gemma 4 12B в квантизации nvfp4 на чипе M5 Max. Сами авторы оговариваются, что выигрыш от MTP сильно зависит от нагрузки, а синтетический тест можно подогнать под любой результат. Поэтому ожидать ровно 90% на любой задаче не стоит: на непредсказуемом тексте догадки будут промахиваться чаще, и выигрыш уменьшится. Зато автоподбор длины должен защитить от замедления. Чтобы попробовать, нужна Ollama 0.31 или новее для macOS.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…