Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизОткрытые веса · В работуHabr AI→ оригинал

Mellum от JetBrains запустили локально в IDE: на MacBook M3 Pro получилось 5 баллов из 10

Облачные агенты вроде Claude Code, Codex и Cursor могут отключиться из-за блокировок, а счета за токены растут. Автор гайда на Habr собрал замену на MacBook M3 Pro: модель Mellum2.1 от JetBrains, LM Studio Bionic, агента OpenCode и среду OpenIDE. Всё работает без интернета и подписки. Свою связку он оценил на 5 из 10: мелкие задачи тянет, большие пока слишком медленно.

AI-обработка оригинала Habr AI; редакция Hamidun News
Mellum от JetBrains запустили локально в IDE: на MacBook M3 Pro получилось 5 баллов из 10
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Revolut перевела ~2000 инженеров на свой GLM; по её словам, расходы упали на 90%
Mellum2.1 — MoEиз 12 млрд параметров на токен активны около 2,5 млрд
Ключевой факт #3Сборка Q4_K_M весит около 8,1 ГБ, веса открыты под Apache 2.0

Облачные помощники для программистов — Claude Code, Codex, Cursor — удобны, пока к ним есть доступ. Но блокировки случаются, а счета за подписки и токены растут. Автор Habr-гайда решил проверить альтернативу: запустить модель прямо на ноутбуке и работать с ней как с обычным агентом в среде разработки. Он взял открытую модель Mellum2.1 от JetBrains, приложение LM Studio Bionic для её запуска, агента OpenCode и IDE под названием OpenIDE. Проверял на MacBook с чипом M3 Pro. Итог он оценил в 5 баллов из 10: просьба вроде «найди метод и объясни, что он делает» выполняется без интернета и без подписки, но большие задачи идут медленно.

Зачем вообще держать модель у себя

Главный довод — предсказуемость. Облачный агент может без предупреждения изменить возможности или отключиться, а счёт за токены способен внезапно вырасти. Автор приводит пример Revolut: компания перевела около 2000 инженеров на модель GLM, запущенную на собственных серверах, а Claude Code и Codex оставила только для отдельных задач. По словам Revolut, расходы на AI-кодинг упали примерно на 90%. Это данные самой компании, независимой проверки нет, но направление понятно.

Обычному разработчику локальная модель даёт то же самое в малом масштабе. Особенно если подписку не оплачивает работодатель. К тому же она работает в самолёте, в поезде и при любых проблемах со связью.

Как устроена связка

В примере используется Mellum2.1 12B A2.5B Thinking. Первая Mellum занималась автодополнением кода, а в версии 2.1 JetBrains отдельно улучшила работу с репозиторием: поиск нужного кода, правку файлов и проверку изменений. Название читается так:

  • 12B — около 12 миллиардов параметров;
  • A2.5B — архитектура MoE: на каждый токен работает лишь около 2,5 миллиарда параметров, поэтому вычислений меньше, но в памяти всё равно лежат веса целиком;
  • Thinking — перед ответом модель рассуждает, и на это уходит время.

Веса открыты под Apache 2.0. Автор берёт официальную GGUF-сборку с квантизацией Q4_K_M. Квантизация — это хранение весов с меньшей точностью: файл становится меньше и занимает около 8,1 ГБ. Если памяти хватает, можно попробовать 6 или 8 бит и сравнить ответы на своих задачах. Важная оговорка: размер файла — не вся нужная память. Ещё требуются контекст, система, браузер и сама IDE. На Mac с Apple Silicon память общая для процессора и графики, так что всё это конкурирует за одни гигабайты. Для других компьютеров автор советует сервис canirun.ai, но реальную скорость лучше проверять самому.

Цепочка такая. LM Studio Bionic скачивает и запускает модель и поднимает локальный OpenAI-совместимый API по адресу http://127.0.0.1:1234/v1. К нему подключается OpenCode, который можно поставить, например, через Homebrew. Затем этого же агента подключают в OpenIDE. Преимущество в том, что правила проекта и MCP-серверы, настроенные в OpenCode, работают и внутри IDE: отдельного агента под среду собирать не нужно. Рядом оказываются Git, клиент баз данных, отладка и Docker. Сам OpenCode такого не умеет: в нём нет DB-клиента, неудобно просматривать файлы, а диффы показываются не идеально.

Mellum брать необязательно. Подойдут модели семейств Qwen или Gemma, а при большом объёме памяти — Muse Glimmer от Meta. Главное — проверить поддержку вызова инструментов: одного умения писать код в чате для агента мало.

Что получилось на практике

Оценка честная: 5 из 10. Чтобы выполнить задачу, агенту нужно несколько раз обратиться к модели: прочитать файлы, внести правку и проверить её. На ноутбуке такие шаги идут медленно. На более мощном железе, по словам автора, результат будет заметно лучше, но для больших ежедневных задач он пока на локальные модели не переезжает.

Практический вывод: локальный стек уже годится как резерв на случай блокировки облака, для работы офлайн и для небольших задач. Заменой облачным агентам на серьёзной работе он пока не стал, особенно на ноутбуке среднего класса. Если хотите попробовать, начните с 4-битной сборки, замерьте скорость на своём репозитории и только потом решайте, нужно ли железо мощнее. Для команд пример Revolut показывает вариант «своя модель для рутины, облако для сложного». В следующей статье автор обещает разобрать бесплатные облачные варианты: лимиты и подключение к IDE.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: зачем вообще держать модель у себя?

Главный довод — предсказуемость. Облачный агент может без предупреждения изменить возможности или отключиться, а счёт за токены способен внезапно вырасти. Автор приводит пример Revolut: компания перевела около 2000 инженеров на модель GLM, запущенную на собственных серверах, а Claude Code и Codex оставила только для отдельных задач. По словам Revolut, расходы на AI-кодинг упали примерно на 90%. Это данные самой компании, независимой проверки нет, но направление понятно.

Что известно по теме: как устроена связка?

В примере используется Mellum2.1 12B A2.5B Thinking. Первая Mellum занималась автодополнением кода, а в версии 2.1 JetBrains отдельно улучшила работу с репозиторием: поиск нужного кода, правку файлов и проверку изменений. Название читается так: 12B — около 12 миллиардов параметров; A2.5B — архитектура MoE: на каждый токен работает лишь около 2,5 миллиарда параметров, поэтому вычислений меньше, но в памяти всё равно лежат веса целиком; Thinking — перед ответом модель рассуждает, и на это уходит время.

Что известно по теме: что получилось на практике?

Оценка честная: 5 из 10. Чтобы выполнить задачу, агенту нужно несколько раз обратиться к модели: прочитать файлы, внести правку и проверить её. На ноутбуке такие шаги идут медленно. На более мощном железе, по словам автора, результат будет заметно лучше, но для больших ежедневных задач он пока на локальные модели не переезжает. Практический вывод: локальный стек уже годится как резерв на случай блокировки облака, для работы офлайн и для небольших задач.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…