Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуHabr AI→ оригинал

Mac mini на 16 ГБ вместо платного API: Qwen разбирает фото еды за 20–40 секунд

Владелец приложения про здоровый образ жизни перестал платить за облачный API: презентация или PDF через Claude и ChatGPT иногда стоили до 3 $ за файл, поэтому он запустил модели на офисном Mac mini с 16 ГБ памяти. Qwen распознаёт фото еды за 20–40 секунд, а модель на 14 млрд параметров выдаёт около 11 токенов в секунду. Для фоновых однотипных задач этого хватает, но покупать Mac ради такой экономии не стоит.

AI-обработка оригинала Habr AI; редакция Hamidun News
Mac mini на 16 ГБ вместо платного API: Qwen разбирает фото еды за 20–40 секунд
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Модель на 32 млрд параметров требует около 20 ГБ и в 16 ГБ не влезает
Ключевой факт #2Б/у RTX 3060 на такой же 14B-модели быстрее примерно вдвое (чужие тесты)
Ключевой факт #3За несколько дней в шлюз без ключа постучались 277 раз, все получили отказ

Каждый запрос к Claude или ChatGPT через API (платный доступ к нейросети из кода) стоит денег: презентация или PDF иногда обходятся до 3 долларов за файл, десять запросов — около доллара. Владелец небольшой компании и приложения про здоровый образ жизни решил не платить и запустил нейросети у себя: взял ненужный офисный Mac mini с 16 ГБ оперативной памяти, поставил Ollama (программу для запуска моделей на своём компьютере) и открытую модель Qwen. Теперь Qwen разбирает фотографию еды за 20–40 секунд, а модель на 14 миллиардов параметров выдаёт около 11 токенов (примерно слогов) в секунду. Бесплатно, но с оговорками, о которых ниже.

Зачем вообще локальная модель

Расчёт простой. Для разовой работы 3 доллара за файл — пустяк, но для сервиса с постоянным потоком запросов это уже статья бюджета. Локальная модель убирает плату за запрос: ключ доступа выдаёшь себе сам, а данные не уходят на сторонние серверы.

Главная рабочая задача сейчас — распознавание фотографий еды для приложения. Для неё используется vision-модель (понимающая картинки) Qwen: качество приемлемое, цена нулевая. 20–40 секунд на снимок — нормально для фонового сценария, где пользователю не нужен мгновенный ответ. Для чата в реальном времени — уже нет.

Что на самом деле даёт Mac mini

У дискретной видеокарты своя память: у RTX, например, 12 ГБ, и модель должна поместиться именно в неё. У Mac на процессоре ARM память общая, и под модель отдаётся почти вся оперативка. На 16-гигабайтной версии видеоядру доступно около 10,7 ГБ, остальное занимает система. Это даже меньше, чем у RTX.

Отсюда практические цифры. Модель на 14 млрд параметров занимает около 9 ГБ и помещается целиком. Модель на 32 млрд требует примерно 20 ГБ и не влезает. Автор делает честный вывод: преимущество общей памяти на 16 ГБ почти не работает, оно начинается с конфигураций от 32 ГБ.

Скорость скромная: около 11 токенов в секунду на 14B. По чужим тестам, б/у RTX 3060 на такой же модели примерно вдвое быстрее. Плюсы Mac в другом. Ollama ставится одной командой и сама использует видеоядро, драйверы не нужны. Устройство маленькое и тихое: около 4 Вт в простое и до 65 Вт под нагрузкой. Его можно использовать и как домашний сервер для данных. Кроме того, машина досталась автору почти даром: новая стоила бы порядка 60–70 тысяч рублей.

Агент вместо админа и шишки по дороге

Настройку автор отдал Claude Code: агент сам ставил модели, настраивал доступ и писал инструкции, чтобы лёгкие модели выдавали нужный формат. Подключение устроено аккуратно: вход по SSH только по ключу, пароли отключены, у Mac нет белого IP и открытых портов. Разработчики и приложение ходят к нему через туннель до сервера автора.

Эта защита пригодилась. Claude Code собрал статистику: в шлюз для программистов за несколько дней без ключа стучались 277 раз. Автор называет это сканерами, которые находят любой новый адрес. Все запросы получили отказ.

Были и проблемы:

  • Модель llama3.2-vision перестала распознавать блюда. В новой версии Ollama она не работает, поэтому её заменили на Qwen.
  • Сломался DNS: интернет формально был, но ни один сайт не открывался. Причину нашёл и объяснил Claude.
  • После отключения света зашифрованный диск потребовал пароль при загрузке. Несколько дней, пока автора не было в офисе, доступа к машине не было.

Другие модели, например DeepSeek, пока лежат без дела. Команда пробовала Mac в конфигураторе серверного оборудования, но проект ещё в разработке, и программист там один.

Вывод для практика

Локальный сервер окупается там, где много однотипных запросов, не требующих топового качества: распознавание картинок, шаблонные документы, фоновая обработка. Если объёмных API-задач нет, покупать ради этого Mac mini смысла нет. Если компьютер с видеокартой уже есть, дешевле взять б/у RTX и запустить Ollama на нём. Если выбираете Mac именно под большие модели, берите конфигурацию от 32 ГБ: на 16 ГБ потолок — модели вроде 14B.

Перед запуском проверьте три вещи: работают ли модели после обновления Ollama, как получить доступ к машине после сбоя питания (шифрованный диск) и закрыт ли внешний доступ, кроме входа по ключам. Это скучная инженерия, но именно она определяет, будет ли экономия реальной.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: зачем вообще локальная модель?

Расчёт простой. Для разовой работы 3 доллара за файл — пустяк, но для сервиса с постоянным потоком запросов это уже статья бюджета. Локальная модель убирает плату за запрос: ключ доступа выдаёшь себе сам, а данные не уходят на сторонние серверы. Главная рабочая задача сейчас — распознавание фотографий еды для приложения. Для неё используется vision-модель (понимающая картинки) Qwen: качество приемлемое, цена нулевая.

Что известно по теме: что на самом деле даёт Mac mini?

У дискретной видеокарты своя память: у RTX, например, 12 ГБ, и модель должна поместиться именно в неё. У Mac на процессоре ARM память общая, и под модель отдаётся почти вся оперативка. На 16-гигабайтной версии видеоядру доступно около 10,7 ГБ, остальное занимает система. Это даже меньше, чем у RTX. Отсюда практические цифры. Модель на 14 млрд параметров занимает около 9 ГБ и помещается целиком. Модель на 32 млрд требует примерно 20 ГБ и не влезает.

Что известно по теме: агент вместо админа и шишки по дороге?

Настройку автор отдал Claude Code: агент сам ставил модели, настраивал доступ и писал инструкции, чтобы лёгкие модели выдавали нужный формат. Подключение устроено аккуратно: вход по SSH только по ключу, пароли отключены, у Mac нет белого IP и открытых портов. Разработчики и приложение ходят к нему через туннель до сервера автора. Эта защита пригодилась. Claude Code собрал статистику: в шлюз для программистов за несколько дней без ключа стучались 277 раз.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…