72B-модель на MacBook M2 Pro дала 1–2 токена в секунду и перегрела ноутбук

Типичная история: прочитал пару статей, написал в терминале ollama pull, и вот у тебя «свой ИИ-агент, который знает весь код». QA-инженер Егор Лаптев из SENSE проверил этот сценарий на MacBook Pro M2 Pro с 32 ГБ памяти и получил учебник по тому, чего не пишут в туториалах.

Что пошло не так

Он взял Qwen Coder 72B и сжал её до Q2_K, это около 26 ГБ. Технически модель влезла в 32 ГБ. На практике Ollama забрал почти всю память, macOS ушла в активный своп, SSD загудел, а процессор и GPU стояли на 100%. Раз у Apple Silicon память общая, нагрузка ложится на всю систему сразу. Браузер лагал, IDE зависала, а через несколько минут включился thermal throttling.

Ограничение памяти не спасло. Стандартные советы про 4 ГБ не работают: 26 ГБ в них не помещаются, и Ollama просто выдаёт ошибку. Пришлось поднять лимит до 28 ГБ. Модель заработала, но на скорости 1–2 токена в секунду. Простой запрос «напиши парсер JSON» ждёшь минуту-две. Температура упала с 95°C+ до 85–90°C, ноутбук стал пригоден для работы, но не для комфортной.

Есть и скрытая цена. Постоянный своп изнашивает SSD, так что такой эксперимент не стоит гонять часами. Сам автор, впрочем, сообщает, что ноутбук цел: троттлинг был защитной реакцией, а не поломкой.

Десктоп помог, но не бесплатно

На ПК с RTX 4070 Ti Super (16 ГБ VRAM), 32 ГБ DDR5 и i5-13600KF та же модель выдавала 5–8 токенов в секунду. Ответ на простой запрос занимал 10–20 секунд. Часть весов всё равно жила в оперативной памяти, и это было заметно. Главный минус в том, что во время работы агента видеокарта занята на 80–90%. Поиграть или смонтировать видео можно только после остановки агента.

RAG: вот где счёт растёт

Модель без контекста ещё не агент. Чтобы она знала код, доки и тикеты, нужен RAG: векторная база, эмбеддинги, поиск. Автор прикинул объёмы. Личный проект на 14 тысяч чанков займёт около 200 МБ. Внутренние доки на 1,4 млн чанков дадут около 20 ГБ. Полный домен на 14 млн чанков потянет на 200 ГБ. К индексу HNSW добавляется 30–50% оверхеда. А если ещё и дообучать модель, состояния оптимизатора умножают память примерно в 3–4 раза.

Итог по железу: рабочая станция с RTX 4090 или A5000, 64 ГБ RAM и 4 ТБ SSD обойдётся примерно в $6500. Электричество добавит $100–180 в год. Самое дорогое при этом то, что личное устройство превращается в сервер.

Что с этим делать

Вывод автора вполне трезвый. Локально стоит держать модели 7B–14B в Q4_K_M или Q8: по его оценке, это около 90% качества при трети ресурсов. Они подходят для быстрых задач и для приватного кода. Тяжёлое рассуждение, RAG на сотни гигабайт и fine-tuning лучше отдавать в облако или на GPU-кластер.

Ограничения тоже стоит назвать. Это единичный опыт на конкретном железе, а не бенчмарк. Q2_K выбран сознательно как стресс-тест, и автор сам признаёт, что качество такой модели низкое. Цифры по хранилищу и стоимости ориентировочные.

Практический урок простой: прежде чем тянуть 72B на ноутбук, посчитайте память под веса, контекст и индекс. Если не хватает хотя бы по одному пункту, берите модель поменьше или облако. И не доверяйте туториалам, которые обещают «всё просто».