Китайцы собрали кластер из 1000 Mac Mini M4: считаем, где тут подвох

В телеграм-каналах гуляет история: в Китае собрали кластер из примерно 1000 Mac Mini M4 и запустили на нём ИИ полностью локально, без облаков. Аргументы звучат красиво: от $599 за штуку, 10–30 Вт на устройство против 300–500 Вт у GPU-сервера. Главная мысль тренда: превратить ИИ из ежемесячной подписки в собственный актив. Проверить это нельзя: в посте нет ни названия компании, ни модели, ни скорости генерации, а единственная ссылка ведёт на канал самого автора. Поэтому разберём не сам кейс, а то, что за ним может стоять.

Какую проблему это решает

Облачный инференс устроен просто: вы платите за токены или подписку, а данные уходят к провайдеру. Для медицины, финансов, госсектора и любой команды с чувствительными документами это часто стоп-фактор. К тому же счёт растёт вместе с нагрузкой, и его трудно прогнозировать. Локальный кластер меняет модель: данные остаются внутри периметра, а расходы становятся капитальными. Вы один раз покупаете железо и дальше платите в основном за электричество и обслуживание.

Где арифметика ломается

Сравнение «10–30 Вт против 300–500 Вт» некорректно. Сравнивать нужно не ватты на устройство, а энергию и деньги на один сгенерированный токен. Скорость инференса языковых моделей почти всегда упирается в пропускную способность памяти. У базового Mac Mini M4 это около 120 ГБ/с при 16 ГБ единой памяти, у версии M4 Pro порядка 273 ГБ/с. У серверной H100 это около 3,35 ТБ/с, то есть на порядок-два больше. Одна маленькая машина генерирует токены заметно медленнее, и тысяча таких машин не превращается в одну большую.

Причина в том, что большую модель приходится резать между узлами, а связь по Ethernet или Thunderbolt гораздо медленнее памяти. Зато тысяча машин хорошо подходит для другого сценария: каждая держит свою копию небольшой модели на 7–14 млрд параметров в квантизации, и запросы распределяются между ними. Это масштабирование по числу параллельных запросов, а не по размеру модели.

Пример. Внутренний сервис суммаризации тысяч документов в день или чат-бот поддержки на 8B-модели отлично ложится на такую схему: задачи независимы, качество небольшой модели достаточно, а данные не покидают офис. А вот запустить на таком кластере модель уровня сотен миллиардов параметров с приемлемой задержкой не получится.

Что с этим делать на практике

Сначала посчитайте честную стоимость токена: амортизация железа за 2–3 года, электричество, время администратора, делённые на реальное число токенов за этот срок. Сравните результат с API-ценой облачной модели сопоставимого качества. Для малой и средней нагрузки облако, скорее всего, окажется дешевле. Локальный вариант выигрывает при стабильной высокой загрузке или жёстких требованиях к приватности.

Учтите и эксплуатацию. Тысяча настольных компьютеров на macOS означает свой мониторинг, обновления, замену вышедших из строя узлов, стойки и охлаждение. Это не серверная ОС и не серверный форм-фактор, поэтому скрытые расходы быстро съедают часть экономии.

Если идея кажется интересной, не начинайте с тысячи. Возьмите 2–4 Mac Mini, поднимите MLX, llama.cpp или кластерные фреймворки вроде exo, прогоните свою модель на своих запросах и замерьте токены в секунду, задержку и потребление. Только после этого масштабируйте.

Итог: сама идея приватного кластера из дешёвого маломощного железа вполне рабочая, но для нишевых сценариев. Пока у истории нет цифр, воспринимайте её как повод посчитать свою экономику, а не как доказательство, что облако отменяется.