Apple готовит Harbor: кластер из Mac по Thunderbolt 5 для запуска локальных LLM

Главный враг локального запуска больших моделей — не вычисления, а память. Если веса занимают 180 ГБ, а в вашем Mac 128 ГБ, модель просто не загрузится, и никакая оптимизация тут не поможет. Именно эту проблему, судя по отчёту 9to5Mac и утечке интерфейса от Aaron Perris, собирается закрыть Apple своим приложением Harbor.

Что известно про Harbor

Harbor — нативное приложение для macOS, которое превращает Mac на чипах Apple Silicon в сервер инференса для открытых моделей. Заявленный набор такой:

• несколько Mac соединяются напрямую кабелем Thunderbolt 5, и их унифицированная память работает как общий пул;
• приложение само находит подключённые компьютеры и за несколько минут собирает кластер, без CLI и серверной настройки;
• каталог open-weight моделей встроен в интерфейс: искать, скачивать и запускать можно в несколько кликов;
• всё считается локально, промпты и веса в облако не уходят.

Закрытое тестирование, по этим данным, идёт под брендом Claris, дочерней компании Apple. Официального анонса пока нет, так что всё выше пересказ утечки.

Как это должно работать на примере

Допустим, у вас два Mac по 128 ГБ, а нужная модель в квантизации весит около 180 ГБ. По отдельности ни один её не потянет. В связке доступно 256 ГБ, и этого хватает на веса плюс KV-кэш и систему. Обычно такие схемы режут модель по слоям: каждый Mac держит свою часть, а между ними по кабелю ходят только промежуточные активации, а не гигабайты весов. Как именно Harbor делит модель, в утечке не сказано, это лишь типичный подход.

Для команды это означает сервер для внутренних задач (код, документы, поиск по базе знаний), который стоит на столе и не отправляет данные наружу.

Где стоит охладить энтузиазм

Тезис «память суммируется» не равен «скорость как у одной огромной памяти». Thunderbolt 5 даёт до 80 Гбит/с, это порядка 10 ГБ/с. Память внутри чипов Apple, особенно в Ultra-версиях, быстрее на порядок и больше. Обещание из поста «без потери скорости генерации» нужно проверять тестами. Реалистичнее ждать, что кластер позволит запустить модель, а не разгонит её.

Есть и другие оговорки:

• Thunderbolt 5 есть не во всех Mac, а только в новых моделях на старших чипах, так что парк из старых машин не подойдёт;
• цены, сроки релиза, список поддерживаемых моделей и бэкенд неизвестны;
• похожее уже можно собрать вручную: MLX поддерживает распределённый запуск, есть проекты вроде exo. Harbor, по сути, обещает упаковать это в понятный GUI;
• для продакшн-нагрузки с десятками одновременных пользователей это не замена GPU-серверам.

Что с этим делать

Если вы разработчик на Mac, второй компьютер под эту затею до релиза покупать не стоит. Сначала оцените на текущих инструментах (MLX, exo), какая у вас выйдет скорость на нужной модели: от неё зависит, хватит ли вам такого кластера.

Если вы продакт или основатель, сигнал важнее самого приложения: Apple всерьёз занимается локальным инференсом как продуктом. Для сценариев, где данные нельзя отдавать в облако (юристы, медицина, внутренние базы знаний), это может стать дешёвым стартовым вариантом. Но сначала дождитесь официального релиза и независимых замеров скорости.