Apple prépare Harbor : un cluster de Mac via Thunderbolt 5 pour exécuter des LLM en local

Le principal obstacle à l'exécution locale des grands modèles n'est pas le calcul, mais la mémoire. Si les poids occupent 180 Go et que votre Mac n'en a que 128, le modèle ne se chargera tout simplement pas, et aucune optimisation n'y changera rien. C'est précisément ce problème qu'Apple compte résoudre avec son application Harbor, d'après le rapport de 9to5Mac et la fuite d'interface publiée par Aaron Perris.

Ce que l'on sait de Harbor

Harbor est une application native pour macOS qui transforme un Mac équipé d'une puce Apple Silicon en serveur d'inférence pour modèles ouverts. Voici ce qui est annoncé :

• plusieurs Mac se connectent directement par un câble Thunderbolt 5, et leur mémoire unifiée fonctionne comme un pool commun ;
• l'application détecte seule les ordinateurs connectés et assemble le cluster en quelques minutes, sans CLI ni configuration serveur ;
• un catalogue de modèles open-weight est intégré à l'interface : on peut chercher, télécharger et lancer un modèle en quelques clics ;
• tout est calculé en local, les prompts et les poids ne partent pas dans le cloud.

Selon ces informations, les tests fermés se déroulent sous la marque Claris, filiale d'Apple. Il n'y a pas encore d'annonce officielle : tout ce qui précède relève donc du récit de la fuite.

Comment cela devrait fonctionner, exemple à l'appui

Imaginons que vous ayez deux Mac de 128 Go chacun, et qu'un modèle quantifié pèse environ 180 Go. Pris séparément, aucun des deux ne peut le charger. Ensemble, ils disposent de 256 Go, ce qui suffit pour les poids, le cache KV et le système. En général, ces schémas découpent le modèle par couches : chaque Mac conserve sa partie, et seules les activations intermédiaires circulent par le câble, pas des gigaoctets de poids. La fuite ne précise pas comment Harbor répartit le modèle ; il s'agit simplement de l'approche habituelle.

Pour une équipe, cela signifie un serveur pour les tâches internes (code, documents, recherche dans la base de connaissances) posé sur un bureau et qui n'envoie aucune donnée à l'extérieur.

Pourquoi il faut tempérer l'enthousiasme

L'idée que « la mémoire s'additionne » ne signifie pas « la vitesse d'une seule mémoire gigantesque ». Thunderbolt 5 offre jusqu'à 80 Gbit/s, soit environ 10 Go/s. La mémoire à l'intérieur des puces Apple, surtout dans les versions Ultra, est un ordre de grandeur plus rapide et plus vaste. La promesse du post, « sans perte de vitesse de génération », doit être vérifiée par des tests. Il est plus réaliste de s'attendre à ce que le cluster permette de lancer un modèle, et non de l'accélérer.

Il y a d'autres réserves :

• Thunderbolt 5 n'équipe pas tous les Mac, seulement les modèles récents dotés des puces haut de gamme : un parc de vieilles machines ne conviendra pas ;
• les prix, la date de sortie, la liste des modèles pris en charge et le backend sont inconnus ;
• on peut déjà monter quelque chose de similaire à la main : MLX prend en charge l'exécution distribuée, et des projets comme exo existent. Harbor promet, en somme, de l'emballer dans une interface graphique claire ;
• pour une charge de production avec des dizaines d'utilisateurs simultanés, ce n'est pas un substitut aux serveurs GPU.

Que faire de tout cela

Si vous êtes développeur sur Mac, inutile d'acheter un second ordinateur pour cet usage avant la sortie. Évaluez d'abord, avec les outils actuels (MLX, exo), la vitesse que vous obtiendriez sur le modèle voulu : c'est elle qui détermine si un tel cluster vous suffira.

Si vous êtes product manager ou fondateur, le signal compte plus que l'application elle-même : Apple s'intéresse sérieusement à l'inférence locale en tant que produit. Pour les scénarios où les données ne doivent pas partir dans le cloud (juristes, médecine, bases de connaissances internes), cela peut devenir une option de départ peu coûteuse. Mais attendez d'abord la sortie officielle et des mesures de vitesse indépendantes.