Apple prepara Harbor: un clúster de Mac por Thunderbolt 5 para ejecutar LLM locales

El principal enemigo de ejecutar modelos grandes en local no es el cómputo, sino la memoria. Si los pesos ocupan 180 GB y tu Mac tiene 128 GB, el modelo simplemente no se cargará, y ninguna optimización ayudará. Según un informe de 9to5Mac y una filtración de la interfaz de Aaron Perris, este es precisamente el problema que Apple quiere resolver con su app Harbor.

Qué se sabe de Harbor

Harbor es una app nativa de macOS que convierte un Mac con chips Apple Silicon en un servidor de inferencia para modelos abiertos. El conjunto de funciones declarado es el siguiente:

• varios Mac se conectan directamente con un cable Thunderbolt 5 y su memoria unificada funciona como un fondo común;
• la app encuentra por sí sola los ordenadores conectados y monta el clúster en unos minutos, sin CLI ni configuración de servidor;
• un catálogo de modelos open-weight está integrado en la interfaz: se pueden buscar, descargar y ejecutar con unos pocos clics;
• todo se calcula en local; ni los prompts ni los pesos van a la nube.

Según estos datos, las pruebas cerradas se realizan bajo la marca Claris, filial de Apple. Todavía no hay anuncio oficial, así que todo lo anterior es un relato de la filtración.

Cómo debería funcionar, con un ejemplo

Supongamos que tienes dos Mac de 128 GB y el modelo que necesitas, cuantizado, pesa unos 180 GB. Por separado, ninguno puede con él. Juntos disponen de 256 GB, suficientes para los pesos, la caché KV y el sistema. Normalmente estos esquemas dividen el modelo por capas: cada Mac guarda su parte y entre ellos circulan por el cable solo las activaciones intermedias, no gigabytes de pesos. La filtración no dice cómo divide Harbor el modelo; es solo el enfoque habitual.

Para un equipo, esto significa un servidor para tareas internas (código, documentos, búsqueda en la base de conocimiento) que está sobre la mesa y no envía datos al exterior.

Dónde conviene enfriar el entusiasmo

La tesis de que la memoria se suma no equivale a que la velocidad sea la de una sola memoria enorme. Thunderbolt 5 ofrece hasta 80 Gbit/s, es decir, del orden de 10 GB/s. La memoria dentro de los chips de Apple, sobre todo en las versiones Ultra, es un orden de magnitud más rápida y más grande. La promesa de la publicación de "sin pérdida de velocidad de generación" hay que comprobarla con pruebas. Es más realista esperar que el clúster permita ejecutar un modelo, no acelerarlo.

Hay otras salvedades:

• Thunderbolt 5 no está en todos los Mac, solo en los modelos nuevos con chips superiores, así que una flota de equipos antiguos no servirá;
• se desconocen los precios, la fecha de lanzamiento, la lista de modelos compatibles y el backend;
• algo parecido ya se puede montar a mano: MLX admite ejecución distribuida y hay proyectos como exo. Harbor, en esencia, promete empaquetarlo en una GUI comprensible;
• para cargas de producción con decenas de usuarios simultáneos, no sustituye a los servidores con GPU.

Qué hacer con esto

Si eres desarrollador en Mac, no conviene comprar un segundo ordenador para esto antes del lanzamiento. Primero evalúa con las herramientas actuales (MLX, exo) qué velocidad obtendrías con el modelo que necesitas: de ello depende si te bastará un clúster así.

Si eres product manager o fundador, la señal importa más que la app en sí: Apple se toma en serio la inferencia local como producto. Para escenarios en que los datos no pueden entregarse a la nube (abogados, medicina, bases de conocimiento internas), podría ser una opción inicial barata. Pero antes espera al lanzamiento oficial y a mediciones de velocidad independientes.