4 Mac Studio en un solo clúster: 1,5 TB de memoria para LLM de un billón de parámetros

Un entusiasta unió cuatro ordenadores Mac Studio en un único clúster con 1,5 TB de memoria compartida mediante la tecnología RDMA sobre Thunderbolt 5. Sobre él ejecutó modelos de lenguaje del nivel de DeepSeek V3 y Kimi K2 Thinking, de aproximadamente un billón de parámetros. El experimento se publicó en Habr en julio de 2026, como traducción del artículo original del autor.

Por qué unir cuatro Mac Studio

Los cuatro Mac Studio se conectaron en un solo clúster para disponer de 1,5 TB de memoria compartida, un volumen en el que cabe entero un modelo de lenguaje de un billón de parámetros. Modelos de este tamaño no caben físicamente en la memoria de ninguna tarjeta gráfica, ni de consumo ni de servidor. La única forma de ejecutarlos en local es reunir un pool de memoria de varias máquinas.

Se eligió Mac Studio por la arquitectura de memoria unificada (unified memory) de Apple: en las configuraciones superiores, la memoria se mide en cientos de gigabytes y es accesible tanto para el procesador como para el núcleo gráfico, sin copias. Cuatro máquinas así suman los 1,5 TB.

• Configuración: cuatro ordenadores Mac Studio en un clúster
• Memoria total: 1,5 TB
• Conexión entre nodos: RDMA sobre Thunderbolt 5
• Modelos objetivo: DeepSeek V3 y Kimi K2 Thinking (alrededor de 1 billón de parámetros)
• Comparación de rendimiento: con soluciones de Nvidia y AMD

Cómo funciona la conexión por Thunderbolt 5

Los nodos del clúster se conectan por Thunderbolt 5 con RDMA, es decir, con acceso directo a la memoria de la máquina vecina sin pasar por la CPU. RDMA elimina el principal cuello de botella de la inferencia distribuida: el intercambio de pesos y estados intermedios del modelo entre nodos se hace con latencias mínimas y sin cargar la CPU.

Thunderbolt 5 ofrece un ancho de banda del orden de 80 Gbit/s, y la combinación de RDMA con este canal es un planteamiento relativamente nuevo en Mac. En la práctica, el autor convirtió cuatro equipos de sobremesa independientes en una sola máquina con un espacio de direcciones de memoria común, repartiendo entre ellos las capas del modelo gigante.

Qué problemas surgieron

El autor sitúa el principal quebradero de cabeza no en el rendimiento, sino en la configuración y la estabilidad de un conjunto de cuatro nodos. RDMA sobre Thunderbolt 5 en macOS es una tecnología reciente, y el camino desde «compré cuatro Mac Studio» hasta «el modelo de un billón de parámetros responde de forma estable» resultó poco evidente.

En el artículo, el autor presenta los resultados de las pruebas de velocidad y compara el clúster con soluciones basadas en Nvidia y AMD, para entender dónde gana la configuración de Apple en memoria por dólar y dónde pierde en ancho de banda y madurez del software.

El objetivo del experimento es ejecutar en local modelos de lenguaje gigantes que no caben en ninguna tarjeta gráfica existente, según describe el autor en su artículo en

Habr.

Qué significa

La ejecución local de modelos de un billón de parámetros deja de ser territorio exclusivo de los centros de datos con costosos racks de GPU. Un conjunto de varios Mac Studio con memoria unificada y Thunderbolt 5 se perfila como una alternativa viable para quien necesita inferencia privada de grandes modelos MoE sin depender de la nube. Aún no se puede considerar una solución masiva: el software todavía está poco pulido y la complejidad de la configuración sigue siendo una barrera.

Preguntas frecuentes

¿Para qué unir varios Mac Studio en un clúster?

Para obtener un único pool de 1,5 TB de memoria. Modelos como DeepSeek V3 y Kimi K2 Thinking, de un billón de parámetros, no caben en la memoria de una sola tarjeta gráfica, mientras que cuatro Mac Studio con memoria compartida y conexión RDMA sobre Thunderbolt 5 sí ofrecen ese volumen.

¿Qué modelos se lograron ejecutar en local?

El autor ejecutó en el clúster modelos de lenguaje del nivel de DeepSeek V3 y Kimi K2 Thinking, ambos de aproximadamente 1 billón de parámetros. La configuración con 1,5 TB de memoria compartida se montó precisamente por ellos.