4 Mac Studio em um único cluster: 1,5 TB de memória para LLMs de 1 trilhão de parâmetros

Um entusiasta reuniu quatro computadores Mac Studio em um único cluster com 1,5 TB de memória compartilhada, usando a tecnologia RDMA sobre Thunderbolt 5, e rodou nele modelos de linguagem no nível do DeepSeek V3 e do Kimi K2 Thinking, com cerca de 1 trilhão de parâmetros. O experimento foi publicado no Habr em julho de 2026, em tradução do artigo original do autor.

Por que reunir quatro Mac Studio

Os quatro Mac Studio foram conectados em um único cluster para somar 1,5 TB de memória compartilhada, volume em que cabe por inteiro um modelo de linguagem de 1 trilhão de parâmetros. Modelos desse tamanho não cabem fisicamente na memória de nenhuma placa de vídeo de consumo, nem mesmo de uma placa de servidor, isoladamente. Por isso, a única forma de rodá-los localmente é montar um pool de memória a partir de várias máquinas.

O Mac Studio foi escolhido por causa da arquitetura de memória unificada (unified memory) da Apple: nas configurações topo de linha, o volume chega a centenas de gigabytes, acessíveis tanto ao processador quanto à GPU, sem necessidade de cópia. Quatro máquinas assim resultam nos 1,5 TB totais.

• Configuração — quatro computadores Mac Studio em um único cluster
• Memória total — 1,5 TB
• Conexão entre os nós — RDMA sobre Thunderbolt 5
• Modelos-alvo — DeepSeek V3 e Kimi K2 Thinking (cerca de 1 trilhão de parâmetros)
• Comparação de desempenho — com soluções da Nvidia e da AMD

Como funciona a conexão via Thunderbolt 5

Os nós do cluster são ligados por Thunderbolt 5 com RDMA, que dá acesso direto à memória da máquina vizinha sem passar pela CPU. É o RDMA que elimina o principal gargalo da inferência distribuída: a troca de pesos e de estados intermediários do modelo entre os nós ocorre com latência mínima e sem sobrecarregar o processador.

O Thunderbolt 5 oferece largura de banda da ordem de 80 Gbit/s, e a combinação de RDMA com esse canal é uma abordagem relativamente nova para o Mac. Na prática, o autor transformou quatro desktops independentes em uma única máquina com espaço de endereçamento de memória compartilhado, distribuindo entre eles as camadas do modelo gigante.

Que problemas apareceram

O autor aponta que a maior dificuldade não está no desempenho, e sim na configuração e na estabilidade do conjunto de quatro nós. O RDMA sobre Thunderbolt 5 no macOS é uma tecnologia recente, e o caminho entre "comprei quatro Mac Studio" e "o modelo de 1 trilhão de parâmetros responde de forma estável" se mostrou pouco óbvio.

No artigo, o autor apresenta resultados de testes de velocidade e compara o cluster com soluções baseadas em Nvidia e AMD, para entender onde a combinação da Apple leva vantagem em memória por dólar e onde perde em largura de banda e em maturidade do software.

O objetivo do experimento é rodar localmente modelos de linguagem gigantes, que não cabem em nenhuma placa de vídeo existente, como descreve o autor no artigo do

Habr.

O que isso significa

Rodar localmente modelos de 1 trilhão de parâmetros deixa de ser prerrogativa exclusiva de data centers com racks caros de GPUs: um conjunto de vários Mac Studio com memória unificada e Thunderbolt 5 se torna uma alternativa viável para quem precisa de inferência privada de grandes modelos MoE, sem depender da nuvem. Ainda não dá para chamá-la de solução de massa: a imaturidade do software e a complexidade da configuração continuam sendo uma barreira.

Perguntas frequentes

Por que reunir vários Mac Studio em um cluster?

Para obter um único pool de 1,5 TB de memória. Modelos como o DeepSeek V3 e o Kimi K2 Thinking, de 1 trilhão de parâmetros, não cabem na memória de uma única placa de vídeo, mas quatro Mac Studio com memória compartilhada e conexão RDMA sobre Thunderbolt 5 oferecem esse volume.

Quais modelos foram executados localmente?

O autor rodou no cluster modelos de linguagem no nível do DeepSeek V3 e do Kimi K2 Thinking, ambos com cerca de 1 trilhão de parâmetros. A configuração com 1,5 TB de memória compartilhada foi montada justamente para eles.