Colibri, em C puro, executa modelos MoE de mais de 700B parâmetros sem GPU

A conversa sobre executar enormes modelos open-weight costuma terminar do mesmo jeito: «é preciso um rack de GPUs». O repositório Colibri propõe outro caminho. De acordo com uma publicação no agregador AI Radar, o projeto reuniu cerca de 47,4 mil estrelas, 802 delas em um único dia. É um forte sinal de interesse, embora a própria publicação tenha sido vista apenas 29 vezes e quase não traga detalhes. Vamos ver o que se sabe e o que vale a pena verificar por conta própria.

O que é declarado

O Colibri é descrito como um motor em C puro para executar grandes modelos MoE em computadores comuns. O recurso-chave: os especialistas são carregados do disco conforme a necessidade. Entre as famílias com suporte estão GLM, Kimi, DeepSeek e Qwen. A principal tese do autor da publicação: modelos de 700B ou mais podem ser executados sem placa de vídeo.

O C puro também é um argumento. Significa dependências mínimas, compilação simples e controle claro da memória. Para código de infraestrutura, em que importa quantos bytes são lidos do disco e quando, é uma escolha razoável.

Como funciona, com um exemplo simples

O MoE (Mixture of Experts) funciona assim: em cada camada do modelo há dezenas ou centenas de «especialistas», isto é, blocos de pesos separados. Para cada token, um roteador especial escolhe apenas alguns deles. Os demais ficam ociosos naquele momento.

Imagine uma biblioteca com milhares de livros. Para responder a uma pergunta específica, são necessárias páginas de oito livros. A abordagem clássica arrasta a biblioteca inteira para a sala de trabalho, ou seja, para a memória de vídeo ou a RAM. Para um modelo de 700B, são centenas de gigabytes. A abordagem do Colibri, como é descrita, é diferente: sobre a mesa fica apenas o necessário, e o resto permanece na estante, isto é, no SSD. Quando o roteador pede novos especialistas, o motor os lê do disco.

Uma aritmética simples mostra a escala. 700 bilhões de parâmetros em formato de 4 bits ocupam cerca de 350 GB. Isso não cabe na RAM de um PC comum, mas cabe em um bom disco NVMe. A cada token, apenas uma fração desses pesos é realmente lida, e toda a ideia se apoia nisso.

Limitações de que a publicação não fala

Primeiro, a velocidade. Um disco NVMe lê ordens de grandeza mais devagar que a memória de uma GPU. Se cada token exigir especialistas novos, a geração esbarrará no disco. A publicação não traz nenhum número de tokens por segundo, e essa é a métrica principal. Pode ser tolerável para processamento em lote ou experimentos, mas um chat interativo ou um ciclo de agente com dezenas de chamadas podem ser torturantes.

Segundo, o armazenamento. São necessários centenas de gigabytes livres e uma unidade rápida. Em um SATA antigo ou HDD, o quadro será bem pior.

Terceiro, qualidade e compatibilidade. Não se sabe quais formatos de quantização são suportados nem o quanto o resultado coincide com as implementações de referência. A afirmação «funciona com DeepSeek, Kimi, GLM, Qwen» ainda não significa que funcione toda versão de todo modelo.

Por fim, a própria fonte. A publicação parece um resumo automático de um repositório em alta. O número de estrelas e a lista de modelos é melhor verificar diretamente no GitHub.

O que fazer com isso na prática

Se você é desenvolvedor ou fundador avaliando LLMs self-hosted, o Colibri merece entrar na lista para um teste rápido. Os passos são simples:

• Leia o README e a lista de modelos e formatos suportados.
• Pegue um modelo MoE de porte médio e meça os tokens por segundo no seu próprio SSD.
• Compare o resultado com o aluguel de uma GPU ou com uma API convencional. Para tarefas raras, dados privados e cenários offline, um disco no lugar de uma placa de vídeo pode sair mais vantajoso.
• Não leve o projeto para produção até ver benchmarks estáveis e um histórico de commits ativo.

O panorama geral é este: a arquitetura MoE torna os modelos gigantes menos exigentes em computação por token, e ferramentas como o Colibri tentam torná-los menos exigentes em hardware. Se as declarações se confirmarem, a barreira de entrada para experimentar modelos da classe 700B cairá de forma notável. Mas, por enquanto, é uma promessa, não um resultado medido.