KTransformers transfere parte dos cálculos de MoE para a CPU e elimina a transferência de pesos no fine-tuning

O projeto KTransformers propõe calcular os experts de um modelo MoE na CPU durante o fine-tuning, em vez de enviar os pesos para a placa de vídeo. O alvo dos autores são os modelos abertos de ponta DeepSeek-V4, Qwen-3.8, Kimi-K3 e GLM-5.3. Cada lançamento desse tipo eleva bastante o patamar de qualidade, mas a maioria dos desenvolvedores continua usando esses modelos apenas via API: ajustá-los para tarefas próprias esbarra na memória e no custo do hardware.

Onde o fine-tuning de grandes MoE trava

Um modelo MoE armazena centenas de bilhões, ou até um trilhão de parâmetros, mas ativa apenas alguns experts para cada token. Na inferência, essa arquitetura sai barata em computação, mas pesada em memória. Todos os experts precisam estar guardados em algum lugar, e eles não cabem na VRAM de uma ou duas placas.

A solução padrão é o offloading. Os pesos ficam na memória RAM, e a cada passo os experts necessários são copiados para a GPU, processados e devolvidos. No fine-tuning, o custo é maior que na inferência: é preciso fazer a passagem direta (forward), a passagem reversa (backward) e a atualização dos parâmetros.

As proporções aqui são desfavoráveis. O PCIe 5.0 x16 oferece, em teoria, cerca de 64 GB/s em um sentido. A HBM da H100 SXM entrega cerca de 3,35 TB/s, ou seja, aproximadamente 50 vezes mais. O acelerador fica ocioso à espera dos dados. O título do anúncio fala exatamente disso: o cálculo não deveria esperar a transferência dos pesos.

O que muda ao envolver a CPU

A ideia do KTransformers é simples: se os pesos dos experts já estão na RAM, é mais fácil calculá-los ali mesmo. Um processador de servidor com 12 canais de DDR5 entrega algo em torno de 400+ GB/s de largura de banda de memória por soquete. É uma ordem de grandeza acima do barramento PCIe. Em poder de computação, a CPU é mais fraca que a GPU, mas poucos experts são ativados por token, e essa carga se adapta ao processador melhor do que parece.

O projeto já era construído em torno de um esquema híbrido CPU+GPU. Os desenvolvedores do laboratório MADSys da Universidade Tsinghua demonstraram a execução de grandes modelos MoE em uma única placa de vídeo com muita RAM. O novo trabalho leva essa abordagem da inferência para o treinamento, onde as exigências de memória e sincronização são maiores.

O título e a introdução do anúncio permitem deduzir os seguintes parâmetros:

• Divisão do trabalho: a GPU cuida das partes densas do modelo, enquanto os experts MoE são calculados na CPU.
• O que foi eliminado: a transferência dos pesos dos experts via PCIe a cada passo.
• Modelos-alvo: DeepSeek-V4, Qwen-3.8, Kimi-K3, GLM-5.3.
• Cenário: fine-tuning com recursos insuficientes para um cluster de GPUs completo.
• Licença e código: o KTransformers é desenvolvido como projeto aberto.

O que ainda não aparece no anúncio

O trecho disponível não traz velocidade em tokens por segundo, requisitos de RAM nem comparação com o offloading clássico. Também não informa o método de ajuste (LoRA ou completo), os processadores compatíveis e o grau de perda de precisão. Sem esses dados, não dá para dizer o quanto o esquema é prático para tarefas fora da demonstração.

A principal questão é a escala. Se a CPU calcula os experts mais rápido do que o barramento os transfere, o ganho será notável. Com batches longos, a carga sobre a CPU cresce, e a vantagem pode desaparecer. Isso precisa ser verificado em configurações reais.

Para quem e quando isso serve

Quem tem um servidor com 1–2 TB de RAM e uma ou duas placas de vídeo, mas não tem orçamento para um nó com oito GPUs, deve olhar o KTransformers com atenção. Para esses projetos, o fine-tuning de um MoE de ponta com dados próprios pode virar uma tarefa real, e não um sonho. O primeiro passo é verificar três pontos: qual método de ajuste é suportado, quanta RAM o seu modelo exige e qual velocidade o seu processador entrega. Para um piloto, basta uma tarefa pequena, como adaptação de domínio via LoRA. Se os números fecharem, dá para pensar em escalar. Se não, resta alugar horas de GPU.