KTransformers confie une partie des calculs MoE au CPU et supprime le transfert des poids pendant le fine-tuning

Le projet KTransformers propose de calculer les experts d'un modèle MoE sur le processeur pendant le fine-tuning, au lieu d'envoyer leurs poids vers la carte graphique. Les auteurs visent les modèles phares ouverts DeepSeek-V4, Qwen-3.8, Kimi-K3 et GLM-5.3. Chacune de ces sorties relève nettement le niveau de qualité, mais la plupart des développeurs continuent de ne les utiliser que via API : l'adaptation à leurs propres tâches se heurte à la mémoire et au coût du matériel.

Où le fine-tuning des grands MoE se grippe

Un modèle MoE stocke des centaines de milliards, voire un billion de paramètres, mais n'active que quelques experts pour chaque token. L'inférence sur une telle architecture est peu coûteuse en calcul, mais lourde en mémoire. Tous les experts doivent être stockés quelque part, et ils ne tiennent pas dans la mémoire vidéo d'une ou deux cartes.

La solution standard est l'offloading. Les poids résident en mémoire vive ; à chaque étape, les experts nécessaires sont copiés sur le GPU, traités, puis renvoyés. Le fine-tuning coûte plus cher que l'inférence : il faut une passe avant, une passe arrière et la mise à jour des paramètres.

Les proportions sont défavorables. Le PCIe 5.0 x16 offre en théorie environ 64 Go/s dans un sens. La HBM du H100 SXM atteint environ 3,35 To/s, soit environ 50 fois plus. L'accélérateur reste donc inactif en attendant les données. Le titre de l'annonce dit exactement cela : le calcul ne doit pas attendre le transfert des poids.

Ce que change la mise à contribution du CPU

L'idée de KTransformers : si les poids des experts se trouvent déjà en RAM, autant les calculer sur place. Un processeur serveur à 12 canaux DDR5 offre de l'ordre de 400+ Go/s de bande passante mémoire par socket, soit un ordre de grandeur de plus que le bus PCIe. En calcul pur, le CPU est moins puissant que le GPU, mais le nombre d'experts actifs par token est faible, et cette charge convient mieux au processeur qu'on ne le croirait.

Le projet reposait déjà sur un schéma hybride CPU+GPU. Les développeurs du laboratoire MADSys de l'université Tsinghua avaient montré l'exécution de grands modèles MoE sur une seule carte graphique associée à une grande quantité de RAM. Ce nouveau travail transpose cette approche de l'inférence à l'entraînement, où les exigences en matière de mémoire et de synchronisation sont plus strictes.

Le titre et l'introduction de l'annonce permettent de dégager les paramètres suivants :

• Répartition du travail : le GPU prend en charge les parties denses du modèle, tandis que les experts MoE sont calculés sur le CPU.
• Ce qui disparaît : le transfert des poids des experts via PCIe à chaque étape.
• Modèles visés : DeepSeek-V4, Qwen-3.8, Kimi-K3, GLM-5.3.
• Scénario : fine-tuning avec des ressources insuffisantes pour un véritable cluster de GPU.
• Licence et code : KTransformers est développé comme un projet open source.

Ce que l'annonce ne montre pas encore

Le fragment disponible ne donne ni vitesse en tokens par seconde, ni besoins en RAM, ni comparaison avec l'offloading classique. Il n'indique pas non plus la méthode de fine-tuning (LoRA ou complet), les processeurs pris en charge ni le niveau de perte de précision. Sans ces données, impossible de dire si le schéma est praticable pour des tâches hors démonstration.

La grande question est celle du passage à l'échelle. Si le processeur calcule les experts plus vite que le bus ne les transfère, le gain sera net. Avec de longs batchs, la charge sur le CPU augmente et l'avantage peut disparaître. Il faudra le vérifier sur des configurations réelles.

À qui et quand cela servira

Une équipe qui dispose d'un serveur avec 1–2 To de RAM et d'une ou deux cartes graphiques, mais pas du budget pour un nœud à huit cartes, a intérêt à regarder KTransformers de près. Pour de tels projets, le fine-tuning d'un MoE phare sur ses propres données peut devenir une tâche réaliste plutôt qu'un rêve. Trois points sont à vérifier en priorité : quelle méthode de fine-tuning est prise en charge, combien de RAM votre modèle exige et quelle vitesse vous obtenez sur votre processeur.

Pour un pilote, une petite tâche suffit, par exemple une adaptation de domaine via LoRA. Si les chiffres tiennent, on peut envisager le passage à l'échelle. Sinon, il reste à louer des heures de GPU.