KTransformers traslada a la CPU parte del cálculo de MoE y elimina la transferencia de pesos durante el fine-tuning

El proyecto KTransformers propone calcular los expertos de un modelo MoE en el procesador durante el fine-tuning, en lugar de enviar sus pesos a la tarjeta gráfica. El objetivo de los autores son los modelos abiertos de referencia DeepSeek-V4, Qwen-3.8, Kimi-K3 y GLM-5.3. Cada uno de estos lanzamientos eleva de forma notable el listón de calidad, pero la mayoría de los desarrolladores sigue trabajando con ellos solo a través de API: adaptarlos a tareas propias choca con los límites de memoria y el coste del hardware.

Dónde se rompe el fine-tuning de los MoE grandes

Un modelo MoE almacena cientos de miles de millones de parámetros, o incluso un billón, pero por cada token activa solo unos pocos expertos. La inferencia con esta arquitectura es barata en cómputo, pero exigente en memoria. Todos los expertos tienen que estar guardados en algún sitio, y en la memoria de vídeo de una o dos tarjetas no caben.

La solución estándar es el offloading. Los pesos viven en la memoria RAM y, en cada paso, los expertos necesarios se copian a la GPU, se procesan y vuelven a la RAM. En el fine-tuning el coste es mayor que en la inferencia: hacen falta el paso hacia delante, el paso hacia atrás y la actualización de parámetros.

Las proporciones son desfavorables. PCIe 5.0 x16 ofrece en teoría unos 64 GB/s en un sentido. La HBM de la H100 SXM alcanza unos 3,35 TB/s, es decir, unas 50 veces más. El acelerador se queda parado esperando datos. El titular del anuncio apunta justo a eso: el cálculo no debería esperar a que se transfieran los pesos.

Qué cambia al incorporar la CPU

La idea de KTransformers es que, si los pesos de los expertos ya están en la RAM, resulta más sencillo calcularlos allí mismo. Un procesador de servidor con 12 canales DDR5 ofrece del orden de 400+ GB/s de ancho de banda de memoria por socket. Es un orden de magnitud más que el bus PCIe. En potencia de cálculo la CPU es inferior a la GPU, pero los expertos activos por token son pocos, y esa carga encaja en el procesador mejor de lo que parece.

El proyecto ya se había construido antes en torno a un esquema híbrido CPU+GPU. Los desarrolladores del laboratorio MADSys de la Universidad de Tsinghua mostraron la ejecución de grandes modelos MoE en una sola tarjeta gráfica con mucha RAM. El nuevo trabajo lleva ese enfoque de la inferencia al entrenamiento, donde los requisitos de memoria y sincronización son más estrictos.

Del titular y la introducción del anuncio se deducen estos parámetros:

• Reparto del trabajo: la GPU se encarga de las partes densas del modelo, mientras que los expertos MoE se calculan en la CPU.
• Qué se elimina: la transferencia de los pesos de los expertos a través de PCIe en cada paso.
• Modelos objetivo: DeepSeek-V4, Qwen-3.8, Kimi-K3, GLM-5.3.
• Escenario: fine-tuning con recursos insuficientes para un clúster de GPU completo.
• Licencia y código: KTransformers se desarrolla como proyecto abierto.

Lo que todavía no se ve en el anuncio

En el fragmento disponible no figuran ni la velocidad en tokens por segundo, ni los requisitos de RAM, ni una comparación con el offloading clásico. Tampoco se indican el método de ajuste (LoRA o completo), los procesadores compatibles ni el grado de pérdida de precisión. Sin estos datos no se puede decir hasta qué punto es práctico el esquema para tareas que vayan más allá de una demostración.

La cuestión principal es el escalado. Si el procesador calcula los expertos más rápido de lo que el bus los transfiere, la ganancia será notable. Con lotes largos, la carga sobre la CPU aumenta y la ventaja puede desaparecer. Esto hay que comprobarlo en configuraciones reales.

A quién le servirá y cuándo

Un equipo que tenga un servidor con 1–2 TB de RAM y una o dos tarjetas gráficas, pero no presupuesto para un nodo de ocho GPU, debería echar un vistazo a KTransformers. Para proyectos así, el fine-tuning de un MoE insignia con datos propios puede convertirse en una tarea real y no en un sueño. Lo primero es comprobar tres cosas: qué método de ajuste está soportado, cuánta RAM requiere su modelo y qué velocidad se obtiene con su procesador. Para un piloto basta una tarea pequeña, por ejemplo una adaptación de dominio con LoRA. Si las cifras cuadran, se puede pensar en escalar. Si no, queda alquilar horas de GPU.