miniTE acelera el RL en NVFP4 en B300: 1,39× respecto a BF16 en Qwen3-30B-A3B

El equipo de InfiX.ai ha presentado miniTE, un framework abierto para entrenar modelos de lenguaje grandes con aprendizaje por refuerzo en NVFP4 nativo (W4A4, es decir, pesos y activaciones de 4 bits). En un único nodo con NVIDIA B300, el learner optimizado procesa 33.540 tokens por segundo. Eso es 1,39 veces más rápido que BF16 y 1,47 veces más rápido que una implementación ingenua de NVFP4 en Transformer Engine. El RL de larga duración en Qwen3-30B-A3B se mantiene estable durante todo el proceso, y los benchmarks quedan cerca de BF16.

Mismos pesos, política distinta

En el RL para LLMs suelen operar dos motores. Uno muestrea respuestas (rollout), el otro calcula gradientes (learner). El algoritmo asume que ambos ven la misma política. En la práctica, las probabilidades de los tokens calculadas por los dos motores difieren incluso con pesos idénticos. Cuanto más baja es la precisión, mayor es la divergencia, y el entrenamiento puede terminar desmoronándose.

Los autores mostraron algo incómodo: que coincidan los pesos y el formato numérico no basta. Si tanto el learner como el motor de rollout trabajan en NVFP4, pero el orden de los cálculos, el esquema de escalado y el diseño de los kernels son distintos, las políticas igual difieren. Esto genera una brecha significativa entre entrenamiento e inferencia. El error se acumula paso a paso y, en un horizonte largo, desestabiliza el RL.

miniTE ataca el problema desde dos frentes: el numérico y el de sistema. La función objetivo del RL no cambia. El framework alinea la propia ejecución, no modifica el algoritmo de entrenamiento.

Diagnóstico, alineación y kernels rápidos

La primera parte de miniTE es un conjunto de herramientas de diagnóstico. Detecta dónde los dos motores calculan de forma distinta. Tras la alineación, la brecha de log-probabilidad entre entrenamiento e inferencia en modo estricto (strict-alignment) cae a ~1e-8, un nivel en el que las dos implementaciones pueden considerarse prácticamente la misma política.

La segunda parte es la velocidad. El W4A4 nativo solo tiene sentido si el cálculo de 4 bits es realmente más rápido. Los autores optimizaron los kernels de NVFP4, el esquema de escalado y los GEMM agrupados. Estos últimos son importantes para arquitecturas MoE como Qwen3-30B-A3B, donde el cálculo se divide entre numerosos expertos. Es precisamente la sobrecarga de ese tipo de operaciones la que a menudo impide que el FP4 ingenuo rinda lo esperado: aquí incluso resultó más lento que BF16. miniTE supera a TE NVFP4 en 1,47× y a BF16 en 1,39×.

Parámetros clave:

• Framework: miniTE, abierto, del equipo de InfiX.ai (autores: Zhen Li, Mingfa Feng, Yiming Zhang, Yang Yu, Changhai Zhou, Pengxiang Li, Dongkuan Wu, Congkai Xie, Hongxia Yang)
• Formato: NVFP4 nativo, W4A4 (pesos y activaciones de 4 bits)
• Modelo de validación: Qwen3-30B-A3B, experimentos de RL prolongados
• Hardware: un único nodo NVIDIA B300 (en el anuncio también se menciona una configuración de 8×B300)
• Rendimiento del learner: 33.540 tokens/s en actualización completa
• Aceleración respecto a BF16: 1,39×
• Aceleración respecto a TE NVFP4: 1,47×
• Brecha de log-prob entre entrenamiento e inferencia: ~1e-8 en modo strict-alignment
• Calidad: entrenamiento estable, benchmarks cercanos a BF16, mejor que TE NVFP4 ingenuo
• Disponible en abierto: framework, kernels, diagnóstico, configuraciones de entrenamiento

Qué se puede llevar a tu propio stack

El hallazgo práctico más relevante aplica a cualquiera que ejecute un pipeline de RL con learner y sampler separados, incluso fuera de FP4. Si bajas la precisión, comprueba no solo los pesos en sí, sino cómo calcula cada motor. La métrica de divergencia de log-prob entre ambos merece estar en el monitoreo junto al reward y al KL.

Para equipos con B300, miniTE ofrece un punto de partida listo para usar: los kernels, el diagnóstico y las recetas de entrenamiento se pueden tomar y reproducir en el propio hardware. La mejora de 1,39× sobre BF16 se midió, por ahora, en un solo nodo y un solo modelo. En clústeres más grandes y con otras arquitecturas habrá que verificarla por separado. Pero la dirección está clara: el límite del RL de baja precisión pasa a ser la coherencia de los cálculos entre motores, no el formato de los datos.

El artículo está disponible en arXiv (2610.23928); los detalles y materiales están en la página del proyecto infix.io/research/miniTE.