miniTE accélère le RL en NVFP4 sur B300 : 1,39× par rapport à BF16 sur Qwen3-30B-A3B

L'équipe InfiX.ai a présenté miniTE, un framework open source pour l'entraînement de grands modèles de langage par apprentissage par renforcement en NVFP4 natif (W4A4, c'est-à-dire poids et activations en 4 bits). Sur un seul nœud équipé de NVIDIA B300, le learner optimisé traite 33 540 tokens par seconde. C'est 1,39 fois plus rapide que BF16 et 1,47 fois plus rapide que l'implémentation naïve de NVFP4 sur Transformer Engine. Le RL de longue durée sur Qwen3-30B-A3B reste stable dans ces conditions, et les benchmarks restent proches de BF16.

Des poids identiques, une politique différente

Dans le RL appliqué aux LLM, on travaille généralement avec deux moteurs. L'un échantillonne les réponses (rollout), l'autre calcule les gradients (learner). L'algorithme suppose que les deux observent la même politique. En pratique, les probabilités de tokens calculées par les deux moteurs divergent même avec des poids identiques. Plus la précision est basse, plus la divergence est forte, et l'entraînement peut finir par s'effondrer.

Les auteurs mettent en évidence un problème gênant : l'identité des poids et du format numérique ne suffit pas. Si le learner et le moteur de rollout fonctionnent tous deux en NVFP4, mais que l'ordre des calculs, le schéma de mise à l'échelle et l'architecture des noyaux diffèrent, les politiques restent différentes. Il en résulte un écart significatif entre entraînement et inférence. L'erreur s'accumule étape après étape et, sur un horizon long, déstabilise le RL.

miniTE attaque le problème sur deux fronts : numérique et système. La fonction objectif du RL, elle, ne change pas. Le framework aligne l'exécution elle-même, plutôt que de corriger l'algorithme d'entraînement.

Diagnostic, alignement et noyaux rapides

La première partie de miniTE est un ensemble d'outils de diagnostic. Il repère les endroits où les deux moteurs calculent différemment. Après alignement, l'écart de log-probability entre entraînement et inférence en mode strict (strict-alignment) tombe à ~1e-8. C'est un niveau auquel les deux implémentations peuvent être considérées comme pratiquement une seule et même politique.

La seconde partie concerne la vitesse. Le W4A4 natif n'a de sens que si les calculs en 4 bits sont réellement plus rapides. Les auteurs ont optimisé les noyaux NVFP4, le schéma de mise à l'échelle et les GEMM groupés. Ces derniers sont importants pour les architectures MoE comme Qwen3-30B-A3B, où les calculs sont répartis entre de multiples experts. C'est justement à cause des surcoûts liés à ces opérations que le FP4 naïf ne tient souvent pas ses promesses. Ici, il s'est même révélé plus lent que BF16 : miniTE devance TE NVFP4 de 1,47 fois, et BF16 de 1,39 fois.

Paramètres clés :

• Framework : miniTE, open source, par l'équipe InfiX.ai (auteurs : Zhen Li, Mingfa Feng, Yiming Zhang, Yang Yu, Changhai Zhou, Pengxiang Li, Dongkuan Wu, Congkai Xie, Hongxia Yang)
• Format : NVFP4 natif, W4A4 (poids et activations en 4 bits)
• Modèle testé : Qwen3-30B-A3B, expériences RL de longue durée
• Matériel : un seul nœud NVIDIA B300 (l'annonce mentionne aussi une configuration 8×B300)
• Débit du learner : 33 540 tokens/s pour une mise à jour complète
• Accélération par rapport à BF16 : 1,39×
• Accélération par rapport à TE NVFP4 : 1,47×
• Écart de log-prob entre entraînement et inférence : ~1e-8 en mode strict-alignment
• Qualité : entraînement stable, benchmarks proches de BF16, meilleurs que le TE NVFP4 naïf
• En accès libre : framework, noyaux, diagnostics, configurations d'entraînement

Ce qu'on peut reprendre dans sa propre stack

La principale découverte pratique concerne quiconque fait tourner un pipeline RL avec un learner et un sampler séparés, même sans FP4. Si vous réduisez la précision, vérifiez non seulement les poids eux-mêmes, mais aussi la façon dont chaque moteur calcule. La métrique d'écart de log-prob entre les deux mérite de figurer dans le monitoring au même rang que la reward et la KL.

Pour les équipes disposant de B300, miniTE fournit un point de départ clé en main : les noyaux, les diagnostics et les recettes d'entraînement peuvent être repris et reproduits sur son propre matériel. Le gain de 1,39× par rapport à BF16 n'a pour l'instant été mesuré que sur un seul nœud et un seul modèle. Sur de plus grands clusters et d'autres architectures, il faudra le vérifier séparément. Mais la direction est claire : la limite du RL en basse précision devient la cohérence des calculs entre moteurs, et non plus le format des données.

L'article est disponible sur arXiv (2610.23928), les détails et le matériel se trouvent sur la page du projet infix.io/research/miniTE.