miniTE acelera o RL em NVFP4 na B300: 1,39× em relação ao BF16 no Qwen3-30B-A3B

A equipe da InfiX.ai apresentou o miniTE, um framework aberto para treinar modelos de linguagem grandes com aprendizado por reforço em NVFP4 nativo (W4A4, ou seja, pesos e ativações de 4 bits). Em um único nó com NVIDIA B300, o learner otimizado processa 33.540 tokens por segundo. Isso é 1,39 vez mais rápido que o BF16 e 1,47 vez mais rápido que uma implementação ingênua de NVFP4 no Transformer Engine. O RL de longa duração no Qwen3-30B-A3B permanece estável durante todo o processo, e os benchmarks ficam próximos do BF16.

Mesmos pesos, política diferente

No RL para LLMs, costumam atuar dois motores. Um amostra respostas (rollout), o outro calcula gradientes (learner). O algoritmo assume que ambos veem a mesma política. Na prática, as probabilidades dos tokens calculadas pelos dois motores divergem mesmo com pesos idênticos. Quanto menor a precisão, maior a divergência, e o treinamento pode acabar desmoronando.

Os autores mostraram algo desagradável: pesos e formato numérico iguais não são suficientes. Mesmo que o learner e o motor de rollout operem em NVFP4, se a ordem dos cálculos, o esquema de escalonamento e o design dos kernels forem diferentes, as políticas ainda divergem. Isso cria uma lacuna significativa entre treinamento e inferência. O erro se acumula passo a passo e, em um horizonte longo, desestabiliza o RL.

O miniTE ataca o problema de duas frentes: numérica e sistêmica. A função objetivo do RL não muda. O framework alinha a própria execução, em vez de ajustar o algoritmo de treinamento.

Diagnóstico, alinhamento e kernels rápidos

A primeira parte do miniTE é um conjunto de ferramentas de diagnóstico. Ele identifica onde os dois motores calculam de forma diferente. Após o alinhamento, a diferença de log-probabilidade entre treinamento e inferência no modo estrito (strict-alignment) cai para ~1e-8 — um nível em que as duas implementações podem ser consideradas praticamente a mesma política.

A segunda parte é a velocidade. O W4A4 nativo só faz sentido se o cálculo em 4 bits for de fato mais rápido. Os autores otimizaram os kernels de NVFP4, o esquema de escalonamento e os GEMMs agrupados. Estes últimos são importantes para arquiteturas MoE como o Qwen3-30B-A3B, em que o cálculo é dividido entre muitos especialistas. É justamente a sobrecarga desse tipo de operação que costuma impedir que o FP4 ingênuo entregue o ganho esperado — aqui ele chegou a ser mais lento que o BF16. O miniTE supera o TE NVFP4 em 1,47× e o BF16 em 1,39×.

Parâmetros-chave:

• Framework: miniTE, de código aberto, da equipe da InfiX.ai (autores: Zhen Li, Mingfa Feng, Yiming Zhang, Yang Yu, Changhai Zhou, Pengxiang Li, Dongkuan Wu, Congkai Xie, Hongxia Yang)
• Formato: NVFP4 nativo, W4A4 (pesos e ativações de 4 bits)
• Modelo de validação: Qwen3-30B-A3B, experimentos de RL longos
• Hardware: um único nó NVIDIA B300 (o anúncio também menciona uma configuração 8×B300)
• Throughput do learner: 33.540 tokens/s em atualização completa
• Aceleração em relação ao BF16: 1,39×
• Aceleração em relação ao TE NVFP4: 1,47×
• Diferença de log-prob entre treinamento e inferência: ~1e-8 no modo strict-alignment
• Qualidade: treinamento estável, benchmarks próximos do BF16, melhor que o TE NVFP4 ingênuo
• Em código aberto: framework, kernels, diagnóstico, configurações de treinamento

O que dá para aproveitar no seu próprio stack

O principal achado prático vale para qualquer equipe que execute um pipeline de RL com learner e sampler separados, mesmo fora do FP4. Se você está reduzindo a precisão, verifique não só os pesos em si, mas também como cada motor calcula. A métrica de divergência de log-prob entre eles merece estar no monitoramento junto com o reward e o KL.

Para equipes com B300, o miniTE oferece um ponto de partida pronto: os kernels, o diagnóstico e as receitas de treinamento podem ser aproveitados e reproduzidos no próprio hardware. O ganho de 1,39× sobre o BF16 foi medido, por ora, em um único nó e um único modelo. Em clusters maiores e outras arquiteturas, isso precisará ser verificado separadamente. Mas a direção está clara: o limitador do RL de baixa precisão passa a ser a consistência dos cálculos entre os motores, não o formato dos dados.

O artigo está disponível no arXiv (2610.23928); detalhes e materiais estão na página do projeto infix.io/research/miniTE.