miniTE ускоряет RL в NVFP4 на B300: 1,39× к BF16 на Qwen3-30B-A3B

Команда InfiX.ai представила miniTE, открытый фреймворк для обучения больших языковых моделей с подкреплением в нативном NVFP4 (W4A4, то есть 4-битные веса и активации). На одном узле с NVIDIA B300 оптимизированный learner обрабатывает 33 540 токенов в секунду. Это в 1,39 раза быстрее BF16 и в 1,47 раза быстрее наивной реализации NVFP4 на Transformer Engine. Долгий RL на Qwen3-30B-A3B при этом остаётся стабильным, а бенчмарки близки к BF16.

Одинаковые веса, разная политика

В RL для LLM обычно работают два движка. Один сэмплирует ответы (rollout), второй считает градиенты (learner). Алгоритм предполагает, что оба видят одну и ту же политику. На практике вероятности токенов, посчитанные в двух движках, расходятся даже при идентичных весах. Чем ниже точность, тем сильнее расхождение, и в итоге обучение может развалиться.

Авторы показали неприятную вещь: совпадения весов и числового формата недостаточно. Если и learner, и rollout-движок работают в NVFP4, но порядок вычислений, схема масштабирования и устройство ядер у них разные, политики всё равно различаются. Получается значимый разрыв между обучением и инференсом. Ошибка копится от шага к шагу и на длинном горизонте дестабилизирует RL.

miniTE атакует проблему с двух сторон: численной и системной. Целевая функция RL при этом не меняется. Фреймворк выравнивает само исполнение, а не подправляет алгоритм обучения.

Диагностика, выравнивание и быстрые ядра

Первая часть miniTE, набор инструментов диагностики. Он находит места, где два движка считают по-разному. После выравнивания разрыв log-probability между обучением и инференсом в строгом режиме (strict-alignment) падает до ~1e-8. Это уровень, на котором две реализации можно считать практически одной политикой.

Вторая часть, скорость. Нативный W4A4 имеет смысл, только если 4-битные вычисления реально быстрее. Авторы оптимизировали ядра NVFP4, схему масштабирования и сгруппированные GEMM. Последние важны для MoE-архитектур вроде Qwen3-30B-A3B, где вычисления разбиты на множество экспертов. Именно из-за накладных расходов на такие операции наивный FP4 нередко не даёт ожидаемого выигрыша. Здесь он оказался даже медленнее BF16: miniTE обходит TE NVFP4 в 1,47 раза, а BF16 в 1,39 раза.

Ключевые параметры работы:

• Фреймворк: miniTE, открытый, от команды InfiX.ai (авторы: Zhen Li, Mingfa Feng, Yiming Zhang, Yang Yu, Changhai Zhou, Pengxiang Li, Dongkuan Wu, Congkai Xie, Hongxia Yang)
• Формат: нативный NVFP4, W4A4 (4-битные веса и активации)
• Модель для проверки: Qwen3-30B-A3B, длинные RL-эксперименты
• Железо: один узел NVIDIA B300 (в анонсе упоминается конфигурация 8×B300)
• Пропускная способность learner: 33 540 токенов/с на полном обновлении
• Ускорение относительно BF16: 1,39×
• Ускорение относительно TE NVFP4: 1,47×
• Разрыв log-prob между обучением и инференсом: ~1e-8 в strict-alignment режиме
• Качество: стабильное обучение, бенчмарки близки к BF16, лучше наивного TE NVFP4
• В открытом доступе: фреймворк, ядра, диагностика, конфигурации обучения

Что можно забрать в свой стек

Главная практическая находка касается любого, кто гоняет RL-пайплайн с раздельными learner и sampler, даже не в FP4. Если вы снижаете точность, проверяйте не только сами веса, но и то, как считает каждый движок. Метрика расхождения log-prob между ними стоит в мониторинге наравне с reward и KL.

Для команд с B300 miniTE даёт готовую отправную точку: ядра, диагностику и рецепты обучения можно взять и воспроизвести на своём железе. Прирост в 1,39× к BF16 пока измерен на одном узле и одной модели. На больших кластерах и других архитектурах его придётся проверять отдельно. Но направление понятно: ограничением для низкобитного RL становится согласованность вычислений между движками, а не формат данных.

Статья доступна на arXiv (2610.23928), подробности и материалы лежат на странице проекта infix.io/research/miniTE.