NVIDIA released Audex-30B — a unified audio-text MoE model based on Nemotron-Cascade-2

NVIDIA 7 июля 2026 года выпустила модель Nemotron-Labs-Audex-30B-A3B — единую аудио-текстовую систему на архитектуре Mixture of Experts, которая объединяет пять типов задач обработки звука в единых весах без значимой потери текстовых способностей базовой модели.

Что объединяет Audex в одной модели

До появления Audex каждая аудиозадача требовала отдельного специализированного решения: для распознавания речи — одна система, для перевода — другая, для синтеза — третья. NVIDIA объединила их в единой MoE-архитектуре:

• Понимание аудиоконтента — анализ содержания звуковых файлов
• Автоматическое распознавание речи (ASR)
• Перевод речи на другой язык
• Синтез речи — text-to-speech (TTS)
• Генерация аудио

Architecture Mixture of Experts позволяет модели активировать только часть параметров в зависимости от конкретной задачи. При общем объёме 30 млрд параметров в активном режиме задействуется около 3 млрд — отсюда суффикс A3B в полном названии. Такой подход снижает вычислительную нагрузку при инференсе по сравнению с dense-моделью аналогичного полного размера.

Почему важно сохранение текстовых способностей

Добавление новой модальности к уже обученной языковой модели традиционно сопровождается «катастрофическим забыванием» — деградацией оригинальных текстовых способностей под влиянием нового дообучения. Это один из ключевых инженерных вызовов при разработке мультимодальных систем.

NVIDIA строила Audex на основе Nemotron-Cascade-2 — собственной текстовой базы с сильными языковыми показателями. Компания заявляет, что регрессия по текстовым бенчмаркам оказалась минимальной: аудиовозможности добавились без заметного снижения качества работы с текстом.

MoE-архитектура здесь играет ключевую роль: аудио- и текстовые «эксперты» внутри модели частично изолированы друг от друга, что снижает взаимное влияние модальностей при дообучении. В результате модель остаётся компетентной одновременно в тексте и в звуке — без компромисса между двумя областями.

Для кого это актуально

Единая мультизадачная модель упрощает разработку голосовых и мультимодальных продуктов. Вместо поддержки нескольких специализированных систем команда работает с одним весом: проще деплоить, проще обновлять, проще мониторить. Апдейт одной модели автоматически улучшает все пять функций одновременно.

Потенциальные сценарии применения широки: голосовые ассистенты с пониманием контекста, системы транскрипции и перевода в реальном времени, мультиязычные голосовые платформы для колл-центров, инструменты генерации аудиоконтента.

Что это значит

Audex продолжает тенденцию к построению мультимодальных фундаментальных моделей с полным покрытием задач. Если раньше «аудио + текст» означало связку из нескольких специализированных систем, NVIDIA предлагает единый вес, охватывающий весь спектр аудиозадач при сохранении текстовой силы базовой модели.