Audex-30B: a rede neural da NVIDIA para áudio e fala

Em 7 de julho de 2026, a NVIDIA lançou o Audex-30B, um sistema unificado de áudio e fala com arquitetura Mixture of Experts que reúne cinco tipos de tarefas de áudio em um só modelo, sem perda significativa das capacidades de texto do sistema base.

O que o Audex reúne em um só modelo

Antes do Audex, cada tarefa de áudio exigia uma solução especializada: um sistema para reconhecimento de fala, outro para tradução, um terceiro para síntese. A NVIDIA os integrou em uma única arquitetura MoE:

• Compreensão de conteúdo de áudio: análise do conteúdo de arquivos de som
• Reconhecimento automático de fala (ASR)
• Tradução de fala para outro idioma
• Síntese de fala: text-to-speech (TTS)
• Geração de áudio

A arquitetura Mixture of Experts permite que o modelo ative apenas parte dos parâmetros conforme a tarefa. Dos 30 bilhões de parâmetros totais, cerca de 3 bilhões ficam ativos; daí o sufixo A3B no nome completo. Essa abordagem reduz a carga computacional na inferência em comparação com um modelo denso do mesmo tamanho total.

Por que preservar as capacidades de texto importa

Adicionar uma nova modalidade a um modelo de linguagem já treinado costuma vir acompanhado do «esquecimento catastrófico»: as capacidades de texto originais se degradam sob o efeito do novo ajuste fino. É um dos principais desafios de engenharia no desenvolvimento de sistemas multimodais.

A NVIDIA construiu o Audex sobre o Nemotron-Cascade-2, sua própria base de texto com forte desempenho linguístico. A empresa afirma que a regressão nos benchmarks de texto foi mínima: as capacidades de áudio foram adicionadas sem queda perceptível na qualidade com texto.

A arquitetura MoE tem papel central aqui: os «especialistas» de áudio e de texto dentro do modelo ficam parcialmente isolados entre si, o que reduz a interferência mútua entre modalidades durante o ajuste fino. Com isso, o modelo continua competente em texto e em som, sem abrir mão de uma área pela outra.

Para quem isso importa

Um único modelo multitarefa simplifica o desenvolvimento de produtos de voz e multimodais. Em vez de manter vários sistemas especializados, a equipe trabalha com um só conjunto de pesos: é mais simples de implantar, atualizar e monitorar. A atualização de um único modelo melhora as cinco funções ao mesmo tempo.

Os cenários de uso potenciais são amplos: assistentes de voz que entendem contexto, sistemas de transcrição e tradução em tempo real, plataformas de voz multilíngues para call centers e ferramentas de geração de conteúdo de áudio.

O que isso significa

O Audex segue a tendência de modelos fundacionais multimodais com cobertura total de tarefas. Onde antes «áudio + texto» significava combinar vários sistemas especializados, a NVIDIA oferece um único conjunto de pesos que cobre todo o espectro de tarefas de áudio e mantém a força em texto do modelo base.

O que a rede neural Audex-30B pode fazer?

Reúne cinco tipos de tarefas de áudio: compreensão de conteúdo de áudio, reconhecimento automático de fala, síntese, tradução e um tipo adicional de processamento de som, tudo em um só modelo que preserva as capacidades de texto.