NVIDIA lança Nemotron 3.5 Transcribe: 40 idiomas e 100 horas de áudio em 3 minutos

A NVIDIA publicou o Nemotron 3.5 Transcribe, modelo aberto que converte fala em texto. Ele trabalha com 40 idiomas, traduz 31 deles e consegue separar as falas de diferentes pessoas em 13. Dos cerca de 34 bilhões de parâmetros, apenas cerca de 4,3 bilhões são ativados a cada token, o que explica a velocidade: em uma única RTX PRO 6000, o modelo processou 100 horas de gravações em menos de três minutos. Junto com ele, a empresa liberou o dataset Granary v2, com 463 mil horas de fala.

O russo recebeu o conjunto completo de tarefas

Para o russo, está disponível tudo o que a NVIDIA treinou no modelo: transcrição, tradução, separação da fala por falante e suporte a fala mista, quando os idiomas se alternam na mesma gravação. Esse último ponto importa em reuniões reais por chamada de vídeo, nas quais termos em russo e em inglês aparecem misturados, e os sistemas clássicos de ASR costumam falhar nesse tipo de gravação.

O modelo aceita arquivos de até uma hora e marca o tempo de cada palavra. É possível controlá-lo por instruções em texto, por exemplo pedindo que transcreva a gravação e identifique cada falante. Há também um modo de perguntas sobre o conteúdo do áudio, mas apenas em inglês. O modelo não processa áudio ao vivo: ele foi pensado para arquivos prontos.

Mamba, Transformer e mixture of experts

A arquitetura reúne um codificador de fala e um modelo de linguagem híbrido, em que camadas Mamba se alternam com camadas de Transformer e parte dos blocos funciona como mixture of experts. Daí a diferença entre 34 bilhões de parâmetros totais e 4,3 bilhões ativos. A memória precisa comportar todos os pesos, mas o custo de computação por token é o de um modelo bem menor.

Isso aparece no ranking da Artificial Analysis. O Nemotron 3.5 Transcribe registra ali 2,8% de erros, exatamente o mesmo resultado de um concorrente que precisa de cerca de seis vezes mais parâmetros ativos. Com qualidade equivalente, o ganho está no custo de inferência.

Os números e o que vem no pacote

• Idiomas: 40 para transcrição, 31 para tradução, 13 para separação por falante.
• Duração da gravação: até uma hora, com marcação de tempo por palavra.
• Parâmetros: 34 bilhões no total, cerca de 4,3 bilhões ativos por token.
• Composição: codificador de fala e modelo de linguagem híbrido Mamba + Transformer com mixture of experts.
• Ranking aberto de transcrição da Hugging Face: primeiro lugar entre os modelos abertos. A taxa média de erro de palavras foi de 5,33% em inglês, 4,62% na parte multilíngue e 10,98% em gravações longas.
• Artificial Analysis: 2,8% de erros.
• Velocidade: 100 horas de áudio em menos de três minutos em uma única RTX PRO 6000. É mais de 2000 vezes mais rápido que o tempo real.
• Licença: OpenMDW-1.1.
• Dataset Granary v2: 463 mil horas de fala, 48 idiomas, reunidos a partir de 16 corpora abertos.

Os 10,98% em gravações longas mostram onde ainda há espaço para melhorar. Uma hora de áudio com vozes diferentes e ruídos continua gerando cerca de duas vezes mais erros do que segmentos curtos.

O dataset merece destaque à parte. A NVIDIA publicou as descrições e o pipeline de processamento, mas o áudio em si precisa ser baixado separadamente, respeitando as licenças dos corpora de origem. Em compensação, outras equipes ganham uma receita pronta para montar um conjunto desse tipo e podem reproduzi-lo ou adaptá-lo aos seus próprios idiomas.

Para quem serve e em quais casos

O modelo atende bem ao processamento em lote de arquivos: gravações de chamadas, podcasts, aulas e entrevistas. Quem produz legendas ou atas de reuniões vai aproveitar a marcação de tempo por palavra e a identificação dos falantes. Para equipes russófonas, o suporte a fala mista é útil, e a licença aberta permite rodar tudo em servidores próprios, sem enviar gravações a uma API externa.

As limitações também são claras. O modelo não serve para assistentes de voz nem para legendas ao vivo, porque não tem streaming. As perguntas sobre áudio funcionam apenas em inglês. Os pesos, o relatório técnico, a demo e o dataset já estão no Hugging Face, então dá para testar a qualidade em gravações próprias antes de integrar o modelo a um produto.