NVIDIA lanza Nemotron 3.5 Transcribe: 40 idiomas y 100 horas de audio en 3 minutos

NVIDIA ha publicado Nemotron 3.5 Transcribe, un modelo abierto para convertir voz en texto. Funciona con 40 idiomas, traduce 31 de ellos y puede separar las intervenciones de los hablantes en 13. De unos 34 mil millones de parámetros, activa por cada token unos 4,3 mil millones, y por eso es rápido: en una sola RTX PRO 6000 procesó 100 horas de grabaciones en menos de tres minutos. Junto con el modelo, la compañía ha publicado el dataset Granary v2, con 463 mil horas de voz.

El ruso recibe el conjunto completo de tareas

Para el ruso están disponibles todas las tareas con las que NVIDIA entrenó el modelo: transcripción, traducción, separación del habla por hablante y procesamiento de habla mixta, es decir, grabaciones en las que se alternan varios idiomas. Esto último importa en las videollamadas reales, donde los términos en ruso y en inglés se mezclan y los sistemas ASR clásicos suelen fallar.

El modelo acepta archivos de hasta una hora y marca el tiempo de cada palabra. Se controla con instrucciones de texto: por ejemplo, se le puede pedir que transcriba la grabación y etiquete a cada hablante. También hay un modo de preguntas sobre el contenido del audio, pero solo para inglés. El modelo no procesa audio en directo: está pensado para archivos ya grabados.

Mamba, transformer y mezcla de expertos

La arquitectura consta de un codificador de voz y un modelo de lenguaje híbrido en el que las capas Mamba se alternan con capas de transformer, y parte de los bloques funciona como mezcla de expertos. De ahí la diferencia entre los 34 mil millones de parámetros totales y los 4,3 mil millones activos. La memoria debe alojar todos los pesos, pero el cómputo por token equivale al de un modelo bastante más pequeño.

Esto se ve en el ranking de Artificial Analysis. Nemotron 3.5 Transcribe registra allí un 2,8% de errores, exactamente igual que un competidor que necesita unas seis veces más parámetros activos. Con la misma calidad, la ventaja está en el coste de inferencia.

Las cifras y el contenido del paquete

• Idiomas: 40 para transcripción, 31 para traducción, 13 para separación por hablantes.
• Duración de la grabación: hasta una hora, con marcas de tiempo por palabra.
• Parámetros: 34 mil millones en total, unos 4,3 mil millones activos por token.
• Composición: codificador de voz y modelo de lenguaje híbrido Mamba + transformer con mezcla de expertos.
• Ranking abierto de transcripción de Hugging Face: primer puesto entre los modelos abiertos. La tasa media de error por palabra fue del 5,33% en inglés, del 4,62% en la parte multilingüe y del 10,98% en grabaciones largas.
• Artificial Analysis: 2,8% de errores.
• Velocidad: 100 horas de audio en menos de tres minutos en una sola RTX PRO 6000. Es más de 2000 veces más rápido que el tiempo real.
• Licencia: OpenMDW-1.1.
• Dataset Granary v2: 463 mil horas de voz, 48 idiomas, reunidas a partir de 16 corpus abiertos.

La cifra del 10,98% en grabaciones largas muestra dónde queda margen de mejora. Una hora de audio con voces distintas y ruido sigue generando aproximadamente el doble de errores que los segmentos cortos.

El dataset merece una mención aparte. NVIDIA ha publicado las descripciones y el pipeline de procesamiento, pero el audio en sí hay que descargarlo por separado, respetando las licencias de los corpus originales. A cambio, otros equipos obtienen una receta lista para construir un conjunto de este tipo y pueden reproducirlo o adaptarlo a sus propios idiomas.

Para quién y para qué sirve

El modelo es adecuado para el procesamiento por lotes de archivos: grabaciones de llamadas, pódcast, clases y entrevistas. A quienes hacen subtítulos o actas de reuniones les resultarán útiles las marcas de tiempo por palabra y el etiquetado de hablantes. Para los equipos rusohablantes es valioso el soporte de habla mixta, y la licencia abierta permite desplegarlo todo en servidores propios, sin enviar las grabaciones a una API externa.

Las limitaciones también están claras. El modelo no sirve para asistentes de voz ni para subtítulos en directo, porque no tiene streaming. Las preguntas sobre el audio solo funcionan en inglés. Los pesos, el informe técnico, la demo y el dataset ya están en Hugging Face, de modo que se puede comprobar la calidad con grabaciones propias antes de integrar el modelo en un producto.