OpenMOSS lanza MOSS-Audio, un modelo de audio abierto que supera a rivales más grandes

OpenMOSS ha presentado un lanzamiento poco habitual en el audio open source: MOSS-Audio intenta cubrir toda la pila de comprensión del sonido en un solo modelo. En lugar de un conjunto de soluciones separadas para transcribir voz, analizar emociones, ruidos de fondo, música y preguntas sobre marcas de tiempo, el equipo ha construido una arquitectura única que, según los benchmarks del propio proyecto, ya supera a todas las alternativas abiertas probadas, incluidos sistemas con más de cuatro veces su tamaño.

El proyecto lo han creado OpenMOSS junto con MOSI.AI y el Shanghai Innovation Institute. La versión incluye cuatro variantes: MOSS-Audio-4B-Instruct, MOSS-Audio-4B-Thinking, MOSS-Audio-8B-Instruct y MOSS-Audio-8B-Thinking. Las variantes Instruct están pensadas para ejecutar peticiones de forma directa y con un formato de respuesta predecible, mientras que los modelos Thinking apuntan a análisis más complejos con razonamiento en varios pasos. Se basan en Qwen3-4B y Qwen3-8B, y el tamaño total de los modelos ronda los 4,6 y 8,6 mil millones de parámetros.

La apuesta principal no es solo el tamaño, sino la versatilidad. MOSS-Audio puede reconocer voz con marcas de tiempo por palabra y por frase, determinar características del hablante y emociones, extraer contexto de los sonidos ambientales, analizar el estilo musical y los instrumentos, responder preguntas sobre pódcast, entrevistas y reuniones, y sacar conclusiones de fragmentos largos de audio. Para los desarrolladores significa un flujo más sencillo: un solo sistema en lugar de encadenar ASR, un clasificador de eventos, un modelo musical aparte y posprocesado de marcas de tiempo.

La arquitectura consta de tres partes: un codificador de audio propio, un adaptador de modalidad y un modelo de lenguaje. El audio en bruto se convierte primero en representaciones temporales continuas a 12,5 Hz, después esos rasgos se proyectan al espacio de embeddings del LLM y el modelo genera una respuesta de texto. El equipo subraya que no usó un frontend de audio ya hecho, sino que entrenó el codificador desde cero para lograr representaciones de voz más robustas, mejor precisión temporal y capacidad de ampliarse a distintos tipos de sonido.

Destacan dos ideas técnicas. La primera es DeepStack Cross-Layer Feature Injection: el modelo no se limita a la capa superior del codificador, sino que inyecta en las primeras capas del LLM rasgos de niveles intermedios para no perder prosodia, ritmo, timbre, eventos acústicos breves ni la estructura del fondo. La segunda es una representación consciente del tiempo (time-aware), con tokens temporales explícitos entre los fotogramas de audio durante el preentrenamiento. Así, el sistema entiende mejor no solo qué ocurrió, sino cuándo exactamente, algo crítico para el ASR con marcas de tiempo, la localización de eventos y las preguntas sobre la línea temporal.

Según los resultados declarados, MOSS-Audio-8B-Thinking obtiene una media de 71,08 puntos en cuatro benchmarks generales de audio: 77,33 en MMAU, 64,92 en MMAU-Pro, 66,53 en MMAR y 75,52 en MMSU. Es más que Step-Audio-R1, con 33 mil millones de parámetros, que logró 70,67, y más que Qwen3-Omni-30B-A3B-Instruct, con 67,91. Incluso la versión más pequeña, 4B-Thinking, alcanzó una media de 68,37 y superó a muchos sistemas más grandes que solo ofrecen modo instruct.

En speech captioning, 8B-Instruct lidera en 11 de las 13 categorías y obtiene una puntuación media de 3,7252, y en ASR registra el mejor CER total, 11,30. En tareas con marcas de tiempo, el modelo marca un AAS de 35,77 en AISHELL-1 y 131,61 en LibriSpeech, claramente por delante de las alternativas abiertas de referencia.

La conclusión principal: en el audio open source empieza un giro de los modelos especializados hacia sistemas universales que entienden voz, música y entorno sonoro en un único circuito. Si las cifras se confirman en pruebas independientes, MOSS-Audio podría convertirse en un componente básico para asistentes de voz, analítica de llamadas, búsqueda en archivos multimedia y herramientas para audio largo, sobre todo donde se necesita control sobre el modelo y ejecución local en lugar de una API cerrada.