OpenMOSS publie MOSS-Audio, un modèle audio ouvert qui devance des concurrents plus gros

OpenMOSS a publié une version rare dans l'audio open source : MOSS-Audio cherche à couvrir toute la chaîne de compréhension du son dans un seul modèle. Au lieu d'un assemblage de solutions distinctes pour la transcription de la parole, l'analyse des émotions, les bruits de fond, la musique et les questions sur les horodatages, l'équipe a construit une architecture unique qui, d'après les benchmarks du projet lui-même, devance déjà toutes les alternatives ouvertes testées, y compris des systèmes plus de quatre fois plus gros.

Le projet a été créé par OpenMOSS avec MOSI.AI et le Shanghai Innovation Institute. La version comprend quatre variantes : MOSS-Audio-4B-Instruct, MOSS-Audio-4B-Thinking, MOSS-Audio-8B-Instruct et MOSS-Audio-8B-Thinking. Les variantes Instruct sont conçues pour exécuter directement les requêtes et fournir un format de réponse prévisible, tandis que les modèles Thinking visent des analyses plus complexes avec raisonnement en plusieurs étapes. Ils reposent sur Qwen3-4B et Qwen3-8B, et la taille totale des modèles est d'environ 4,6 et 8,6 milliards de paramètres.

Le pari principal ne porte pas seulement sur la taille, mais sur la polyvalence. MOSS-Audio sait reconnaître la parole avec des horodatages au mot et à la phrase, déterminer les caractéristiques du locuteur et les émotions, extraire du contexte des sons ambiants, analyser le style musical et les instruments, répondre à des questions sur des podcasts, des entretiens et des réunions, et tirer des conclusions d'extraits audio longs. Pour les développeurs, cela donne un pipeline plus simple : un seul système au lieu d'enchaîner ASR, classifieur d'événements, modèle musical distinct et post-traitement des horodatages.

L'architecture comprend trois parties : un encodeur audio maison, un adaptateur de modalité et un modèle de langage. Le son brut est d'abord converti en représentations temporelles continues à 12,5 Hz, puis ces caractéristiques sont projetées dans l'espace d'embeddings du LLM, après quoi le modèle génère une réponse textuelle. L'équipe souligne qu'elle n'a pas repris de frontend audio prêt à l'emploi : elle a entraîné l'encodeur de zéro pour obtenir des représentations de la parole plus robustes, une meilleure précision temporelle et une extension possible à différents types de sons.

Deux idées techniques ressortent. La première est le DeepStack Cross-Layer Feature Injection : le modèle ne se limite pas à la couche supérieure de l'encodeur, mais injecte dans les premières couches du LLM des caractéristiques issues de niveaux intermédiaires, afin de ne perdre ni la prosodie, ni le rythme, ni le timbre, ni les brefs événements acoustiques, ni la structure du fond sonore. La seconde est une représentation time-aware, avec des tokens temporels explicites entre les trames audio pendant le pré-entraînement. Le système comprend ainsi mieux non seulement ce qui s'est passé, mais aussi quand précisément, ce qui est crucial pour l'ASR horodaté, la localisation d'événements et les questions sur la chronologie.

D'après les résultats annoncés, MOSS-Audio-8B-Thinking obtient en moyenne 71,08 points sur quatre benchmarks audio généraux : 77,33 sur MMAU, 64,92 sur MMAU-Pro, 66,53 sur MMAR et 75,52 sur MMSU. C'est mieux que Step-Audio-R1, avec 33 milliards de paramètres, qui a obtenu 70,67, et mieux que Qwen3-Omni-30B-A3B-Instruct, à 67,91. Même la version plus petite, 4B-Thinking, affiche une moyenne de 68,37 et devance de nombreux systèmes plus gros limités au mode instruct.

En speech captioning, 8B-Instruct est en tête dans 11 catégories sur 13 avec une note moyenne de 3,7252, et en ASR il affiche le meilleur CER global, 11,30. Sur les tâches d'horodatage, le modèle atteint un AAS de 35,77 sur AISHELL-1 et de 131,61 sur LibriSpeech, nettement devant les alternatives ouvertes de référence.

Le principal enseignement : dans l'audio open source, un basculement s'amorce des modèles spécialisés vers des systèmes universels qui comprennent la parole, la musique et l'environnement sonore dans une seule boucle. Si les chiffres se confirment lors de tests indépendants, MOSS-Audio pourrait devenir une brique de base pour les assistants vocaux, l'analyse d'appels, la recherche dans les archives média et les outils pour l'audio long, surtout là où il faut garder la maîtrise du modèle et l'exécuter en local plutôt que passer par une API fermée.