Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoCódigo / SDK · Pronto p/ usoMarkTechPost→ original

OpenMOSS lança MOSS-Audio, modelo de áudio aberto que supera rivais maiores

A OpenMOSS lançou o MOSS-Audio, um modelo aberto para entender fala, música e sons ambientes em uma única stack. O lançamento traz quatro versões de 4B e 8B e, segundo a equipe, a principal, 8B-Thinking, superou em benchmarks gerais de áudio todos os modelos open source testados, incluindo sistemas bem maiores. A equipe também destaca a precisão com timestamps e a análise de áudio em várias etapas.

Processado por IA de MarkTechPost; editado por Hamidun News
OpenMOSS lança MOSS-Audio, modelo de áudio aberto que supera rivais maiores
Fonte: MarkTechPost. Colagem: Hamidun News.
Ouvir artigo

A OpenMOSS apresentou um lançamento raro no áudio open source: o MOSS-Audio tenta cobrir toda a stack de compreensão de som em um único modelo. Em vez de um conjunto de soluções separadas para transcrever fala, analisar emoções, ruídos de fundo, música e perguntas sobre timestamps, a equipe montou uma arquitetura única que, segundo os benchmarks do próprio projeto, já supera todas as alternativas abertas testadas, inclusive sistemas mais de quatro vezes maiores.

O projeto foi criado pela OpenMOSS em parceria com a MOSI.AI e o Shanghai Innovation Institute. O lançamento inclui quatro versões: MOSS-Audio-4B-Instruct, MOSS-Audio-4B-Thinking, MOSS-Audio-8B-Instruct e MOSS-Audio-8B-Thinking. As variantes Instruct são voltadas à execução direta de pedidos e a um formato de resposta previsível, enquanto os modelos Thinking miram análises mais complexas, com raciocínio em várias etapas. A base são o Qwen3-4B e o Qwen3-8B, e o tamanho total dos modelos é de cerca de 4,6 e 8,6 bilhões de parâmetros.

A aposta principal não é só o tamanho, mas a versatilidade. O MOSS-Audio consegue reconhecer fala com timestamps por palavra e por frase, identificar características do falante e emoções, extrair contexto de sons do ambiente, analisar estilo musical e instrumentos, responder perguntas sobre podcasts, entrevistas e reuniões e tirar conclusões de trechos longos de áudio. Para desenvolvedores, isso significa um pipeline mais simples: um só sistema no lugar de uma cadeia com ASR, classificador de eventos, modelo musical separado e pós-processamento de timestamps.

A arquitetura tem três partes: um codificador de áudio próprio, um adaptador de modalidade e um modelo de linguagem. O áudio bruto é convertido primeiro em representações temporais contínuas a 12,5 Hz; depois, essas features são projetadas no espaço de embeddings do LLM, e o modelo gera uma resposta em texto. A equipe ressalta que não usou um frontend de áudio pronto e treinou o codificador do zero, para obter representações de fala mais robustas, melhor precisão temporal e capacidade de expansão para diferentes tipos de som.

Duas ideias técnicas se destacam. A primeira é o DeepStack Cross-Layer Feature Injection: o modelo não se limita à camada superior do codificador e injeta nas primeiras camadas do LLM features de níveis intermediários, para não perder prosódia, ritmo, timbre, eventos acústicos curtos e a estrutura do fundo. A segunda é a representação time-aware, com tokens temporais explícitos entre os frames de áudio durante o pré-treinamento. Com isso, o sistema entende melhor não só o que aconteceu, mas quando exatamente, o que é crítico para ASR com timestamps, localização de eventos e perguntas sobre a linha do tempo.

Segundo os resultados divulgados, o MOSS-Audio-8B-Thinking alcança média de 71,08 pontos em quatro benchmarks gerais de áudio: 77,33 no MMAU, 64,92 no MMAU-Pro, 66,53 no MMAR e 75,52 no MMSU. Isso supera o Step-Audio-R1, com 33 bilhões de parâmetros, que marcou 70,67, e o Qwen3-Omni-30B-A3B-Instruct, com 67,91. Até a versão menor, 4B-Thinking, teve média de 68,37 e superou muitos sistemas maiores que são só instruct.

Em speech captioning, o 8B-Instruct lidera em 11 das 13 categorias e tem nota média de 3,7252, e em ASR registra o melhor CER total, 11,30. Nas tarefas com timestamps, o modelo entrega AAS de 35,77 no AISHELL-1 e 131,61 no LibriSpeech, bem à frente das alternativas abertas de referência.

A principal conclusão: no áudio open source começa uma mudança de modelos especializados para sistemas universais, que entendem fala, música e ambiente sonoro em um único circuito. Se os números se confirmarem em testes independentes, o MOSS-Audio pode virar peça básica para assistentes de voz, análise de chamadas, busca em acervos de mídia e ferramentas para áudio longo, principalmente onde se precisa de controle sobre o modelo e execução local, e não de uma API fechada.

História
ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…