Qwen-Audio-3.1-ASR: 30 idiomas, 16 dialetos e diarização em um único modelo

A Qwen apresentou o relatório técnico do Qwen-Audio-3.1-ASR, uma família de modelos de áudio e linguagem que evolui a linha Qwen-Audio-3.0-ASR. Os parâmetros básicos foram mantidos: 30 idiomas e 16 dialetos chineses. Em compensação, o leque de tarefas cresceu de forma notável. O modelo agora separa a fala por falante, com timestamps, e responde a perguntas sobre o conteúdo do áudio, incluindo música e ruídos externos. Na prática, o modelo de ASR vira um analista de áudio de uso geral.

Diarização que mantém cada falante no seu lugar

A atualização mais prática é a transcrição com separação por falante. A saída não é um texto corrido, e sim uma estrutura: rótulo do falante, intervalo de tempo e frase reconhecida. Os autores destacam dois pontos em que esse tipo de sistema costuma falhar. O primeiro é a consistência dos rótulos entre as falas: o Falante 1 do início da gravação precisa continuar sendo o Falante 1 quarenta minutos depois. O segundo é a fala sobreposta, quando duas pessoas falam ao mesmo tempo. Em reuniões por chamada, entrevistas e call centers, esse é um problema básico: se o modelo confunde as pessoas ou "cola" falas que se interrompem, a transcrição perde valor.

O relatório também avalia esse cenário: os benchmarks são divididos em ASR clássico, fala multilíngue e dialetal, transcrição com diarização e compreensão geral de áudio.

Controle por instruções

A segunda linha de evolução é que o comportamento do modelo pode ser ajustado por prompts de texto. A família manteve três mecanismos:

• Condicionamento ao contexto histórico. O modelo considera os trechos anteriores da conversa, o que ajuda com homônimos e nomes próprios.
• Hotwords hierárquicas. Dicionários de termos, nomes e denominações podem ser definidos com prioridades, em vez de uma lista plana.
• Refinamento nativo da transcrição. O próprio modelo remove hesitações, insere pontuação e deixa o texto legível, sem necessidade de pós-processamento separado.

O ponto importante é que tudo isso é controlado por instruções, e não por fine-tuning. Para empresas com vocabulário especializado, como o médico, o jurídico ou o financeiro, essa abordagem sai bem mais barata do que treinar um modelo próprio para cada domínio.

A compreensão geral de áudio abrange:

• descrição de áudio, fala e música (captioning);
• localização temporal e detecção de eventos sonoros;
• respostas a perguntas sobre o áudio;
• perguntas de múltipla escolha que exigem raciocínio.

Isso desloca o foco do uso de "o que foi dito" para "quem disse, o que soava ao redor e em que momento".

Quatro modos para diferentes cenários

A família é dividida em variantes para diferentes condições de implantação: transcrição assíncrona de arquivos, streaming de baixa latência, entrada de voz interativa e reconhecimento sem streaming. A diarização e a compreensão geral de áudio não estão disponíveis em todas as variantes, apenas em algumas. Faz sentido: streaming com latência mínima e análise aprofundada de uma gravação longa exigem compromissos diferentes entre velocidade e qualidade.

Quem deve aproveitar primeiro

Quem mais ganha são os que trabalham com gravações longas em vários idiomas: serviços de transcrição de reuniões, veículos de mídia com arquivos de entrevistas, contact centers e plataformas de vídeo. Um único fluxo de API, no lugar de uma combinação de reconhecedor de fala, diarizador e um modelo separado para análise de som, simplifica a arquitetura e reduz o número de pontos de falha.

O suporte a 16 dialetos chineses torna a família especialmente interessante para o mercado da China e para as diásporas, onde os sistemas de ASR padrão lidam bem pior com a fala regional. Para quem desenvolve interfaces de voz, a variante de baixa latência com entrada interativa atende ao cenário de assistentes.

Antes de adotar, vale verificar cada variante: a diarização não está em todas. O ideal é testar com gravações próprias, com interrupções e ruído, justamente onde esses modelos costumam ficar aquém da qualidade declarada.