Alibaba lança o Qwen3.5-Omni, modelo multimodal nativo para texto, áudio e vídeo

A Alibaba apresentou o Qwen3.5-Omni, modelo omnimodal nativo que entende texto, imagens, áudio e vídeo em uma única arquitetura e pode responder por voz em tempo real.

Como o modelo é construído

A ideia central do Qwen3.5-Omni é que ele não é um conjunto de modelos separados conectados a um núcleo de texto, mas um sistema único, concebido desde o início para vários tipos de dados. A Alibaba contrapõe essa abordagem ao formato antigo de multimodalidade, em que visão ou som eram simplesmente «costurados» a um LLM por meio de codificadores externos. Para os desenvolvedores, a diferença importa: uma arquitetura nativa costuma manter melhor o contexto entre canais, relaciona a fala com a imagem com mais precisão e escala com mais facilidade em cenários reais, como chamadas, análise de vídeo e assistentes de voz.

No relatório técnico, o Qwen3.5-Omni é descrito como um modelo da família omnimodal, com arquitetura Hybrid Attention Mixture-of-Experts para dois circuitos: Thinker e Talker. O primeiro cuida da compreensão e do raciocínio; o segundo, da resposta de voz em streaming. A Qwen diz que o modelo foi treinado com pares heterogêneos de texto e imagem e com mais de 100 milhões de horas de dados audiovisuais.

O contexto declarado é de 256 mil tokens, o que significa que uma única sessão pode incluir conversas muito longas, gravações de reuniões, aulas, capturas de tela e clipes de vídeo sem dividir tudo em dezenas de requisições pequenas.

A série chega em algumas variantes: Plus, Flash e Light. Isso sugere uma lógica conhecida de linha de produtos: qualidade máxima para tarefas complexas, modo rápido para cenários interativos e versão mais leve para economizar poder computacional.

A Alibaba também destaca a operação em tempo real: o Qwen3.5-Omni pode transmitir a resposta em texto e em fala natural, e o mecanismo ARIA, que alinha dinamicamente unidades de texto e de fala, responde por uma geração de voz mais estável e fluida.

Principais recursos do lançamento

Segundo o relatório técnico, o Qwen3.5-Omni-Plus obtém os melhores resultados em 215 tarefas e benchmarks de compreensão de áudio e audiovisual, raciocínio e interação. A Qwen destaca que o modelo supera o Gemini 3.1 Pro em tarefas-chave de áudio e fica em nível comparável na compreensão audiovisual abrangente.

Para a Alibaba, é um sinal importante ao mercado: a concorrência entre os modelos multimodais mais fortes não se resume mais a OpenAI e Google, e os laboratórios chineses reivindicam a liderança justamente nos modos mais difíceis: voz, vídeo e diálogo ao vivo.

• Janela de contexto de 256k
• Mais de 10 horas de áudio em uma sessão
• Mais de 400 segundos de vídeo em 720p a 1 FPS
• Variantes Plus, Flash e Light
• Legendas estruturadas com cenas e marcações de tempo

Outro ponto forte do lançamento é a descrição de áudio e vídeo. O relatório fala em legendas estruturadas em nível de roteiro: o modelo pode criar descrições detalhadas com sincronização temporal precisa e divisão automática em cenas. Isso é útil não só para arquivos de mídia, mas também para busca em bases de vídeo, análise de chamadas, ensino, acessibilidade e controle de qualidade de conteúdo. Na prática, a Alibaba empurra o Qwen3.5-Omni para uma camada universal de compreensão de qualquer formato de mídia, e não apenas um «chatbot que também ouve».

Os pesquisadores também apontam uma nova capacidade, chamada de Audio-Visual Vibe Coding. Trata-se de programar diretamente a partir de instruções audiovisuais: o modelo pode interpretar não só um pedido em texto, mas também uma explicação falada junto com o contexto visual. Por ora, é mais um sinal de pesquisa do que um produto de massa pronto, mas a direção é reveladora. Se esses modos se consolidarem, o desenvolvedor não precisará reescrever um relatório de bug à mão: bastará mostrar a interface, explicar o problema em voz alta e receber um rascunho funcional da solução.

O que isso significa

O Qwen3.5-Omni mostra que a próxima etapa da corrida da IA não gira em torno de mais um chatbot de texto, mas de modelos que lidam com a mesma segurança com som, imagem, vídeo e fala em um único fluxo. Para as empresas, isso abre caminho para produtos mais coesos: agentes de voz, análise de reuniões, busca em mídia e interfaces que entendem não só texto, mas tudo o que o usuário mostra e diz.