Alibaba lanza Qwen3.5-Omni, un modelo multimodal nativo para texto, audio y vídeo

Alibaba ha presentado Qwen3.5-Omni, un modelo omnimodal nativo que entiende texto, imágenes, audio y vídeo en una sola arquitectura y puede responder por voz en tiempo real.

Cómo está construido el modelo

La idea central de Qwen3.5-Omni es que no se trata de un conjunto de modelos independientes conectados a un núcleo de texto, sino de un sistema único diseñado desde el principio para varios tipos de datos. Alibaba contrapone este enfoque al formato antiguo de multimodalidad, en el que a un LLM simplemente se le «cosía» la visión o el sonido mediante codificadores externos. Para los desarrolladores la diferencia importa: una arquitectura nativa suele mantener mejor el contexto entre canales, vincula con más precisión el habla con la imagen y escala con más facilidad en escenarios reales como llamadas, analítica de vídeo y asistentes de voz.

El informe técnico describe Qwen3.5-Omni como un modelo de la familia omnimodal con una arquitectura Hybrid Attention Mixture-of-Experts para dos componentes: Thinker y Talker. El primero se encarga de la comprensión y el razonamiento; el segundo, de la respuesta de voz en streaming. Qwen indica que el modelo se entrenó con pares heterogéneos de texto e imagen y con más de 100 millones de horas de datos audiovisuales.

La ventana de contexto declarada es de 256 mil tokens, lo que significa que una sola sesión puede incluir conversaciones muy largas, grabaciones de reuniones, clases, capturas de pantalla y clips de vídeo sin dividirlos en decenas de peticiones pequeñas.

La serie llega en varias variantes: Plus, Flash y Light. Esto apunta a una lógica de gama conocida: máxima calidad para tareas complejas, un modo rápido para escenarios interactivos y una versión más ligera para ahorrar cómputo.

Alibaba también destaca el funcionamiento en tiempo real: Qwen3.5-Omni puede emitir la respuesta en streaming como texto y como voz natural, y del mecanismo ARIA, que alinea dinámicamente las unidades de texto y de habla, depende una generación de voz más estable y fluida.

Principales capacidades de la versión

Según el informe técnico, Qwen3.5-Omni-Plus logra los mejores resultados en 215 tareas y benchmarks de comprensión de audio y audiovisual, razonamiento e interacción. Qwen subraya que el modelo supera a Gemini 3.1 Pro en tareas clave de audio y se sitúa a un nivel comparable en comprensión audiovisual integral.

Para Alibaba es una señal importante al mercado: la competencia entre los modelos multimodales más potentes ya no se reduce a OpenAI y Google, y los laboratorios chinos aspiran al liderazgo precisamente en los modos más difíciles: voz, vídeo y diálogo en directo.

• Ventana de contexto de 256k
• Más de 10 horas de audio en una sesión
• Más de 400 segundos de vídeo en 720p a 1 FPS
• Variantes Plus, Flash y Light
• Subtítulos estructurados con escenas y marcas de tiempo

Otro punto fuerte de la versión es la descripción de audio y vídeo. El informe habla de subtítulos estructurados a nivel de guion: el modelo puede elaborar descripciones detalladas con sincronización temporal precisa y división automática en escenas. Es útil no solo para archivos de medios, sino también para la búsqueda en bases de vídeo, la analítica de llamadas, la formación, la accesibilidad y el control de calidad de contenidos. En el fondo, Alibaba empuja a Qwen3.5-Omni hacia una capa universal de comprensión para cualquier formato multimedia, y no solo hacia un «chatbot que además oye».

Los investigadores señalan además una nueva capacidad que llaman Audio-Visual Vibe Coding. Se trata de programar directamente a partir de instrucciones audiovisuales: el modelo puede interpretar no solo una petición de texto, sino también una explicación hablada junto con el contexto visual. Por ahora es más una señal de investigación que un producto masivo listo, pero la dirección es reveladora. Si estos modos se consolidan, un desarrollador no tendrá que reescribir a mano un informe de errores: bastará con mostrar la interfaz, explicar el problema en voz alta y recibir un borrador funcional de la solución.

Qué significa

Qwen3.5-Omni muestra que la siguiente etapa de la carrera de la IA no gira en torno a otro chatbot de texto, sino a modelos que trabajan con la misma solvencia con sonido, imagen, vídeo y habla en un único flujo. Para las empresas, esto abre el camino a productos más cohesionados: agentes de voz, análisis de reuniones, búsqueda en medios e interfaces que entienden no solo texto, sino todo lo que el usuario muestra y dice.