El modelo de vídeo AURA 2.0 inicia la conversación por sí mismo: la respuesta suena a los 344 ms
Un asistente de vídeo convencional permanece en silencio hasta que se le hace una pregunta. AURA 2.0, con 9.000 millones de parámetros, sigue la imagen por sí mismo y decide cuándo intervenir, por ejemplo para advertir de que un cable se está recalentando. El modelo es compatible desde el primer día con vLLM-Omni, el motor que lo ejecuta en el servidor. El primer fragmento de la respuesta en audio llega en 344 ms, algo más de un tercio de segundo (mediana). Para asistentes con cámara, esto se acerca a una conversación en tiempo real.
Procesado por IA desde X: @vllm_project; editado por Hamidun News
Imagine un asistente con cámara que observa cómo usted repara un cuadro eléctrico y le dice por sí mismo: «Cuidado, el cable se ha recalentado». Los modelos de vídeo habituales no hacen eso: esperan una pregunta y, sin ella, guardan silencio. AURA 2.
0 es un modelo de vídeo en streaming de 9.000 millones de parámetros (nueve mil millones de pesos ajustables, es decir, un modelo de tamaño medio) que sigue lo que ocurre y decide cuándo entrar en la conversación. El equipo del proyecto vLLM ha anunciado que AURA 2.
0 es compatible desde el día cero con su motor vLLM-Omni, un programa que ejecuta los modelos en el servidor y atiende las peticiones de los usuarios, es decir, en el mismo momento de su lanzamiento. La cifra principal del anuncio son 344 ms: ese es el tiempo medio (mediana) que transcurre hasta el primer fragmento de la respuesta en audio. Es algo más de un tercio de segundo, prácticamente sin pausas perceptibles.
Qué puede hacer AURA 2.0
El modelo observa la escena de forma continua y sabe hacer tres cosas.
La primera es conversar por iniciativa propia. Decide cuándo decir algo y qué decir, sin esperar una pregunta. En lugar del modo habitual de «pregunta y respuesta», se comporta como un observador que sabe cuándo es oportuno intervenir y cuándo es mejor callar.
La segunda es invocar herramientas teniendo en cuenta el flujo de vídeo. El modelo se apoya en lo que se ve en el encuadre y en el curso de la conversación, consulta servicios externos y devuelve el resultado directamente al diálogo. Por ejemplo, si detecta en el vídeo una etiqueta con un código, solicita los datos asociados y comunica el resultado.
La tercera es el anclaje visual. Cuando el modelo habla de un objeto, lo señala con recuadros sincronizados con los fotogramas. El usuario no tiene que adivinar a cuál de «esta cosa» se refiere.
De dónde salen los 344 ms
Un asistente de voz con vídeo consta de tres etapas: reconocimiento de voz, procesamiento del vídeo junto con el lenguaje y síntesis de la respuesta hablada. Según vLLM, vLLM-Omni sirve todo este proceso de principio a fin. Para que la latencia no se acumule, se aplican tres técnicas:
- reutilización de sesiones y prefijos: la parte del flujo que ya se ha procesado no se vuelve a calcular;
- vía rápida para los turnos silenciosos: si el modelo decide no decir nada, no pone en marcha el ciclo completo de generación;
- envío de la voz por frases: la locución comienza en cuanto está lista la primera frase, no al terminar toda la respuesta.
El resultado que indica el proyecto es una latencia mediana hasta el primer paquete de audio de 344 ms. La medición se hizo con una sola sesión en dos aceleradores, cada uno con unos 140 GB de memoria. Es una cifra notable para la sensación de conversación en directo. Sin embargo, con una carga real y muchos flujos simultáneos los resultados pueden ser diferentes, y el anuncio no incluye datos para ese escenario.
Los benchmarks y cómo interpretarlos
Según los autores, AURA 2.0 lidera cuatro comparativas agregadas: IPIBench, StreamArena, ProactiveVideoQA y PhoStream. Son pruebas de vídeo en streaming y de comportamiento proactivo, es decir, situaciones en las que el modelo debe identificar por sí mismo el momento adecuado para intervenir. Matiz importante: la comparativa la presentan los propios autores y el equipo de vLLM. El anuncio no incluye cifras concretas, así que conviene esperar verificaciones independientes antes de basar decisiones de producto en estos resultados.
El modelo ha sido desarrollado por el equipo de AURA junto con CUHK MMLab y HKUST. La página del proyecto y los pesos en Hugging Face están publicados, por lo que el modelo puede descargarse y ejecutarse en infraestructura propia.
La conclusión práctica para desarrolladores y responsables de producto es la siguiente. Si desarrolla un asistente con cámara, por ejemplo para soporte técnico en obra, formación, accesibilidad o monitorización, ya existe un modelo abierto que entiende cuándo hablar sin que se le pida. También hay una pila de servidor lista para usar que mantiene la latencia en fracciones de segundo. El riesgo principal es evidente: un modelo proactivo puede hablar con demasiada frecuencia y resultar molesto. Antes de llevarlo a producción conviene comprobar por separado con qué frecuencia interviene y con qué precisión elige el momento. Además, merece la pena calcular cuántos aceleradores necesitará para el número real de usuarios.
- 21 nov 2026Anthropic logra una OPV récord de 81.300 millones de dólares, pero el control sigue en manos de los fundadores
- 21 nov 2026ONNX Runtime desaparece de GitHub: Microsoft oculta los repositorios tras el ataque a un paquete
- 21 nov 2026Microsoft permitirá a las empresas ajustar los modelos MAI con sus propios datos en Azure
- 21 nov 2026llama.cpp 1.0.0: API estable para desarrolladores y eliminación de 35 funciones antiguas
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué puede hacer AURA 2.0?
El modelo observa la escena de forma continua y sabe hacer tres cosas. La primera es conversar por iniciativa propia. Decide cuándo decir algo y qué decir, sin esperar una pregunta. En lugar del modo habitual de «pregunta y respuesta», se comporta como un observador que sabe cuándo es oportuno intervenir y cuándo es mejor callar. La segunda es invocar herramientas teniendo en cuenta el flujo de vídeo.
¿Qué se sabe sobre De dónde salen los 344 ms?
Un asistente de voz con vídeo consta de tres etapas: reconocimiento de voz, procesamiento del vídeo junto con el lenguaje y síntesis de la respuesta hablada. Según vLLM, vLLM-Omni sirve todo este proceso de principio a fin.
¿Qué se sabe sobre Los benchmarks y cómo interpretarlos?
Según los autores, AURA 2.0 lidera cuatro comparativas agregadas: IPIBench, StreamArena, ProactiveVideoQA y PhoStream. Son pruebas de vídeo en streaming y de comportamiento proactivo, es decir, situaciones en las que el modelo debe identificar por sí mismo el momento adecuado para intervenir. Matiz importante: la comparativa la presentan los propios autores y el equipo de vLLM.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.