StreamVibe, el agente de vídeo de Google, supera en un 10,7 % a otros modelos en momento y calidad de respuesta

Un equipo de investigadores de Google, Stanford, Oxford y varias universidades estadounidenses ha presentado StreamVibe, un agente de vídeo que observa cómo una persona cocina o monta un mueble y decide por sí solo cuándo es hora de hablar. Su modelo entrenado, StreamVibe-VL, elige cada segundo entre callar y decir algo, y supera a otros modelos en un 10,7 % en momento y calidad de las respuestas; es decir, acierta mejor con el instante de la sugerencia y la formula mejor. Un sistema de memoria adicional suma otro 12,3 % a la interacción proactiva. Aun así, la tarea sigue siendo muy difícil para la IA actual, sobre todo con vídeos largos.

Lo que no saben hacer los asistentes de vídeo actuales

Según los autores, los asistentes de vídeo existentes están pensados para órdenes claras como «avísame cuando hierva el agua». Captan mal las intenciones no expresadas. Otra debilidad es tener en cuenta lo ya hecho: el asistente repite consejos o responde demasiado tarde. Y si el usuario cambia su petición a mitad de la tarea, el sistema suele seguir con la original. StreamVibe, en cambio, debe entender incluso peticiones vagas como «ayúdame si tengo problemas».

El agente distingue tres tipos de intención: explícitas, implícitas y las que cambian durante el trabajo. Para medir el problema, el equipo creó un banco de pruebas de unos 4100 ejemplos a partir de más de 183 horas de grabaciones de tareas cotidianas y uso de software. Gemini 2.5 Flash proponía cuándo ayudar y qué decir, y cuatro evaluadores humanos tenían que aprobar cada ejemplo por unanimidad. La prueba tiene tres niveles: instrucciones claras, objetivos vagos y peticiones que cambian con el tiempo. En un ejemplo, un usuario desmonta una excavadora de juguete, pide que le informen del progreso y, tres minutos después, pasa a comprobar la calidad.

Cómo funciona el modelo y qué resultados obtuvo

Con estos datos, los investigadores entrenaron StreamVibe-VL, al parecer sobre la base de Qwen3.5-9B de Alibaba. Cada segundo, el modelo decide si calla o habla. La segunda fase del entrenamiento usa aprendizaje por refuerzo y vuelve al modelo más comedido, para que no interrumpa constantemente al usuario. Un sistema de memoria independiente registra qué peticiones siguen pendientes y qué pasos ya se han dado. Aun así, qué decir y cuándo sigue decidiéndolo el propio modelo.

Según los autores, StreamVibe-VL es un 10,7 % mejor que otros modelos en momento y calidad de las respuestas. El sistema de memoria suma otro 12,3 % a la interacción proactiva y, entre otras cosas, reduce los comentarios innecesarios. StreamVibe-VL se distancia claramente del modelo base y de otros sistemas abiertos, pero Gemini 3.8 Flash, el modelo propietario de Google, sigue por encima en varias pruebas. El entrenamiento especializado, afirma el artículo, no empeora la comprensión general de vídeo.

Los ejemplos del artículo y de la página del proyecto muestran la diferencia con claridad. En un tutorial de GIMP sobre cómo pasar una foto a blanco y negro, el modelo de comparación JoyAI afirma que la imagen final ya está guardada, aunque el usuario aún no la ha abierto. StreamVibe-VL sugiere a tiempo el siguiente paso: primero «Colores» y luego «Desaturar». En un vídeo de rollitos de tostada con mermelada, otros modelos se limitan a describir lo que ocurre en pantalla, por ejemplo que se estira el pan, mientras que StreamVibe-VL aconseja cortar primero la corteza.

Dónde falla el sistema

La parte más importante del estudio son sus limitaciones. Cuando los modelos solo tienen que valorar en momentos puntuales si una sugerencia es oportuna, suelen resolverlo. Pero si el modelo procesa el vídeo completo y se apoya en sus propias respuestas anteriores, la calidad cae en todos los sistemas probados, porque los errores se acumulan. La métrica de contenido de las respuestas pierde hasta un 61,5 % cuando se apoya en su propio historial. En vídeos de más de cinco minutos, los modelos rara vez eligen el momento correcto, y siguen especialmente mal una instrucción modificada a larga distancia. La capa de memoria reduce sobre todo el número de intervenciones innecesarias, pero no resuelve el problema del momento.

Los propios autores reconocen que las situaciones reales son probablemente más complejas que el escenario de prueba. En el futuro quieren estudiar cómo se influyen mutuamente con el tiempo las preferencias del usuario y el entorno.

Contexto:

Google lleva tiempo avanzando hacia el análisis activo de vídeo

En septiembre, Google mostró el análisis agéntico de vídeo en Gemini: el modelo decide por sí mismo qué escenas examinar con más detalle. Hace poco, con Gemini 4 Argon, la compañía demostró cómo la IA sigue largas cadenas de acciones en vídeos de robots y detecta errores. StreamVibe añade la capacidad de entender qué ocurre en ese momento y de reconocer cuándo la ayuda es realmente necesaria.

Investigaciones afines apuntan a debilidades parecidas. En ProactiveBench, una prueba sobre la capacidad de hacer preguntas aclaratorias, los modelos, ante la falta de información visual, adivinan o se niegan a responder con más frecuencia que preguntan. Otro banco de pruebas de comprensión de vídeo reveló graves fallos en el razonamiento espacial y temporal. Y en el caso de los agentes autónomos, el propio diálogo puede empeorar el resultado, como mostraron investigadores de Microsoft.

La conclusión práctica para los desarrolladores: por ahora, un asistente de vídeo proactivo hay que diseñarlo con memoria explícita de la tarea y un límite a la frecuencia de intervención. Es pronto para confiar en que un solo modelo mantenga el hilo en un vídeo largo.