La IA de vídeo en streaming casi nunca sabe repreguntar: la mejor obtiene un 7,22% en la prueba AskStream

Un equipo del Instituto de Automatización de la Academia China de Ciencias, la Academia de IA de Pekín (BAAI) y otras dos universidades ha publicado AskStream, un test para IA de vídeo que ve el clip como si fuera una emisión en directo. Evalúa una habilidad que los modelos casi no tienen desarrollada: darse cuenta a tiempo de que falta información y preguntar. Para ello crearon la métrica Ask-F1, que solo da por válida una pregunta si se formula en la ventana temporal correcta y por el motivo correcto. El mejor modelo offline obtuvo un 52,18% y el mejor modelo de streaming, un 7,22%. Una diferencia de siete veces.

Por qué un modelo debe repreguntar

El esquema habitual es este: el modelo recibe el vídeo completo y después responde. Los modelos de streaming ven el clip a medida que llegan los fotogramas y responden en tiempo real. El siguiente paso son los modelos proactivos, que eligen por sí mismos cuándo responder, por ejemplo para avisar de una anomalía o para guiar al usuario paso a paso. Todos estos esquemas dan por hecho que, tarde o temprano, el flujo contendrá todo lo necesario para responder.

En la práctica no es así. El objeto clave puede estar borroso, la cámara puede apuntar al lado equivocado o el usuario puede haber hecho una pregunta ambigua. Entonces el modelo o espera indefinidamente o se inventa la respuesta. Los autores proponen una tercera acción, además de «esperar» y «responder»: preguntar.

Comprobaron la utilidad de este paso. Cuando el objeto clave del vídeo estaba borroso, la precisión de la respuesta era del 42,3%. Tras pedir un vídeo nítido, subió al 62,3%. Si se entrega directamente un vídeo perfectamente limpio, el resultado es del 63,1%. Las aclaraciones inadecuadas apenas ayudaban. La información correcta reducía la incertidumbre del modelo y desplazaba la probabilidad hacia la respuesta acertada.

Ocho situaciones en las que hay que preguntar

La incertidumbre tiene dos orígenes: el vídeo y el usuario. Juntos dan lugar a ocho subtareas:

• KVEM: el objeto clave del fotograma está borroso y hay que pedir un vídeo más nítido.
• VIM: los detalles necesarios no se ven desde el ángulo actual y hay que pedir otro.
• ICM: en el vídeo hay un objeto, pero el modelo desconoce su significado personal para el usuario (por ejemplo, de quién es) y debe preguntar.
• PACM: el usuario realiza una acción con un nombre propio cuya definición el modelo no conoce.
• AUQ: la pregunta es ambigua y hay que aclarar la intención.
• Pregunta con falsa premisa: el modelo debe notar que la pregunta contradice el vídeo, corregir al usuario y responder.
• UPM: para responder hacen falta los gustos del usuario, por ejemplo de estilo, y hay que preguntarlos.
• UPC: las preferencias guardadas han quedado obsoletas y el modelo debe pedir las actuales.

En algunas tareas el problema es evidente desde el principio: el modelo debe preguntar y luego esperar a los fotogramas necesarios. En otras, la carencia solo se descubre a lo largo del vídeo y hay que preguntar más tarde. Un turno se da por válido si la pregunta correcta se formula en la ventana adecuada y después se da la respuesta correcta.

Cómo se construyó y cómo se evaluó

El test incluye 438 vídeos y 1 401 preguntas de nueve dominios. La duración de los clips va de 16,72 segundos a 118 minutos. Los vídeos proceden de YouTube y de conjuntos de datos ya existentes, y una parte se sintetizó en Blender. El desenfoque de los objetos se hizo con Grounded SAM 2, y PySceneDetect ayudó a segmentar los clips. Las opciones de respuesta las generó GPT-5.6 Sol, y personas revisaron cada ejemplo: sin la información que falta no se puede responder de forma inequívoca, y con ella sí. En total, el test contiene 2 714 marcas temporales con precisión de fotograma, con una media de 3,2 turnos por vídeo.

Para los modelos offline, que no saben trabajar con un flujo, los autores diseñaron una memoria jerárquica. Los últimos 10 fotogramas (1 fotograma por segundo) se almacenan tal cual. Cada 10 fotogramas se comprimen en un registro de antigüedad media. Cada cuatro de estos registros se fusionan en uno de largo plazo, y el número de bloques de largo plazo no supera los ocho. El modelo toma una decisión cada segundo, con una tolerancia de ±1 segundo. En el modo abierto, las respuestas las evalúa Gemini-3.8 Flash.

Qué muestran los resultados

Entre los modelos offline destaca Gemini-3.8 Flash: por subtareas, 37,17% en KVEM, 43,10% en preguntas con falsa premisa y 81,36% en UPC. Aun así, los resultados varían mucho según el tipo de incertidumbre.

Los modelos proactivos de streaming rinden bastante peor: en la mayoría de las subtareas obtuvieron cero, y muchos no lograron completar la tarea. El mejor de ellos, AURA, alcanzó solo un 7,22%.

Los errores más habituales son de dos tipos: preguntar demasiado pronto, cuando aún no hay evidencias, y hacer una pregunta que no viene al caso. Si se le indica al modelo cuándo y qué preguntar, Ask-F1 sube 43,83 puntos porcentuales. Es decir, el fallo principal no está en las respuestas, sino en la capacidad de reconocer el vacío de información.

Qué significa para los desarrolladores

Para los asistentes de vídeo, ya sean de ayuda doméstica o de acompañamiento remoto en operaciones, esta capacidad es prácticamente imprescindible. Un asistente que responde con seguridad a partir de un fotograma borroso es más peligroso que uno que pide que se le muestre otra vez. Por ahora, los modelos de streaming no están preparados para ello, y el benchmark les ofrece un objetivo medible. Entre las limitaciones del test figuran su escala reducida (1 401 preguntas) y su fuerte dependencia de modelos como jueces en el modo abierto.