IA de vídeo em tempo real quase não sabe pedir esclarecimentos: a melhor fez 7,22% no teste AskStream

Uma equipe do Instituto de Automação da Academia Chinesa de Ciências, da Academia de IA de Pequim (BAAI) e de outras duas universidades lançou o AskStream, um teste para IA de vídeo que assiste ao conteúdo como se fosse uma transmissão ao vivo. Ele avalia uma habilidade pouco desenvolvida nos modelos: perceber a tempo que falta informação e perguntar. Para isso, os autores criaram a métrica Ask-F1, que só conta a pergunta se ela for feita na janela de tempo correta e pelo motivo correto. A melhor modelo offline obteve 52,18%, e a melhor de streaming, 7,22%. Uma diferença de sete vezes.

Por que o modelo precisa pedir esclarecimentos

O esquema habitual é este: o modelo recebe o vídeo inteiro e só depois responde. Já os modelos de streaming assistem ao vídeo à medida que os quadros chegam e respondem em tempo real. O passo seguinte são os modelos proativos, que escolhem sozinhos o momento de responder, por exemplo ao sinalizar uma anomalia ou conduzir o usuário por uma instrução. Todos esses esquemas pressupõem que, cedo ou tarde, o fluxo trará tudo o que é preciso para responder.

Na prática, não é assim. O objeto necessário pode estar borrado, a câmera pode apontar para o lado errado, o usuário pode fazer uma pergunta ambígua. Nesses casos, o modelo espera indefinidamente ou inventa uma resposta. Os autores propõem uma terceira ação, além de "esperar" e "responder": perguntar.

Eles testaram a utilidade desse passo. Quando o objeto-chave do vídeo estava borrado, a precisão da resposta era de 42,3%. Depois de pedir um vídeo nítido, subiu para 62,3%. Com um vídeo perfeitamente limpo desde o início, o resultado é 63,1%. Esclarecimentos inadequados quase não ajudaram. A informação correta reduzia a incerteza do modelo e deslocava a probabilidade para a resposta certa.

Oito situações em que é preciso perguntar

A incerteza vem de duas fontes: o vídeo e o usuário. Juntas, elas formam oito subtarefas:

• KVEM: o objeto-chave do quadro está borrado, e é preciso pedir um vídeo nítido.
• VIM: os detalhes necessários não aparecem no ângulo atual, e é preciso pedir outro.
• ICM: há um objeto no vídeo, mas o modelo não conhece o significado pessoal dele para o usuário (por exemplo, de quem é aquela coisa), então precisa perguntar.
• PACM: o usuário faz uma ação com nome próprio, cuja definição o modelo desconhece.
• AUQ: a pergunta é ambígua, e é preciso esclarecer a intenção.
• Pergunta com premissa falsa: o modelo deve notar que a pergunta contradiz o vídeo, corrigir o usuário e responder.
• UPM: a resposta depende dos gostos do usuário, como o estilo, e é preciso perguntar por eles.
• UPC: as preferências salvas estão desatualizadas, e o modelo deve pedir as atuais.

Em parte das tarefas, o problema fica evidente desde o início, e o modelo deve perguntar e depois esperar pelos quadros necessários. Em outras, a falta de informação só aparece no decorrer do vídeo, e a pergunta deve vir mais tarde. O turno é contabilizado se a pergunta certa for feita na janela certa e, depois, for dada a resposta correta.

Como o teste foi montado e avaliado

O teste reúne 438 vídeos e 1 401 perguntas de nove domínios. A duração dos vídeos vai de 16,72 segundos a 118 minutos. Os vídeos vieram do YouTube e de datasets prontos, e parte deles foi sintetizada no Blender. O borrão nos objetos foi aplicado com o Grounded SAM 2, e o PySceneDetect ajudou na divisão em cenas. As opções de resposta foram geradas pelo GPT-5.6 Sol, e cada exemplo foi revisado por pessoas: sem a informação que falta, não é possível responder de forma inequívoca; com ela, é possível. No total, o teste tem 2 714 marcações de tempo com precisão de quadro, com média de 3,2 turnos por vídeo.

Para as modelos offline, que não sabem trabalhar com fluxo, os autores montaram uma memória hierárquica. Os últimos 10 quadros (1 quadro por segundo) são guardados como estão. A cada 10 quadros, o conjunto é comprimido em um registro de média duração. A cada quatro desses registros, eles são agrupados em um registro de longa duração, e o total de blocos longos não passa de oito. O modelo toma uma decisão por segundo, com tolerância de ±1 segundo. No modo aberto, as respostas são avaliadas pelo Gemini-3.8 Flash.

O que os resultados mostraram

Entre as modelos offline, o Gemini-3.8 Flash se destaca: nas subtarefas, fez 37,17% em KVEM, 43,10% nas perguntas com premissa falsa e 81,36% em UPC. Ainda assim, os resultados variam muito conforme o tipo de incerteza.

As modelos proativas de streaming vão bem pior: na maioria das subtarefas, marcaram zero, e muitas não conseguiram executar a tarefa. A melhor delas, a AURA, fez apenas 7,22%.

Os erros mais frequentes são de dois tipos: a pergunta feita cedo demais, quando ainda não há evidências, e a pergunta fora do ponto. Se o modelo é informado de quando e o que perguntar, o Ask-F1 sobe 43,83 p.p. Ou seja, a principal falha não está nas respostas, mas na capacidade de reconhecer a lacuna.

O que isso significa para os desenvolvedores

Para assistentes de vídeo, seja em dicas do dia a dia ou no acompanhamento remoto de operações, essa capacidade é praticamente obrigatória. Um assistente que responde com confiança a partir de um quadro borrado é mais perigoso do que um que pede para ver de novo. Por ora, os modelos de streaming não estão prontos para isso, e o benchmark oferece a eles uma meta mensurável. O ponto fraco do teste é a escala pequena (1 401 perguntas) e a forte dependência de modelos como juízes no modo aberto.