Agente de vídeo StreamVibe, do Google, supera outros modelos em 10,7% em timing e qualidade das respostas

Uma equipe de pesquisadores do Google, de Stanford, de Oxford e de várias universidades americanas apresentou o StreamVibe, um agente de vídeo que observa uma pessoa cozinhando ou montando um móvel e decide sozinho a hora de falar. Seu modelo treinado, o StreamVibe-VL, escolhe a cada segundo entre o silêncio e uma fala, e supera outros modelos em 10,7% em timing e qualidade das respostas, ou seja, acerta melhor o momento da dica e a formula melhor. Um sistema de memória adicional dá mais 12,3% na interação proativa. Ainda assim, a tarefa continua muito difícil para as IAs atuais, sobretudo em vídeos longos.

O que os assistentes de vídeo atuais não conseguem fazer

Segundo os autores, os assistentes de vídeo existentes são feitos para comandos claros, como "avise quando a água ferver". Eles captam mal intenções não ditas. Outra fraqueza é levar em conta o que já foi feito: o assistente repete conselhos ou responde tarde demais. E, se o usuário muda o pedido no meio da tarefa, o sistema muitas vezes continua seguindo o original. Já o StreamVibe deve entender até pedidos vagos, como "ajude se eu tiver dificuldades".

O agente distingue três tipos de intenção: explícitas, implícitas e as que mudam ao longo do trabalho. Para medir o problema, a equipe montou um benchmark com cerca de 4.100 exemplos, baseado em mais de 183 horas de gravações de tarefas cotidianas e de uso de software. O Gemini 2.5 Flash sugeria quando ajudar e o que dizer, e quatro avaliadores humanos precisavam aprovar cada exemplo por unanimidade. O teste tem três níveis: instruções claras, objetivos vagos e pedidos que mudam com o tempo. Em um dos exemplos, o usuário desmonta uma escavadeira de brinquedo, pede para ser avisado sobre o progresso e, três minutos depois, passa para a verificação de qualidade.

Como o modelo funciona e o que mostrou

Com esses dados, os pesquisadores treinaram o StreamVibe-VL, aparentemente com base no Qwen3.5-9B, da Alibaba. A cada segundo, o modelo decide se fica calado ou se fala. A segunda etapa do treinamento usa aprendizado por reforço: ela deixa o modelo mais contido, para que não interrompa o usuário o tempo todo. Um sistema de memória separado acompanha quais pedidos ainda não foram atendidos e quais etapas já foram concluídas. O que dizer e quando dizer, porém, continua sendo decisão do próprio modelo.

Segundo os autores, o StreamVibe-VL é 10,7% melhor que outros modelos em timing e qualidade das respostas. O sistema de memória acrescenta mais 12,3% à interação proativa e, entre outras coisas, reduz as falas desnecessárias. O StreamVibe-VL se destaca claramente do modelo base e de outros sistemas abertos, mas o Gemini 3.8 Flash, proprietário do Google, ainda fica à frente em alguns testes. De acordo com o artigo, o treinamento especializado não prejudica a compreensão geral de vídeo.

Os exemplos do artigo e da página do projeto mostram a diferença com clareza. Em um tutorial de GIMP sobre transformar uma foto em preto e branco, o modelo de comparação JoyAI afirma que a imagem pronta já foi salva, embora o usuário ainda não a tenha aberto. O StreamVibe-VL sugere o próximo passo na hora certa: primeiro "Cores", depois "Dessaturar". Em um vídeo de rolinhos de pão com geleia, os outros modelos apenas descrevem o que acontece na tela, por exemplo que o pão está sendo aberto com o rolo, enquanto o StreamVibe-VL recomenda cortar primeiro a casca.

Onde o sistema falha

A parte mais importante da pesquisa são as limitações. Quando os modelos só precisam avaliar, em momentos pontuais, se uma dica é adequada, muitas vezes eles se saem bem. Mas, quando o modelo processa o vídeo inteiro e se apoia nas próprias respostas anteriores, a qualidade cai em todos os sistemas testados: os erros se acumulam. A métrica de conteúdo das respostas perde até 61,5% quando depende do próprio histórico. Em vídeos com mais de cinco minutos, os modelos raramente escolhem o momento certo, e acompanham especialmente mal uma instrução alterada em longas durações. A camada de memória reduz principalmente o número de intervenções desnecessárias, mas não resolve o problema do timing.

Os próprios autores admitem que situações reais provavelmente são mais complexas que o cenário de teste. Futuramente, eles querem estudar como as preferências do usuário e o ambiente se influenciam ao longo do tempo.

Contexto: o

Google já caminha há tempos para a análise ativa de vídeo

Em setembro, o Google mostrou a análise agêntica de vídeo no Gemini: o modelo decide sozinho quais cenas examinar em detalhe. Recentemente, com o Gemini 4 Argon, a empresa demonstrou como a IA acompanha longas cadeias de ações em vídeos com robôs e encontra erros. O StreamVibe soma a isso a capacidade de entender o que está acontecendo agora e de reconhecer quando a ajuda é realmente necessária.

Pesquisas relacionadas apontam fraquezas semelhantes. No ProactiveBench (teste da capacidade de fazer perguntas de esclarecimento), quando falta informação visual, os modelos tendem mais a chutar ou a se recusar a responder do que a pedir esclarecimentos. Outro benchmark de compreensão de vídeo revelou falhas sérias em raciocínio espacial e temporal. E, para agentes autônomos, o próprio diálogo pode piorar o resultado, como mostraram pesquisadores da Microsoft.

A conclusão prática para desenvolvedores: por ora, um assistente de vídeo proativo precisa ser projetado com memória explícita da tarefa e um limite para a frequência das intervenções. Contar com um único modelo para manter o fio da meada em um vídeo longo ainda é cedo.