Google ensina o agente de vídeo StreamVibe a decidir sozinho quando intervir: +10,7%

Uma equipe de pesquisadores do Google, de Stanford, de Oxford e de várias universidades americanas apresentou o StreamVibe, um agente de vídeo que decide sozinho quando intervir. Ele acompanha uma pessoa por streaming de vídeo, por exemplo enquanto ela cozinha ou desmonta um brinquedo, e só fala quando a ajuda é realmente necessária. O número central do trabalho é 10,7%: é a vantagem do StreamVibe-VL sobre outros modelos na combinação de duas métricas, o quanto a fala chega na hora certa e o quanto ela é útil. Mas o estudo mostra também o outro lado: nenhum dos sistemas testados consegue, por enquanto, manter o fio da tarefa por muito tempo.

Em que um assistente de vídeo proativo difere de um comum

Os assistentes de vídeo atuais são ajustados para comandos claros, como "avise quando a água ferver". Eles se saem mal em três situações que, para uma pessoa, são óbvias:

• intenções não declaradas: o usuário pede "me ajude se tiver dificuldade", mas não cita etapas concretas; • memória do que já foi feito: o assistente repete um conselho ou se atrasa porque não lembra o que já aconteceu; • mudança de pedido no meio do caminho: o usuário muda de ideia, mas o modelo continua preso à instrução original.

Um exemplo do artigo: uma pessoa desmonta uma escavadeira de brinquedo e pede que o assistente informe o progresso. Três minutos depois, ela pede que ele verifique a qualidade da montagem. O assistente precisa perceber a troca de tarefa e mudar de foco.

Como o teste foi montado e o modelo, treinado

Para medir o problema, os autores criaram um benchmark (conjunto de tarefas de teste) com cerca de 4100 exemplos. O material vem de mais de 183 horas de vídeos de atividades cotidianas e de gravações de trabalho com programas. O Gemini 2.5 Flash sugeria em que momento ajudar e o que dizer. Depois, quatro avaliadores humanos revisavam cada exemplo, e ele só era aceito com aprovação unânime. O teste se divide em três níveis: instruções claras, objetivos vagos e pedidos que mudam com o tempo.

O StreamVibe-VL foi treinado com esses dados. De acordo com a suposição da fonte, ele é construído sobre o modelo aberto Qwen3.5-9B, da Alibaba. A cada segundo, o modelo decide se fica em silêncio ou fala. A segunda etapa é o aprendizado por reforço, ou seja, recompensas e penalidades pelo comportamento. Ele deixa o modelo mais contido, para que não interrompa a pessoa a todo momento.

Um sistema de memória funciona separadamente. Ele mantém a lista de pedidos pendentes e marca as etapas concluídas. A decisão de falar ou não, e o que dizer, continua com o próprio modelo.

O que os números mostram e onde tudo falha

Segundo os autores, o StreamVibe-VL supera com folga o modelo-base e outros modelos abertos. O sistema de memória acrescenta mais 12,3% à proatividade e, entre outros efeitos, reduz intervenções desnecessárias. O treinamento especializado não piora a compreensão geral de vídeo. Mas o Gemini 3.8 Flash, modelo proprietário do Google, ainda pontua mais em alguns testes.

A principal limitação apareceu na avaliação com vídeos longos:

• quando o modelo só precisa avaliar, em momentos isolados, se uma fala é adequada, ele costuma acertar; • quando assiste ao vídeo inteiro e se apoia nas próprias respostas anteriores, os erros se acumulam e a qualidade cai em todos os sistemas testados; • a métrica principal de conteúdo das respostas cai em até 61,5% por causa do histórico do próprio sistema; • em vídeos com mais de cinco minutos, os modelos raramente escolhem o momento certo e acompanham especialmente mal uma instrução alterada.

Os exemplos do artigo deixam a diferença visível. Em um tutorial de conversão de foto para preto e branco no GIMP, o modelo concorrente JoyAI afirmou que a imagem final já estava salva, embora o usuário nem a tivesse aberto. O StreamVibe-VL, no momento certo, indicou o passo seguinte: primeiro "Cores", depois "Dessaturar". Em uma receita de rolinhos de pão de forma com geleia, os outros modelos apenas descreviam o que aparecia na tela, como o pão sendo aberto com o rolo. O StreamVibe-VL recomendou cortar primeiro a casca.

O que isso significa para desenvolvedores

Os autores reconhecem que situações reais são mais complexas que as de laboratório e pretendem estudar, no futuro, como as preferências do usuário e o ambiente se influenciam. Para quem desenvolve assistentes para óculos inteligentes, programas de ensino ou ferramentas de suporte, a conclusão é prática. Uma memória separada para as tarefas ajuda, mas não resolve o problema por completo. O acúmulo de erros em sessões longas continua sendo o principal gargalo.

O trabalho dá continuidade a uma linha de pesquisa do Google. Em setembro, a empresa mostrou a análise agêntica de vídeo no Gemini, em que o próprio modelo decide quais cenas examinar com mais atenção. Recentemente, o Gemini 4 Argon demonstrou como uma IA acompanha longas sequências de ações em vídeos com robôs e encontra erros. Há resultados relacionados em outros grupos: no teste ProactiveBench, os modelos muitas vezes chutam ou se recusam a responder, em vez de fazer uma pergunta de esclarecimento. Pesquisadores da Microsoft mostraram que, em agentes autônomos, o próprio diálogo pode reduzir a qualidade do trabalho.