Cientistas da NTU ensinam modelo de IA a pular vídeo: 59% menos tokens

Por que o vídeo é um luxo caro e nem sempre necessário

Pesquisadores do College of Computing and Data Science da Nanyang Technological University (Singapura) resolveram um problema que impedia os "modelos omni" — sistemas de IA capazes de processar texto, áudio, imagens e vídeo simultaneamente — de funcionar de forma rápida e barata. Modelos como Qwen2.5-Omni e Qwen3-Omni entregam resultados fortes justamente porque combinam dados de múltiplas fontes em uma única compreensão da situação. Mas esse poder tem um preço: processar vídeo é muito mais caro do que processar texto e áudio, e, na prática, o vídeo muitas vezes nem é necessário para chegar à resposta correta.

No benchmark WorldSense (testes de compreensão de eventos a partir de áudio e vídeo simultâneos), os autores mediram que uma consulta de texto e áudio consome em média cerca de 3.000 tokens de entrada, enquanto adicionar vídeo à mesma consulta eleva esse número para quase 40.000 tokens — mais de 13 vezes mais. Ainda assim, em algumas perguntas o vídeo é realmente crucial (por exemplo, "de que cor é a porta" não pode ser respondida sem a imagem), enquanto em outras ele só interfere. Em um dos exemplos citados no artigo, o Qwen2.5-Omni respondia corretamente usando apenas áudio, mas errava quando o vídeo era adicionado à consulta — a modalidade extra desviava o modelo do caminho certo.

Como funciona a seleção de modalidades para cada consulta

Em vez de retreinar o próprio modelo omni ou compactar os tokens de vídeo, os autores propõem colocar um "roteador" leve diante do modelo. Ele observa apenas o texto da pergunta — via embeddings do modelo BGE-M3 — e, antes de executar o modelo principal, decide se texto e áudio (TA) são suficientes ou se o vídeo (TAV) também precisa entrar.

O roteador não é treinado como um classificador comum, mas numa tarefa sensível ao custo do erro: para cada exemplo de treinamento, calcula-se qual opção (TA ou TAV) ofereceria o melhor equilíbrio entre precisão e custo, e essa opção se torna a resposta correta para o roteador. Além disso, consultas em que uma escolha errada de modalidade é especialmente cara — seja por prejudicar muito a precisão, seja por encarecer bastante a inferência — recebem peso maior durante o treinamento. Assim, o roteador aprende a identificar quando o vídeo é realmente necessário justamente a partir dos exemplos em que isso importa mais.

Resultados na prática

O teste foi feito no benchmark WorldSense com dois modelos — Qwen2.5-Omni-7B e Qwen3-Omni —, e o custo de cada consulta foi medido de três formas: número de tokens de entrada, latência de resposta e custo em dinheiro (com base nos preços por token de cada modalidade).

• Para o Qwen2.5-Omni, o roteador "sensível ao custo" proposto atingiu precisão comparável ao modo "usar sempre todas as modalidades" (TAV), mas gastou apenas cerca de 41% dos tokens de entrada, 39% do tempo de resposta e 61% do custo monetário em relação ao modo completo.
• Isso se traduz em uma economia de quase 59% em tokens, 61% em tempo e 39% em dinheiro, mantendo a precisão original.
• Os autores compararam seu método com várias alternativas: seleção aleatória de modalidade, um "juiz" baseado no Gemini 2.5 Pro que decide a partir do texto da pergunta se o vídeo é necessário, e esquemas em cascata — nos quais o modelo primeiro responde com texto e áudio e, se a confiança na resposta for baixa, aciona também o vídeo. Nas três métricas de custo, o classificador sensível ao custo proposto apresentou uma relação precisão/custo melhor do que todas as alternativas citadas.
• O método Estimate-Then-Predict (previsão da qualidade e do custo de cada configuração de modalidades por modelos separados) também superou os esquemas em cascata, mas perdeu para a abordagem principal proposta.

O que isso significa para engenheiros

A conclusão prática é clara: se você está construindo um produto sobre modelos omni — análise de vídeo, moderação de conteúdo, assistentes com câmera —, não é necessário incluir o vídeo em toda consulta por padrão. Um classificador simples e barato baseado no texto da consulta já é suficiente para identificar quando o vídeo realmente é necessário, o que pode economizar mais da metade do orçamento de inferência sem perda de qualidade nas respostas. Essa abordagem é especialmente valiosa para serviços de alto tráfego, onde cada token e milissegundo extra de latência impacta diretamente a conta de inferência.