Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarVoyage AI→ original

Voyage AI ensinou a busca a entender vídeo: 4,65% mais precisa que o Google e 6 vezes mais barata

A Voyage AI lançou o voyage-multimodal-3.5, um modelo que transforma texto, capturas de tela, PDFs e, agora, vídeos em vetores numéricos. Assim, uma única consulta em texto consegue encontrar o trecho certo, como o momento de uma reunião em que se falou sobre um prazo. Em três conjuntos de vídeos, o modelo encontra o vídeo certo 4,65% melhor que o Google Multimodal Embedding 001, e um vídeo de 512×512 custa cerca de 6 vezes menos. Para buscar em aulas e gravações, isso significa um modelo no lugar de uma combinação de reconhecimento de fala e índice de quadros.

Processado por IA de Voyage AI; editado por Hamidun News
Voyage AI ensinou a busca a entender vídeo: 4,65% mais precisa que o Google e 6 vezes mais barata
Fonte: Voyage AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalVoyage AI ↗
Editor-chefe
Dado-chave #1O vetor pode ser reduzido para 1024, 512 ou 256 números em vez de 2048 (Matryoshka)
Dado-chave #2Em documentos, fica 4,56% à frente do Cohere Embed v4 em 15 conjuntos
Dado-chave #3Os primeiros 200 milhões de tokens e 150 bilhões de pixels são gratuitos

Imagine que você tem uma centena de gravações de reuniões com slides e quer encontrar o momento em que se discutiu o adiamento de um prazo. A busca textual comum não resolve isso: metade da informação está nos quadros, e não nas palavras. A Voyage AI lançou o voyage-multimodal-3.

5, um modelo que transforma em vetores (conjuntos de números com os quais se encontra o que é semelhante em significado) texto, imagens e vídeo. Em três conjuntos de teste com vídeos, ele encontra o conteúdo certo 4,65% melhor que o modelo de embeddings Google Multimodal Embedding 001, medido pela métrica NDCG@10, e um vídeo de 512×512 pixels custa cerca de 6 vezes menos. O NDCG@10 mostra o quão alto, entre os dez melhores resultados, ficaram os que realmente são relevantes.

O que o modelo faz

A versão anterior já processava texto e imagens combinados: capturas de tela, PDFs, tabelas, gráficos e slides. A nova versão acrescenta quadros de vídeo. O vídeo é tratado como uma sequência ordenada de quadros, sendo que cada 1120 pixels contam como um token, e o contexto máximo é de 32 mil tokens. A Voyage afirma que o modelo é o primeiro modelo industrial de embeddings de vídeo com suporte a Matryoshka: o vetor pode ser encurtado de 2048 para 1024, 512 ou 256 dimensões, economizando espaço no índice.

Há também um detalhe de arquitetura. Modelos do tipo CLIP, como os multimodais anteriores da Cohere, passam texto e imagens por duas "torres" independentes. Isso gera um viés conhecido: uma consulta textual tende a encontrar outro texto em vez de uma imagem adequada, porque os vetores de texto ficam mais próximos entre si. A Voyage passa todos os tipos de dado por um mesmo transformador. Segundo a empresa, a similaridade no espaço comum passa então a refletir o significado, e não o formato do arquivo.

Os números dos testes

A Voyage testou o modelo em 18 conjuntos multimodais: 15 de busca em documentos apresentados como imagens e 3 de busca em vídeo. A consulta era sempre textual, e o que se buscava podia ser uma figura, uma foto, um texto, uma captura de tela de documento ou uma combinação disso. Para cada tarefa, foram usados os melhores modelos disponíveis na época. De cada consulta, foram selecionados os 10 resultados por similaridade de cosseno.

  • Em vídeo: 4,65% mais preciso que o Google Multimodal Embedding 001 e cerca de 6 vezes mais barato por vídeo de 512×512.
  • Em documentos: 4,56% mais preciso que o Cohere Embed v4, considerando os 15 conjuntos.
  • Em texto puro (38 conjuntos de seis áreas: direito, finanças, correspondência, código, web e documentação técnica), fica atrás do modelo de texto carro-chefe voyage-3-large em apenas 0,29%, mas é $0,06 mais barato por milhão de tokens.

Há uma ressalva. No resumo do anúncio, a vantagem sobre a Cohere aparece como 4,56%, enquanto na seção de documentos aparece 2,26%. Provavelmente são formas diferentes de agregar os resultados, mas a conclusão é a mesma: a vantagem sobre a Cohere existe, porém é moderada. Em relação ao Google, em documentos a diferença é bem maior, de 30,57%. Ainda assim, a Voyage observa que o resultado médio do Google nessa área é de 51,78%, e que, no gráfico, esse valor foi arredondado para 65% para facilitar a visualização. Na parte de vídeo, a comparação é feita apenas com o Google. Todas as medições foram realizadas pela própria Voyage.

Como usar na prática

Para vídeo, a empresa dá três recomendações. Primeiro, dividir gravações longas em cenas, para que cada vetor descreva um episódio coerente. Segundo, alinhar os cortes dos trechos com pausas na transcrição da fala, de modo que cada fragmento contenha uma ideia completa. Terceiro, se uma cena não couber em 32 mil tokens, reduzir a resolução ou a taxa de quadros. No pacote voyageai, para preparar o vídeo, há o utilitário Video.from_path.

A quantização oferece mais uma forma de economizar: estão disponíveis números de 32 bits, inteiros de 8 bits com e sem sinal e formato binário, com queda mínima de qualidade. Para um índice com milhões de cenas de vídeo, isso representa economia direta de memória.

Quem se beneficia são as equipes que buscam em cursos de treinamento, vídeos de demonstração, reuniões com slides ou digitalizações de contratos. Antes, era preciso transcrever a fala, indexar os quadros separadamente e juntar os resultados. Agora, dá para testar um índice único. Os primeiros 200 milhões de tokens e 150 bilhões de pixels são gratuitos, então um protótipo com os seus próprios dados pode ser montado sem custo. Antes de migrar, vale rodar o modelo com o seu próprio conjunto de consultas: os testes do fornecedor não substituem a validação com dados reais.

História

Perguntas frequentes sobre a notícia

O que o modelo faz?

A versão anterior já processava texto e imagens combinados: capturas de tela, PDFs, tabelas, gráficos e slides. A nova versão acrescenta quadros de vídeo. O vídeo é tratado como uma sequência ordenada de quadros, sendo que cada 1120 pixels contam como um token, e o contexto máximo é de 32 mil tokens. A Voyage afirma que o modelo é o primeiro modelo industrial de embeddings de vídeo com suporte a Matryoshka: o vetor pode ser encurtado de 2048 para 1024, 512 ou 256 dimensões, economizando espaço no índice.

O que se sabe sobre Os números dos testes?

A Voyage testou o modelo em 18 conjuntos multimodais: 15 de busca em documentos apresentados como imagens e 3 de busca em vídeo. A consulta era sempre textual, e o que se buscava podia ser uma figura, uma foto, um texto, uma captura de tela de documento ou uma combinação disso. Para cada tarefa, foram usados os melhores modelos disponíveis na época. De cada consulta, foram selecionados os 10 resultados por similaridade de cosseno.

Como usar na prática?

Para vídeo, a empresa dá três recomendações. Primeiro, dividir gravações longas em cenas, para que cada vetor descreva um episódio coerente. Segundo, alinhar os cortes dos trechos com pausas na transcrição da fala, de modo que cada fragmento contenha uma ideia completa. Terceiro, se uma cena não couber em 32 mil tokens, reduzir a resolução ou a taxa de quadros. No pacote voyageai, para preparar o vídeo, há o utilitário Video.from_path.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…