AWS mostra busca semântica de vídeo no Amazon Bedrock com Nova Multimodal Embeddings

A AWS publicou uma arquitetura de referência para busca semântica de vídeo no Amazon Bedrock usando o Amazon Nova Multimodal Embeddings, junto com uma implementação que pode ser implantada no próprio conteúdo. Em vez do esquema clássico, em que tudo se resume a uma transcrição, o sistema considera ao mesmo tempo imagem, som, fala e metadados estruturais.

Por que texto não basta

A busca de vídeo costuma se basear em texto: transcrições de fala, tags manuais ou legendas geradas automaticamente. A AWS adota outra abordagem e afirma sem rodeios que converter todo o vídeo em texto faz perder sinais importantes. Se o usuário busca "uma tensa perseguição de carros com sirenes", a consulta mistura um evento visual e uma cena sonora. Se é preciso encontrar um atleta específico, ele pode aparecer no quadro sem que seu nome seja dito nenhuma vez. Nesses casos, só a transcrição realmente não basta.

Por isso, a solução se apoia em dividir o vídeo em segmentos com sentido, e não em pedaços arbitrários por cronômetro. O Nova Multimodal Embeddings aceita até 30 segundos por embedding, mas no exemplo a AWS mira trechos de cerca de 10 segundos e desloca os limites para a mudança real de cena usando FFmpeg. O algoritmo mantém uma faixa de 5 a 15 segundos: se houver uma transição natural de plano por perto, o segmento é cortado ali; se não, define-se um limite rígido. Isso preserva o contexto e evita cortar uma cena no meio de uma ação ou de uma frase.

Como o sistema é montado

A arquitetura se divide em dois circuitos: ingestão e busca. Depois que o vídeo é enviado ao Amazon S3, a orquestração passa para Lambda e Step Functions, e os segmentos são processados em paralelo por várias ramificações. Para cada trecho, o sistema gera representações separadas do sinal visual, do áudio e da fala, e depois as reúne com os metadados em um índice. Na busca, a consulta não vai para um único vetor comum: ela é distribuída em vários canais e depois reordenada de acordo com a intenção do usuário.

• O vídeo chega ao S3 e dispara o pipeline via Lambda e Step Functions
• O Fargate com FFmpeg detecta as mudanças de cena e corta o vídeo em segmentos semânticos
• O Nova Multimodal Embeddings cria os vetores de imagem e áudio, e o Amazon Transcribe fornece a base para os embeddings de fala
• O Amazon Nova 2 Lite e o Rekognition adicionam legendas aos segmentos, gênero e reconhecimento de pessoas conhecidas no quadro
• OpenSearch e S3 Vectors guardam o índice, combinando busca vetorial e busca textual exata

A AWS dá ênfase especial a não colapsar os embeddings visuais, de áudio e de fala em um único vetor quando se quer precisão controlável. Nesse esquema, a imagem responde por objetos, ações e composição do quadro, o áudio por música, ruídos e atmosfera acústica, e a transcrição pelo sentido do que é dito. Por cima, entra um circuito lexical sobre metadados: títulos, datas, gêneros, nomes e outras entidades que a busca semântica pode captar pior.

Como a precisão aumenta

O elemento central de todo o desenho é um roteador de intenção da consulta. A AWS usa o Claude Haiku no Amazon Bedrock para devolver, a cada consulta, um JSON com pesos para quatro canais: visual, audio, transcription e metadata. A soma dos pesos deve ser 1.0, e canais com participação abaixo de 5% nem são executados, para não gastar chamadas extras nem aumentar a latência. Depois, os resultados das diferentes fontes são normalizados em uma escala de 0–1 e combinados por média ponderada, e não pela união igualitária de todos os sinais.

Nos testes, a abordagem se mostra bem melhor que o esquema básico AUDIO_VIDEO_COMBINED. A AWS rodou um benchmark com 10 vídeos longos internos de 5 a 20 minutos e 20 consultas de tipos variados. O esquema híbrido obteve Recall@5 de 90% contra 51%, Recall@10 de 95% contra 64%, MRR de 90% contra 48% e NDCG@10 de 88% contra 54%. A empresa também destaca a economia de armazenamento: segundo seus dados, o Amazon S3 Vectors pode reduzir em até 90% o custo de armazenar e consultar vetores em comparação com alternativas especializadas.

O que isso significa

A AWS não se limita a descrever um modelo de embeddings: ela oferece um modelo prático para equipes de produto que trabalham com mediatecas, arquivos de transmissões, esportes, conteúdo educacional ou vídeo gerado por usuários. A ideia central é simples: quanto menos você tenta forçar o vídeo a caber em um único texto ou em um único vetor, maior a chance de encontrar o momento certo com precisão e rapidez.