AWS presenta búsqueda semántica de vídeo en Amazon Bedrock con Nova Multimodal Embeddings

AWS ha publicado una arquitectura de referencia para la búsqueda semántica de vídeo en Amazon Bedrock con Amazon Nova Multimodal Embeddings, junto con una implementación que se puede desplegar sobre contenido propio. En lugar del esquema clásico, donde todo se reduce a una transcripción, el sistema tiene en cuenta a la vez imagen, sonido, habla y metadatos estructurales.

Por qué el texto no basta

La búsqueda de vídeo suele construirse en torno al texto: transcripciones del habla, etiquetas manuales o descripciones generadas automáticamente. AWS apuesta por otro enfoque y afirma sin rodeos que convertir todo el vídeo en texto hace perder señales importantes. Si el usuario busca «una tensa persecución de coches con sirenas», la consulta mezcla un evento visual y una escena sonora. Si se necesita un deportista concreto, puede aparecer en pantalla sin que su nombre se pronuncie ni una vez. En casos así, la transcripción por sí sola realmente no basta.

Por eso la solución se basa en dividir el clip en segmentos con sentido, no en trozos arbitrarios por temporizador. Nova Multimodal Embeddings admite hasta 30 segundos por embedding, pero en su ejemplo AWS apunta a fragmentos de unos 10 segundos y desplaza los límites hacia el cambio real de escena mediante FFmpeg. El algoritmo mantiene un margen de 5 a 15 segundos: si hay cerca una transición natural de plano, el segmento se corta ahí; si no, se fija un límite rígido. Así se conserva el contexto y no se parte una escena a mitad de una acción o de una frase.

Cómo está construido el sistema

La arquitectura se divide en dos circuitos: ingesta y búsqueda. Tras subir el vídeo a Amazon S3, la orquestación pasa a Lambda y Step Functions, y los segmentos se procesan en paralelo en varias ramas. Para cada tramo, el sistema genera representaciones separadas de la señal visual, el audio y el habla, y luego las reúne con los metadatos en un índice. En el lado de la búsqueda, la consulta no va a un único vector común: se reparte en varios canales y después se reordena según la intención del usuario.

• El vídeo llega a S3 y lanza el pipeline mediante Lambda y Step Functions
• Fargate con FFmpeg detecta los cambios de escena y corta el clip en segmentos semánticos
• Nova Multimodal Embeddings crea los vectores de imagen y audio, y Amazon Transcribe aporta la base de los embeddings de habla
• Amazon Nova 2 Lite y Rekognition añaden descripciones de los segmentos, género y reconocimiento de personas conocidas en pantalla
• OpenSearch y S3 Vectors almacenan el índice para combinar búsqueda vectorial y búsqueda textual exacta

AWS insiste en que, si se quiere precisión controlable, es mejor no fundir los embeddings visuales, de audio y de habla en un solo vector. En este esquema, la imagen se encarga de objetos, acciones y composición del plano; el audio, de la música, los ruidos y la atmósfera acústica; y la transcripción, del sentido de lo que se dice. Encima se añade un circuito léxico sobre metadatos: títulos, fechas, géneros, nombres y otras entidades que la búsqueda semántica puede captar peor.

Cómo mejora la precisión

El elemento clave de todo el diseño es un enrutador de intención de la consulta. AWS usa Claude Haiku en Amazon Bedrock para devolver, por cada consulta, un JSON con pesos para cuatro canales: visual, audio, transcription y metadata. La suma de los pesos debe ser 1.0, y los canales con una proporción inferior al 5 % no se ejecutan, para no gastar llamadas de más ni aumentar la latencia. Después, los resultados de las distintas fuentes se normalizan a una escala de 0–1 y se combinan con una media ponderada, no con una unión equitativa de todas las señales.

En las pruebas, el enfoque supera con holgura al esquema base AUDIO_VIDEO_COMBINED. AWS ejecutó un benchmark con 10 vídeos largos internos de entre 5 y 20 minutos y 20 consultas de distintos tipos. El esquema híbrido obtuvo un Recall@5 del 90 % frente al 51 %, un Recall@10 del 95 % frente al 64 %, un MRR del 90 % frente al 48 % y un NDCG@10 del 88 % frente al 54 %. La compañía destaca además la economía del almacenamiento: según sus datos, Amazon S3 Vectors puede reducir hasta un 90 % el coste de almacenar y consultar vectores frente a alternativas especializadas.

Qué significa

AWS no se limita aquí a describir un modelo de embeddings, sino que ofrece una plantilla práctica para equipos de producto que trabajan con mediatecas, archivos de emisiones, deporte, contenido formativo o vídeo generado por usuarios. La idea principal es sencilla: cuanto menos se intente reducir a la fuerza el vídeo a un único texto o a un único vector, mayores son las posibilidades de encontrar el momento exacto con precisión y rapidez.