Amazon presenta búsqueda en lenguaje natural sobre grandes archivos de vídeo con Nova

Amazon ha mostrado cómo montar una búsqueda sobre grandes archivos de vídeo sin etiquetado manual ni dependencia estricta de palabras clave. En lugar de etiquetar según un guion, el sistema genera embeddings multimodales de audio e imagen y después encuentra los vídeos por significado mediante OpenSearch.

Cómo funciona la búsqueda

La solución se basa en Amazon Nova Multimodal Embeddings y Amazon OpenSearch Service. Los vídeos se suben a S3 y, a continuación, la API asíncrona de Nova los corta automáticamente en segmentos de 15 segundos y genera vectores de 1024 dimensiones en el modo AUDIO_VIDEO_COMBINED. Esto es importante: el modelo tiene en cuenta no solo la imagen, sino también el sonido, de modo que la búsqueda no entiende palabras sueltas de un pie de vídeo, sino el contexto de la escena: quién habla, qué ocurre en el plano y qué ambiente tiene el fragmento.

Por separado, AWS propone pasar los vídeos por Nova Pro o Nova 2 Lite para generar entre 10 y 15 etiquetas descriptivas según una taxonomía dada. Como resultado, el sistema mantiene dos índices: uno vectorial para la búsqueda semántica y otro de texto para la búsqueda por palabras clave. Este esquema permite no elegir entre la búsqueda «inteligente» y el filtrado por metadatos, sino combinar ambos enfoques en una sola interfaz. En la práctica, el mismo archivo puede explorarse tanto con consultas como «una persona camina por la playa al atardecer» como con filtros de texto estrictos.

• Búsqueda de vídeo por texto: una consulta en lenguaje natural se convierte en un embedding y se compara con los segmentos de vídeo.
• Búsqueda de vídeos similares: el sistema toma el vector de un vídeo ya conocido y encuentra fragmentos de contenido cercano.
• Búsqueda híbrida: se combinan los resultados de k-NN y BM25, por defecto con pesos del 70 % para la semántica y del 30 % para el texto.

Escala y economía

AWS probó el esquema no con un conjunto de demostración de un par de archivos, sino con un corpus de unos 792 000 vídeos de los conjuntos de datos Multimedia Commons y MEVA. En total, son unas 8480 horas de contenido, o 30,5 millones de segundos. El procesamiento completo tardó 41 horas en cuatro instancias c7i.48xlarge con 600 workers en paralelo. Bedrock tiene un límite de 30 tareas asíncronas simultáneas por cuenta, por lo que el ejemplo usa una cola de trabajos que consulta el estado y carga nuevos vídeos a medida que se liberan huecos.

El panorama de costes también es bastante transparente. AWS estima el primer año de un sistema así en unos 23 600–27 300 dólares, según el modelo de pago de OpenSearch elegido. De esa cifra, unos 18 100 dólares corresponden a la carga única y la generación de embeddings, y el resto, al funcionamiento anual de la capa de búsqueda. El mayor gasto no es el cómputo en EC2, sino los propios embeddings, porque Nova se factura por duración del vídeo. El desglose es el siguiente:

• unos 17 096 dólares: generación de embeddings multimodales en Amazon Bedrock
• unos 571 dólares: etiquetado automático con Nova Pro
• unos 421 dólares: cómputo en EC2 para el procesamiento por lotes
• de 5544 a 9240 dólares al año: almacenamiento y búsqueda en OpenSearch, según el modelo de pago

AWS explica además por qué el ejemplo usa vectores de 1024 dimensiones y no de 3072: el coste de generación no cambia, pero el almacenamiento resulta aproximadamente tres veces más barato con una pérdida mínima de precisión.

En el lado de la búsqueda, las cifras ya parecen de producción: el k-NN semántico responde en unos 76 ms, BM25 en 30 ms y el modo híbrido en 106 ms. Los índices de todo el corpus ocupan unos 29,8 GB, así que ni siquiera un gran archivo de vídeo exige una infraestructura exótica.

Matices prácticos

Este material importa no como el anuncio de otro modelo, sino como una plantilla de ingeniería lista para usar. AWS muestra, en esencia, cómo pasar del etiquetado manual de vídeo a un AI data lake, donde la búsqueda se construye en torno a embeddings y no a descripciones humanas. Para los equipos de empresas de medios y entretenimiento, esto puede resolver varias tareas a la vez: detección de duplicados, navegación por el archivo, selección rápida de b-roll y creación de herramientas internas para editores, productores y archivistas.

Pero también hay limitaciones. Para ponerlo en marcha hacen falta Bedrock en la región us-east-1, OpenSearch 2.11 o posterior, S3 y permisos IAM configurados. La velocidad y el precio dependen directamente de la duración de los vídeos: en la prueba, un vídeo de 45 segundos se procesó en unos 70 segundos. Si los metadatos son buenos, AWS aconseja aumentar la proporción de búsqueda de texto, hasta un 50/50. Y si la biblioteca sigue creciendo, la lógica de procesamiento puede trasladarse a AWS Batch y escalarse por partes.

Qué significa

Amazon demuestra que la búsqueda multimodal de vídeo ya puede considerarse no un juguete de investigación, sino un patrón de infraestructura bien entendido. Para los equipos de medios, es una oportunidad de dejar de depender de etiquetas manuales y buscar por fin en el archivo como la gente formula realmente sus consultas: con lenguaje natural.