AWS dévoile une recherche sémantique de vidéo sur Amazon Bedrock avec Nova Multimodal Embeddings

AWS a publié une architecture de référence pour la recherche sémantique de vidéo sur Amazon Bedrock, fondée sur Amazon Nova Multimodal Embeddings, ainsi qu'une implémentation que l'on peut déployer sur son propre contenu. Au lieu du schéma classique, où tout se réduit à une transcription, le système prend en compte simultanément l'image, le son, la parole et les métadonnées structurelles.

Pourquoi le texte ne suffit pas

La recherche vidéo repose le plus souvent sur du texte : transcriptions de la parole, étiquettes manuelles ou légendes générées automatiquement. AWS adopte une autre approche et affirme sans détour que convertir toute la vidéo en texte fait perdre des signaux importants. Si l'utilisateur cherche « une course-poursuite tendue avec des sirènes », la requête mêle un événement visuel et une scène sonore. Si l'on cherche un sportif précis, il peut être visible à l'écran sans que son nom soit prononcé une seule fois. Dans ces cas, la transcription seule ne suffit réellement pas.

La solution repose donc sur le découpage du clip en segments pertinents, et non en morceaux arbitraires calés sur un minuteur. Nova Multimodal Embeddings accepte jusqu'à 30 secondes par embedding, mais dans son exemple AWS vise des fragments d'environ 10 secondes et décale les frontières vers le véritable changement de scène grâce à FFmpeg. L'algorithme respecte une plage de 5 à 15 secondes : si une transition naturelle de plan se trouve à proximité, le segment est coupé à cet endroit ; sinon, une frontière stricte est posée. Cela préserve le contexte et évite de couper une scène en pleine action ou en pleine phrase.

Comment le système est construit

L'architecture se divise en deux circuits : l'ingestion et la recherche. Une fois la vidéo envoyée sur Amazon S3, l'orchestration passe à Lambda et Step Functions, puis les segments sont traités en parallèle par plusieurs branches. Pour chaque tronçon, le système construit des représentations distinctes du signal visuel, de l'audio et de la parole, puis les assemble avec les métadonnées dans un index. Côté recherche, la requête n'est pas envoyée vers un vecteur commun unique : elle est répartie sur plusieurs canaux, puis reclassée en fonction de l'intention de l'utilisateur.

• La vidéo arrive dans S3 et déclenche le pipeline via Lambda et Step Functions
• Fargate avec FFmpeg détecte les changements de scène et découpe le clip en segments sémantiques
• Nova Multimodal Embeddings crée les vecteurs d'image et d'audio, tandis qu'Amazon Transcribe fournit la base des embeddings de parole
• Amazon Nova 2 Lite et Rekognition ajoutent des légendes aux segments, le genre et la reconnaissance de personnes connues à l'image
• OpenSearch et S3 Vectors stockent l'index afin de combiner recherche vectorielle et recherche textuelle exacte

AWS insiste sur le fait qu'il vaut mieux ne pas fusionner les embeddings visuels, audio et de parole en un seul vecteur si l'on veut une précision maîtrisable. Dans ce schéma, l'image gère les objets, les actions et la composition du plan, l'audio la musique, les bruits et l'ambiance acoustique, et la transcription le sens de ce qui est dit. Par-dessus s'ajoute un circuit lexical sur les métadonnées : titres, dates, genres, noms et autres entités que la recherche sémantique peut moins bien capter.

Comment la précision progresse

L'élément clé de l'ensemble est un routeur d'intention de la requête. AWS utilise Claude Haiku dans Amazon Bedrock pour renvoyer, pour chaque requête, un JSON avec des poids pour quatre canaux : visual, audio, transcription et metadata. La somme des poids doit valoir 1.0, et les canaux dont la part est inférieure à 5 % ne sont pas lancés du tout, afin d'éviter des appels superflus et une latence accrue. Les résultats des différentes sources sont ensuite normalisés sur une échelle de 0–1 et fusionnés par moyenne pondérée, et non par une union à parts égales de tous les signaux.

Lors des tests, l'approche se montre nettement supérieure au schéma de base AUDIO_VIDEO_COMBINED. AWS a mené un benchmark sur 10 vidéos longues internes de 5 à 20 minutes et 20 requêtes de types variés. Le schéma hybride a obtenu un Recall@5 de 90 % contre 51 %, un Recall@10 de 95 % contre 64 %, un MRR de 90 % contre 48 % et un NDCG@10 de 88 % contre 54 %. L'entreprise souligne aussi l'économie du stockage : selon ses données, Amazon S3 Vectors peut réduire jusqu'à 90 % le coût de stockage et d'interrogation des vecteurs par rapport à des alternatives spécialisées.

Ce que cela signifie

AWS ne se contente pas ici de décrire un modèle d'embeddings : elle propose un modèle pratique pour les équipes produit qui travaillent avec des médiathèques, des archives de diffusion, du sport, des contenus pédagogiques ou de la vidéo d'utilisateurs. L'idée centrale est simple : moins on cherche à réduire de force la vidéo à un seul texte ou à un seul vecteur, plus on a de chances de trouver le bon moment avec précision et rapidité.