Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarAWS Machine Learning Blog→ original

Social Department remplace une semaine de visionnage d'une série par quatre requêtes QuickSearch sur AWS

Un marketeur ne cherche pas une image avec une tasse de café, mais le moment d'une série qui va se propager sur les réseaux sociaux. Jusqu'ici, il fallait une semaine à un expert du programme pour le trouver. Social Department a transformé ces questions en quatre requêtes QuickSearch sur Amazon Bedrock : scènes, citations, images de mèmes et sélection alignée sur les tendances. La vidéo est indexée en amont, les tendances sont collectées séparément, et les deux ne se rencontrent qu'au moment de la requête. Une série ancienne peut ainsi revenir dans l'actualité sans retraitement.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Social Department remplace une semaine de visionnage d'une série par quatre requêtes QuickSearch sur AWS
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
Chiffre clé #1La vidéo est découpée en fragments de 10–20 secondes et transcodée en 480p
Les tendances proviennent de 4 régionsmonde, États-Unis, Royaume-Uni, Australie
Chiffre clé #3Chaque publication est validée par une personne côté client avant sa mise en ligne

Pour le marketeur d'un studio ou d'un service de streaming, l'objet à l'écran compte rarement. Ce qu'il cherche, c'est un moment qui va se propager sur les réseaux sociaux : une scène, une réplique ou une image à détourner en mème. La recherche sémantique classique dans la vidéo est impuissante ici : elle ne répond qu'à la question que l'on sait formuler.

Demandez « un personnage avec une tasse de café » et vous obtiendrez toutes les tasses de mille épisodes. Quel moment « fonctionnera » auprès du public ne se tape pas dans une barre de recherche. Jusqu'ici, c'était le travail d'une personne qui connaît parfaitement le programme et passe une semaine à visionner le matériel.

L'entreprise Social Department, qui se présente comme un système d'exploitation IA pour le marketing du divertissement, a transformé ces questions en quatre requêtes prêtes à l'emploi, regroupées sous le nom QuickSearch. Elles tournent sur Amazon Bedrock, le service avec lequel les entreprises exécutent des modèles au sein de l'infrastructure AWS. L'article est signé par des ingénieurs d'AWS, avec un représentant de Social Department.

Le système a été réalisé d'après l'architecture du client par TrackIt, partenaire d'AWS.

Quatre requêtes au lieu d'une semaine de visionnage

Chaque requête de QuickSearch possède sa propre stratégie de recherche, ses propres critères éditoriaux et son propre modèle de classement. Shareable Scenes cherche des scènes entières : conflits qui s'étirent, points culminants, séquences mises en scène. Quotable Quotes sélectionne de courtes répliques citables et fait remonter celles qui circulent déjà en ligne.

Memeable Moments choisit une image isolée et rédige une légende d'après ce qui s'y passe. Cette image est déterminée par une étape distincte, avec évaluation, et non par une vignette prise au hasard. Trend Align part de ce dont on parle en ce moment et retrouve dans la bibliothèque les moments correspondants.

Une série terminée depuis des années peut ainsi revenir dans la conversation du moment. S'y ajoutent la recherche textuelle classique et la recherche par image de référence.

Le principe de l'entreprise : l'IA propose, les humains décident. Le code compare le résultat à la source, et une citation absente de la transcription de l'épisode est écartée. Bedrock Guardrails vérifie les requêtes de recherche pour détecter les attaques par prompt. Chaque publication est validée avant sa mise en ligne par une personne de l'équipe du client. Les données des clients restent dans le périmètre d'AWS, ne sont pas transmises aux développeurs de modèles et ne servent pas à les entraîner.

Comment la vidéo est traitée

La décision centrale : la compréhension de la vidéo et la collecte des tendances sont indépendantes, chacune selon son propre calendrier. La bibliothèque ne change que lorsque de nouveaux épisodes sont ajoutés. Les tendances changent toutes les heures. Les deux ne se rencontrent donc qu'au moment de la requête. Sinon, il faudrait retraiter tout le contenu pour chaque nouvelle tendance.

Le téléversement d'une vidéo dans le stockage Amazon S3 déclenche une chaîne AWS Step Functions d'environ vingt fonctions Lambda. MediaConvert transcode la vidéo en 480p. Rekognition la découpe en segments de 10–20 secondes.

Le modèle TwelveLabs Marengo 3.0 génère des embeddings à partir de l'image, du son et de la parole, c'est-à-dire des « empreintes » numériques des fragments pour la recherche par le sens. TwelveLabs Pegasus 1.

2 décrit chaque scène : émotions, thèmes, type de dialogue, place dans l'intrigue. Auparavant, une fonction distincte découpe le fragment en laissant une marge de quelques secondes de chaque côté, afin de ne pas perdre les transitions. Des modèles Claude construisent la carte des personnages.

Le tout est indexé dans Amazon OpenSearch Serverless.

En cas d'échec, chaque tâche est relancée avec un délai croissant, et la description des scènes bénéficie d'une relance supplémentaire en cas de limitation de débit. Si une étape d'enrichissement facultative échoue, elle ne fait pas planter toute l'exécution. Il existe aussi une réserve géographique. Marengo n'est pas disponible dans toutes les régions AWS ; la vidéo est donc placée temporairement dans un bucket de la région US East (N. Virginia). Le reste de l'infrastructure demeure dans la région « d'origine ».

Tendances : deux canaux et un filtre

Les tendances sont collectées par deux canaux. Le canal quotidien est déclenché selon un calendrier Amazon EventBridge : une requête par région et par jour, le matin à l'heure locale. Le canal « thermique » Heat Seeker détecte les sujets précoces, en train de prendre de l'ampleur. Il n'interroge les données qu'à la demande de l'utilisateur et réutilise ce qui a déjà été enregistré si c'est suffisamment récent. C'est une question d'argent. Le calendrier paie pour chaque région à chaque exécution, alors qu'un prélèvement à la demande ne coûte rien un jour calme.

Il y a quatre flux : monde, États-Unis, Royaume-Uni et Australie. Il ne s'agit pas d'un filtre appliqué à une liste commune. Chaque région est collectée séparément, si bien que les tendances d'un même jour y sont réellement différentes. Les tendances brutes ne sont pas montrées au client. Claude Haiku ramène chaque tendance au schéma de catégories propre à Social Department, puis un filtre éditorial prend le relais. Le texte original s'interrompt à cet endroit ; nous ne détaillons donc pas ici le processus de sélection.

Ce que cela change en pratique

Pour ceux qui conçoivent une recherche vidéo ou des recommandations, la leçon tient dans la séparation. Il vaut mieux traiter à part le contenu de la bibliothèque et le signal externe, qui évolue vite, puis les réunir au moment de la requête. La mise à jour des tendances n'exige alors aucune réindexation.

Les questions subjectives du type « qu'est-ce qui deviendra un mème » gagnent à être converties en critères éditoriaux explicites, dont le résultat est vérifié par du code et par un humain. La publication ne contient aucune métrique de qualité, par exemple la part de trouvailles réussies. Il s'agit d'une description d'architecture, pas d'un benchmark, et il est impossible de comparer la précision du système à celle d'autres.

Dossier

Questions clés sur cet article

Que sait-on sur Quatre requêtes au lieu d'une semaine de visionnage ?

Chaque requête de QuickSearch possède sa propre stratégie de recherche, ses propres critères éditoriaux et son propre modèle de classement. Shareable Scenes cherche des scènes entières : conflits qui s'étirent, points culminants, séquences mises en scène. Quotable Quotes sélectionne de courtes répliques citables et fait remonter celles qui circulent déjà en ligne. Memeable Moments choisit une image isolée et rédige une légende d'après ce qui s'y passe.

Comment la vidéo est traitée?

La décision centrale : la compréhension de la vidéo et la collecte des tendances sont indépendantes, chacune selon son propre calendrier. La bibliothèque ne change que lorsque de nouveaux épisodes sont ajoutés. Les tendances changent toutes les heures. Les deux ne se rencontrent donc qu'au moment de la requête. Sinon, il faudrait retraiter tout le contenu pour chaque nouvelle tendance. Le téléversement d'une vidéo dans le stockage Amazon S3 déclenche une chaîne AWS Step Functions d'environ vingt fonctions Lambda.

Que sait-on sur Tendances : deux canaux et un filtre ?

Les tendances sont collectées par deux canaux. Le canal quotidien est déclenché selon un calendrier Amazon EventBridge : une requête par région et par jour, le matin à l'heure locale. Le canal « thermique » Heat Seeker détecte les sujets précoces, en train de prendre de l'ampleur. Il n'interroge les données qu'à la demande de l'utilisateur et réutilise ce qui a déjà été enregistré si c'est suffisamment récent. C'est une question d'argent.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
Qu'en pensez-vous ?
Chargement des commentaires…