Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарAWS Machine Learning Blog→ оригинал

Social Department заменила неделю просмотра сериала четырьмя запросами QuickSearch на AWS

Маркетологу нужен не кадр с кружкой кофе, а момент сериала, который разлетится по соцсетям, и раньше такой момент неделю искал знаток шоу. Social Department превратила такие вопросы в четыре запроса QuickSearch на Amazon Bedrock: сцены, цитаты, мемные кадры и подбор под тренды. Видео размечается заранее, тренды собираются отдельно, а встречаются они только в момент запроса. Так старый сериал возвращают в актуальную тему без переобработки.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Social Department заменила неделю просмотра сериала четырьмя запросами QuickSearch на AWS
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Ролик режется на фрагменты по 10–20 секунд и перекодируется в 480p
Тренды берутся из 4 регионовмир, США, Великобритания, Австралия
Ключевой факт #3Каждый пост перед публикацией утверждает человек со стороны клиента

Маркетологу студии или стримингового сервиса редко нужен предмет в кадре. Ему нужен момент, который разлетится по соцсетям: сцена, реплика или кадр для мема. Обычный семантический поиск по видео тут бессилен: он отвечает только на тот вопрос, который вы умеете сформулировать.

Попросите «персонажа с кружкой кофе», и получите все кружки из тысячи серий. Какой момент «зайдёт» аудитории, в строку поиска не вбить. Раньше на это отвечал человек, который хорошо знает шоу и неделю смотрит материал.

Компания Social Department, которая называет себя операционной системой ИИ для маркетинга развлечений, превратила такие вопросы в четыре готовых запроса под названием QuickSearch. Они работают на сервисе Amazon Bedrock, где компании запускают модели внутри инфраструктуры AWS. Статью написали инженеры AWS вместе с представителем Social Department.

Систему по архитектуре заказчика реализовала TrackIt, партнёр AWS.

Четыре запроса вместо недели просмотра

Каждый запрос в QuickSearch имеет свою стратегию поиска, свои редакторские критерии и свою модель ранжирования. Shareable Scenes ищет цельные сцены: затяжные конфликты, кульминации, постановочные эпизоды. Quotable Quotes подбирает короткие цитируемые реплики и поднимает те, что уже ходят по сети. Memeable Moments выбирает отдельный кадр и пишет подпись по тому, что в нём происходит. Кадр определяет отдельный шаг с оценкой, а не случайная миниатюра. Trend Align берёт то, что обсуждают прямо сейчас, и находит в библиотеке подходящие моменты. Сериал, закончившийся годы назад, может вернуться в живой разговор. Кроме этого остались обычный текстовый поиск и поиск по картинке-образцу.

Принцип у компании такой: ИИ предлагает, люди решают. Код сверяет результат с исходником, и цитата, которой нет в транскрипте серии, отбрасывается. Bedrock Guardrails проверяет поисковые запросы на атаки через промпт. Каждый пост перед публикацией утверждает человек из команды клиента. Данные клиентов остаются в границах AWS, не передаются разработчикам моделей и не используются для их обучения.

Как устроена обработка видео

Главное решение: понимание видео и сбор трендов идут независимо, каждый по своему расписанию. Библиотека меняется, только когда добавляют новые серии. Тренды меняются ежечасно. Поэтому они встречаются лишь в момент запроса. Иначе пришлось бы перепрогонять весь контент под каждый свежий тренд.

Загрузка ролика в хранилище Amazon S3 запускает цепочку AWS Step Functions примерно из двух десятков функций Lambda. MediaConvert перекодирует видео в 480p. Rekognition режет его на диапазоны по 10–20 секунд. Модель TwelveLabs Marengo 3.0 строит эмбеддинги по картинке, звуку и речи, то есть числовые «отпечатки» фрагментов для поиска по смыслу. TwelveLabs Pegasus 1.2 описывает каждую сцену: эмоции, темы, тип диалога, место в сюжете. Перед этим отдельная функция вырезает фрагмент с запасом в несколько секунд по краям, чтобы не потерять переходы. Модели Claude строят карту персонажей. Всё индексируется в Amazon OpenSearch Serverless.

Каждая задача повторяется с нарастающей паузой при сбое, а описание сцен получает отдельный повтор на случай ограничения скорости. Необязательные шаги обогащения при ошибке не валят весь запуск. Есть и географическая оговорка. Marengo доступна не во всех регионах AWS, поэтому видео временно кладут в бакет в регионе US East (N. Virginia). Остальная инфраструктура остаётся в «домашнем» регионе.

Тренды: два канала и фильтр

Тренды собирают два канала. Суточный запускается по расписанию Amazon EventBridge: по одному запросу на регион в день, в местное утро. «Тепловой» канал Heat Seeker ловит ранние, набирающие силу темы. Он запрашивает данные только по просьбе пользователя и использует уже сохранённое, если оно достаточно свежее. Это вопрос денег. Расписание платит за каждый регион при каждом запуске, а выборка по требованию в тихий день ничего не стоит.

Лент четыре: мир, США, Великобритания и Австралия. Это не фильтр по общему списку. Каждый регион собирается отдельно, поэтому тренды за один день в них действительно разные. Сырые тренды клиенту не показывают. Claude Haiku приводит каждый тренд к собственной схеме категорий Social Department, а дальше действует редакторский фильтр. Оригинальный текст обрывается на этом месте, поэтому подробности отбора здесь не пересказываем.

Что это значит на практике

Для тех, кто строит поиск по видео или рекомендации, урок в разделении. Содержимое библиотеки и внешний быстро меняющийся сигнал лучше обрабатывать отдельно и соединять при запросе. Тогда обновление трендов не требует переиндексации. Субъективные вопросы вроде «что станет мемом» стоит превращать в явные редакторские критерии и проверять результат кодом и человеком. В публикации нет метрик качества, например доли удачных находок. Это описание архитектуры, а не бенчмарк, и сравнить систему с другими по точности нельзя.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: четыре запроса вместо недели просмотра?

Каждый запрос в QuickSearch имеет свою стратегию поиска, свои редакторские критерии и свою модель ранжирования. Shareable Scenes ищет цельные сцены: затяжные конфликты, кульминации, постановочные эпизоды. Quotable Quotes подбирает короткие цитируемые реплики и поднимает те, что уже ходят по сети. Memeable Moments выбирает отдельный кадр и пишет подпись по тому, что в нём происходит. Кадр определяет отдельный шаг с оценкой, а не случайная миниатюра.

Что известно по теме: как устроена обработка видео?

Главное решение: понимание видео и сбор трендов идут независимо, каждый по своему расписанию. Библиотека меняется, только когда добавляют новые серии. Тренды меняются ежечасно. Поэтому они встречаются лишь в момент запроса. Иначе пришлось бы перепрогонять весь контент под каждый свежий тренд. Загрузка ролика в хранилище Amazon S3 запускает цепочку AWS Step Functions примерно из двух десятков функций Lambda. MediaConvert перекодирует видео в 480p. Rekognition режет его на диапазоны по 10–20 секунд.

Что известно по теме: тренды: два канала и фильтр?

Тренды собирают два канала. Суточный запускается по расписанию Amazon EventBridge: по одному запросу на регион в день, в местное утро. «Тепловой» канал Heat Seeker ловит ранние, набирающие силу темы. Он запрашивает данные только по просьбе пользователя и использует уже сохранённое, если оно достаточно свежее. Это вопрос денег. Расписание платит за каждый регион при каждом запуске, а выборка по требованию в тихий день ничего не стоит. Лент четыре: мир, США, Великобритания и Австралия.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…