Netflix: рекомендательная система определяет 80% просмотра и экономит более $1 млрд в год

• The Netflix Recommender System: Algorithms, Business Value, and Innovation — ACM Transactions on Management Information Systems, Vol. 6, No. 4 (Gomez-Uribe & Hunt), 2015-12
• Netflix Recommendations: Beyond the 5 stars (Part 1) — Netflix Prize, «всё — рекомендация», 75% просмотра — Netflix TechBlog (Xavier Amatriain, Justin Basilico), 2012-04-06

Контекст

Netflix — компания, которая сделала рекомендательные системы мейнстримом задолго до нынешней ИИ-волны. Ещё в 2006 году, в DVD-эпоху, она объявила Netflix Prize — открытое соревнование с призом $1 млн тому, кто улучшит точность её системы предсказания оценок Cinematch на 10%. Метрикой была среднеквадратичная ошибка предсказанной оценки: стартовый RMSE 0,9525 нужно было снизить до 0,8572. Уже через год команда Korbell взяла первый Progress Prize с улучшением 8,43%, а два её алгоритма — матричная факторизация (SVD) и ограниченные машины Больцмана (RBM) — были внедрены в продакшен и работали ещё годы спустя. Правда, для этого их пришлось масштабировать: соревновательные решения были рассчитаны на 100 миллионов оценок, а в проде их ждало более 5 миллиардов.

К 2012 году компания перестроилась с доставки DVD на стриминг, и логика персонализации изменилась: инженеры Хавьер Аматриаин и Джастин Басилико в программном посте технического блога сформулировали принцип «всё — это рекомендация» и назвали цифру: 75% просматриваемого контента приходит из какой-либо формы рекомендаций. Пользователи тогда добавляли в очередь 2 миллиона фильмов и сериалов и ставили 4 миллиона оценок ежедневно.

Вершиной этой линии стала статья 2015 года в журнале ACM Transactions on Management Information Systems. Её написали не рядовые инженеры, а два топ-менеджера — вице-президент по инновациям продукта Карлос Гомес-Урибе и chief product officer Нил Хант. На момент публикации Netflix насчитывала более 65 миллионов подписчиков, смотревших свыше 100 миллионов часов видео в день. Статья стала редким прецедентом: публичная компания в рецензируемом журнале описала не только устройство своей ключевой ML-системы, но и её ценность для бизнеса в долларах — с методологией, метриками и ограничениями.

Проблема

Интернет-телевидение — это выбор: что смотреть, когда и где. Но, как пишут авторы статьи, люди на удивление плохо выбирают из множества вариантов: быстро перегружаются и либо выбирают «ничего из перечисленного», либо выбирают плохо. Потребительские исследования Netflix показали жёсткие рамки: типичный пользователь теряет интерес примерно через 60–90 секунд выбора, успев просмотреть 10–20 карточек тайтлов (вдумчиво — около трёх) на одном-двух экранах. Либо за это время он находит что-то интересное, либо риск того, что он бросит сервис, существенно возрастает.

Задача рекомендательной системы формулировалась соответственно: на этих двух экранах каждый участник должен увидеть что-то захватывающее именно для себя. Без персонализации просмотр концентрируется на небольшом числе хитов — как в линейном ТВ, где эфирное время достаётся немногим программам, — а основная часть каталога, за которую платятся лицензионные деньги, простаивает. При этом каталог Netflix намеренно широк и включает нишевые тайтлы, интересные лишь небольшим группам зрителей: без точного «сватовства» этих тайтлов со своей аудиторией их закупка не окупается.

Экономическая рамка задачи — подписная модель. Выручка пропорциональна числу подписчиков, а на него влияют три процесса: приток новых, отток существующих и возврат ушедших. Ежемесячный отток Netflix — единицы процентов, причём значительная его часть связана с ошибками оплаты, а не с осознанным отказом. Каждый удержанный подписчик — это и больший LTV, и минус один дорогой цикл привлечения на замену. Именно поэтому качество рекомендаций компания меряет не кликами, а удержанием.

Решение

Рекомендательная система Netflix — не один алгоритм, а ансамбль специализированных алгоритмов, каждый со своей ролью на странице. Типичная главная страница состоит примерно из 40 тематических рядов (до 75 видео в ряду, в зависимости от устройства). Personalized Video Ranker (PVR) персонально упорядочивает весь каталог (или его жанровые срезы) для каждого профиля — он наполняет жанровые ряды вроде «Остросюжетные фильмы», подмешивая долю неперсонализированной популярности. Top-N Video Ranker собирает ряд «Лучшее для вас», фокусируясь только на голове рейтинга — лучших тайтлах всего каталога для конкретного человека. Trending Now ловит краткосрочные тренды просмотра, Continue Watching оценивает, что из недосмотренного стоит показать первым. Video-Video Similarity («sims») строит ряды «Потому что вы смотрели»: сам список похожих не персонализирован, но выбор, какие BYW-ряды попадут на страницу и какие видео из списка показать, — персональный.

Над всем этим работает алгоритм Page Generation: он собирает каждую страницу из кандидатов-рядов, балансируя релевантность и разнообразие — учитывая, что настроение меняется от сессии к сессии, а одним аккаунтом пользуются несколько членов семьи. Отдельный класс — алгоритмы evidence selection: они решают, какими «доказательствами» поддержать рекомендацию — показать предсказанный рейтинг, синопсис, награды или факт похожести на недавно просмотренное, и какую из версий постера выбрать. Даже поиск авторы описывают как рекомендательную задачу: на него приходятся оставшиеся 20% часов просмотра.

Главный механизм улучшений — культура A/B-тестирования. Гипотезы сначала проверяются офлайн на исторических данных, затем — в онлайн-экспериментах: участников распределяют по ячейкам (контрольная — с продакшен-алгоритмом), и группы живут с разными версиями продукта 2–6 месяцев. Ключевые метрики — удержание подписчиков и среднесрочная вовлечённость, а не клики: авторы подробно разбирают, почему краткосрочные прокси-метрики обманчивы и как соотносятся тесты на новых и существующих пользователях (у существующих поведение искажено привычкой к старой версии продукта). Там же — честное ограничение: чувствительность теста зависит от размера выборки, и для измерения малых сдвигов удержания нужны миллионы участников в ячейках.

Статья фиксирует и следующий рубеж: авторы описывали планы сделать систему глобальной и языково-осведомлённой — единый набор алгоритмов для 190+ стран, а также эксперименты с interleaving-тестами для ускорения итераций.

Результат

Рекомендательная система используется на большинстве экранов продукта и в сумме влияет на выбор примерно 80% часов просмотра в Netflix; оставшиеся 20% приходят из поиска. Заметна эволюция цифры: в 2012 году компания публично называла 75% — к 2015-му доля выросла до 80%. Для измерения влияния на каталог авторы ввели метрику «эффективный размер каталога» (ECS): она показывает, сколько видео реально формируют типичный час просмотра. С персонализированным ранжированием PVR эффективный каталог примерно в 4 раза больше, чем при неперсонализированной выдаче по популярности: смотрятся не только хиты, а широкая часть библиотеки, включая нишевые тайтлы.

Бизнес-итог сформулирован в статье дословно: «Мы считаем, что совокупный эффект персонализации и рекомендаций экономит нам более $1 млрд в год». Механика этой оценки — через отток: за годы развития персонализации ежемесячный отток снижен на несколько процентных пунктов, что одновременно увеличивает LTV подписчика и сокращает потребность в дорогом привлечении на замену ушедшим. Важные рамки: это оценка самой компании («we think»), сделанная при 65+ млн подписчиков 2015 года, и авторы не раскрывают её покомпонентный расчёт — конкретные проценты снижения оттока и стоимость привлечения в статье не приведены.

На наш взгляд, эта работа — до сих пор эталон того, как говорить о ценности ML-системы. Во-первых, цепочка «метрика системы → продуктовая метрика → деньги» здесь прозрачна: ECS и take-rate связаны с вовлечённостью, вовлечённость — с удержанием, удержание — с выручкой подписной модели. Во-вторых, оценка «>$1 млрд в год» опубликована топ-менеджерами под своими именами в рецензируемом журнале — это несопоставимо более сильное обязательство, чем анонимный маркетинговый пресс-релиз, хотя независимой проверке цифра всё равно не поддаётся.

Второе наше наблюдение: главный актив Netflix в этом кейсе — не конкретные алгоритмы (SVD и RBM времён Netflix Prize давно лишь часть ансамбля), а экспериментальная инфраструктура и дисциплина метрик. Система, которая оптимизирует удержание на горизонте месяцев, а не клики на горизонте сессии, — это управленческое решение, а не техническое; именно оно, судя по статье, и конвертировало рекомендации в миллиард долларов.

Уроки для индустрии

1. Меряйте рекомендации бизнес-метриками, а не кликами: Netflix оптимизирует удержание и среднесрочную вовлечённость — и поэтому может назвать эффект в долларах.
2. Рекомендательная система — это ансамбль специализированных алгоритмов (ранжирование, тренды, похожесть, сборка страницы, выбор «доказательств»), а не одна модель.
3. У пользователя есть бюджет внимания — 60–90 секунд и 10–20 карточек: проектируйте выдачу под этот лимит, а не под бесконечную прокрутку.
4. «Эффективный размер каталога» — сильная метрика ROI контента: персонализация в 4 раза равномернее распределяет просмотр и окупает лицензии на нишевые тайтлы.
5. Снижение оттока на несколько процентных пунктов в подписной модели конвертируется в миллиарды: LTV растёт, потребность в новых привлечениях падает.
6. A/B-тесты на удержание требуют терпения и масштаба: ячейки живут 2–6 месяцев, а для малых сдвигов нужны миллионы участников — быстрые прокси-метрики обманчивы.
7. Публикация методологии и цифр топ-менеджерами в рецензируемом журнале — редкий случай, когда «$1 млрд от ИИ» можно проверить по первоисточнику.

Частые вопросы