Meta загружает простаивающий инференс-флот работой для рекомендаций рекламы

Meta опубликовала технический разбор системы, которая отдаёт простаивающую инференс-ёмкость под рекомендации рекламы. В основе два рычага эластичности: через них работа рекомендательных моделей расширяется на «оппортунистические» мощности флота, а базовая производительность остаётся на прежнем уровне. Анонс в RSS обрезан, и количественные результаты в доступном фрагменте не приведены. Поэтому ниже только то, что заявлено, и осторожный разбор инженерной логики.

Откуда берётся свободная ёмкость

Инференс-флот строят под пик. Рекламный трафик неровный: он зависит от времени суток, региона, сезона и крупных событий. Кроме того, часть серверов всегда держат в резерве на случай отказов. В остальное время ёмкость недогружена, а она оплачена и потребляет энергию. Meta называет её opportunistic: использовать можно, но в любой момент её могут понадобиться вернуть основному трафику.

Проблема не в том, чтобы найти для неё работу. Нужно сделать так, чтобы работа не мешала основному контуру. Если рекламный запрос сегодня обслуживается за фиксированный бюджет задержки, любое «бонусное» вычисление должно либо уложиться в него, либо тихо отмениться.

Два рычага эластичности

Какие именно рычаги описаны в статье, в анонсе не сказано. Из заявления видно только главное: они позволяют работе по рекомендациям расти и сжиматься вслед за доступной ёмкостью. На практике в похожих системах это обычно выглядит так:

• глубина вычислений: когда есть запас, запрос получает более тяжёлую модель или больше кандидатов на ранжирование;
• охват: когда есть запас, дорогой путь обработки применяется к большей доле трафика.

Это предположение по аналогии с отраслевыми схемами, а не цитата из поста. Важнее другое условие: баз��вая производительность не должна проседать. Для этого нужны приоритеты, вытеснение «бонусной» работы и безопасный возврат к базовому пути, когда свободные мощности исчезают.

Что известно из анонса

• Заказчик: рекомендации рекламы в Meta.
• Ресурс: простаивающая инференс-ёмкость флота.
• Механизм: два рычага эластичности.
• Ограничение: базовая производительность не ухудшается.
• Масштаб: флот Meta, конкретные цифры загрузки и прироста в анонсе не раскрыты.
• Источник: Engineering at Meta, 12 октября 2026 года.

Почему это важно экономически

Инференс стал одной из самых дорогих статей инфраструктуры. Ускорители закупаются годами вперёд, а утилизация определяет, сколько реальной работы получает каждый доллар капитальных затрат. Рекламные рекомендации здесь идеальный потребитель: это основной источник выручки Meta, а небольшой прирост качества ранжирования на таком объёме превращается в заметные деньги. Не нужно строить новые дата-центры, чтобы улучшить модель. Достаточно лучше использовать уже построенные.

Это и ответ на частый вопрос, зачем держать запас. Запас нужен для надёжности, но при хорошей эластичности он перестаёт быть мёртвым грузом.

Что взять инженерам

Если у вас есть собственный инференс-кластер, из подхода Meta можно вынести несколько проверяемых вещей:

• Измерьте простой по часам и по регионам. Без этой карты говорить об оппортунистической ёмкости рано.
• Зафиксируйте базовый SLO и защитите его приоритетами. Бонусная работа должна отменяться первой.
• Спроектируйте graceful fallback: сервис должен выдавать корректный результат и без дополнительных вычислений.
• Проводите A/B-тесты на «эластичном» пути отдельно. Прирост качества нужно отделить от колебаний ёмкости.
• Не делайте бизнес-метрики зависимыми от ресурса, который могут забрать в любую секунду.

Полные цифры эффекта и детали обоих рычагов стоит смотреть в оригинальном посте Engineering at Meta.