Модель WeFair-2B в поиске коротких видео WeChat подняла CTR на 2,951%

Поиск коротких видео живёт на неоднозначных запросах: человек вводит два слова, а что он хочет увидеть, зависит от недавних поисков и просмотров. Команда East China Normal University описала WeFair — способ обучить компактную модель на 2 млрд параметров, которая переписывает запрос с учётом контекста пользователя и при этом не подменяет его цель. Модель WeFair-2B уже работает в поиске коротких видео WeChat и обслуживает более 100 млн запросов в день. В 10-дневном A/B-тесте относительный CTR вырос на 2,951%, доля эффективных просмотров видео — на 2,593%, а доля переформулировок запросов снизилась на 2,350%.

Проблема: ранжирование по вовлечённости уводит от запроса

Предыдущие подходы дистиллируют рассуждения больших моделей в маленький рерайтер, а затем донастраивают его по сигналам последующего потребления контента: что пользователь смотрел после выдачи. Авторы указывают на побочный эффект. Такая награда подталкивает модель к запросам, которые находят «залипательный» контент, а не то, что человек искал. Это называется дрейфом намерения (intent drift). В примере из статьи запрос «crepe cake» уходит в рецепты, хотя пользователь хотел смотреть, как этот торт едят. Переписанный запрос при этом опирается на реальную историю пользователя, поэтому такую ошибку трудно поймать формальными проверками.

Большие модели для задачи не подходят по двум причинам. Они хуже понимают разнообразные намерения пользователей конкретной платформы, а задержка на каждый вызов слишком велика для поиска в реальном времени. Поэтому в продакшене нужна малая модель, которая заодно решает, переписывать запрос или оставить как есть.

Три стадии с разной строгостью сигнала

Идея WeFair — подбирать для каждой стадии обучения свой уровень достоверности обратной связи.

• Демонстрации (SFT). Сначала идёт обучение на записях «контекст → запрос», затем на рассуждениях по контексту, затем на прямом предсказании переформулировки или сохранения запроса. Здесь допустим менее точный, но широкий сигнал.
• Предпочтения (DPO). Пары кандидатов различаются по итогам последующего потребления, и модель учится выбирать те, что связаны с лучшим попаданием в персональное намерение.
• Верификация (GRPO). Награда выдаётся только за точное совпадение с реальной переформулировкой пользователя или с решением оставить запрос без изменений. Никаких градуированных оценок сходства, поисковых или судейских наград авторы не добавляют.

Дополнительный анализ показывает, что широкая супервизия помогает на SFT, а строгая верификация на финальном этапе даёт лучшее качество, чем протестированные вспомогательные награды. Более тонкие сигналы, по словам авторов, снижают точность переписывания. На инференсе модель сразу выдаёт короткий рерайт или маркер «оставить», без генерации цепочки рассуждений, что экономит задержку.

Как собирали обучающие данные

Данные берут из поисковых сессий WeChat в обезличенном виде. Для пула «контекст → запрос» отбирают запросы с хотя бы одним эффективным просмотром видео (дольше десяти секунд) и проверяют их через DeepSeek-V4-Flash на поддержку контекстом. Для пула переформулировок связывают соседние запросы одной сессии: после первого не было клика по видео, после второго был эффективный просмотр. Запросы, вызванные подсказками системы, исключают.

Дальше работает двухступенчатый фильтр. Правила отсекают добавки из служебных слов китайского языка, пары с малым пересечением символов (по сходству Жаккара) и случаи без контекстной опоры. Это убирает около половины кандидатов. Затем три рассуждающие LLM голосуют по непрерывности намерения и информационному приросту, после чего ещё три проверяют «контекстный мост» между добавленной деталью и запросом. Проходит примерно треть. Отклонённые на последнем шаге примеры становятся жёсткими негативами для сохранения: так модель учится не выдумывать персонализацию без опоры.

Что стоит учитывать

Результаты получены на внутренней платформе WeChat, независимо воспроизвести их нельзя. Часть пайплайна зависит от китайскоязычных правил и от закрытых поведенческих логов. В исходном описании нет сравнения с базовыми моделями в цифрах офлайн-метрик, есть лишь вывод о превосходстве по общей точности и сохранению намерения. Практический вывод для команд, строящих рерайтеры в поиске или рекомендациях: не смешивайте сигналы разной достоверности на одном этапе. Широкие поведенческие данные годятся для старта и предпочтений, а на финальном RL-шаге награда должна быть максимально чистой. Оригинальный запрос при этом остаётся якорем для выдачи и ранжирования, а рерайт лишь расширяет пул кандидатов.