Amazon оценивает контент товарных страниц связкой VLM, OCR и CatBoost с точностью 94%

Знакомая боль любого маркетплейса: каждый элемент страницы по отдельности в порядке, а вместе получается каша. Картинка резкая, буллеты без ошибок, фото красивое. Но в тексте заявлен кувшин на 64 унции, а на фото стоит порционный блендер. Или фото кухни висит выше самого товара. Поэлементные проверки такое не ловят. Команда Amazon Marketplace описала, как решает это для A+ Content, и подход годится далеко за пределами Amazon.

Страница как один снимок

Идея простая: рендерим страницу целиком в одну картинку и отдаём vision-language модели вместе с рубрикой. Рубрика включает четыре измерения: Visual Storytelling, Feature Presentation, A+ Layout и Conversion Optimization. По каждому модель возвращает оценку от 0 до 10, уверенность и текстовое обоснование.

Дообучать саму VLM не стали. Размеченных страниц всего 5 478 из 10 категорий, а при такой выборке файнтюн большой модели рискует переобучиться и требует GPU. Вместо этого VLM с рубрикой остаётся неизменной, её оценки становятся признаками, а поверх обучается CatBoost на метках экспертов. Разметку делали эксперт по ecommerce-маркетингу и четыре аннотатора, итоговая метка определялась большинством голосов. Согласованность каждого с консенсусом по Cohen's kappa составила 0,845–0,915.

Зачем нужен OCR

VLM хорошо схватывает смысл и композицию, но хуже чувствует плотность текста и интервалы. Ещё она склонна хвалить длинные подробные описания, хотя покупателю нужно быстро пробежать глазами. Поэтому OCR на SageMaker считает четыре сигнала: плотность текста, плотность символов, интервалы и общую читаемость.

Результаты на отложенной выборке примерно из 1 100 страниц:

• база (среднее четырёх оценок VLM и порог): 80% точности, F1 0,84;
• только OCR: 82%;
• VLM плюс CatBoost: 89%;
• VLM плюс OCR плюс CatBoost: 94%, F1 0,95.

Значит, OCR не заменяет VLM, а дополняет её. Прирост к варианту только с VLM составил 5 п.п.

SHAP вместо голой оценки

Метка «низкое качество» продавцу ничего не говорит. Поэтому используют SHAP: он показывает вклад каждого из восьми признаков в решение на общей шкале. В среднем сильнее всего влияли плотность символов (1,1), общая читаемость (1,0) и Visual Storytelling (1,0). Для каждой плохой страницы берут самые негативные признаки, категорию товара, лучшие практики и обоснования VLM, и LLM превращает это в приоритетный список правок. Если у макета SHAP -1,2, а у визуального сторителлинга -0,3, сначала советуют перестроить раскладку, потом заняться картинками.

Эффект проверили на практике: после правок по таким рекомендациям средняя оценка выросла на 1,4 балла из 10.

Ограничения и вывод

Это блог AWS, так что стоит помнить о рекламном уклоне. Метрики посчитаны на внутренних данных, а текст статьи обрывается на эксперименте с более лёгкой VLM, поэтому его результаты здесь не разобраны. Бинарная метка «высокое/низкое» тоже грубовата.

Практический вывод для команд, которые оценивают составной контент (лендинги, карточки товаров, презентации, письма):

• оценивайте результат целиком, а не по частям;
• не файнтюньте большую модель, пока не попробовали маленький классификатор поверх её структурированных выходов;
• добавляйте классические сигналы вроде OCR там, где VLM слепа;
• сразу закладывайте объяснимость, потому что именно она превращает оценку в рост качества.