أمازون تقيّم محتوى صفحات المنتجات بمزيج من VLM وOCR وCatBoost بدقة 94%

إنه ألم مألوف في كل سوق إلكترونية: كل عنصر في الصفحة سليم على حدة، لكن المحصلة النهائية فوضوية. الصورة واضحة، والنقاط خالية من الأخطاء، والصورة جميلة. لكن النص يذكر إبريقاً بسعة 64 أونصة، بينما تُظهر الصورة خلاطة فردية. أو تظهر صورة مطبخ فوق المنتج نفسه. الفحوص التي تتناول كل عنصر على حدة لا تكتشف مثل هذه المشكلات. وقد وصف فريق Amazon Marketplace كيف يعالج ذلك في A+ Content، والنهج صالح للاستخدام خارج أمازون بكثير.

الصفحة كلقطة واحدة

الفكرة بسيطة: نحوّل الصفحة كاملة إلى صورة واحدة ونمررها إلى نموذج رؤية ولغة (vision-language) مع معيار تقييم. يتضمن المعيار أربعة أبعاد: Visual Storytelling وFeature Presentation وA+ Layout وConversion Optimization. ويعيد النموذج لكل بُعد درجة من 0 إلى 10، ومستوى ثقة، وتعليلاً نصياً.

لم يُعاد تدريب VLM نفسه. فعدد الصفحات الموسومة 5 478 صفحة فقط من 10 فئات، ومع عينة كهذه يواجه الضبط الدقيق لنموذج كبير خطر فرط التخصيص ويتطلب وحدات GPU. وبدلاً من ذلك يبقى VLM مع المعيار دون تغيير، وتتحول درجاته إلى ميزات، ويُدرَّب فوقها CatBoost على وسوم الخبراء. تولى الوسم خبير في تسويق التجارة الإلكترونية وأربعة مُعلِّقين، وحُدِّد الوسم النهائي بأغلبية الأصوات. وبلغ اتفاق كل منهم مع الإجماع بحسب كابا كوهين (Cohen's kappa) ما بين 0,845 و0,915.

لماذا نحتاج OCR

يلتقط VLM المعنى والتركيب جيداً، لكنه أضعف في إدراك كثافة النص والمسافات. كما يميل إلى مدح الأوصاف الطويلة المفصلة، مع أن المشتري يحتاج إلى مرور سريع بعينيه. لذلك يحسب OCR على SageMaker أربعة مؤشرات: كثافة النص، وكثافة الأحرف، والمسافات، والقابلية العامة للقراءة.

النتائج على عينة اختبار مستبقاة تبلغ نحو 1 100 صفحة:

• الخط الأساسي (متوسط درجات VLM الأربع مع عتبة): دقة 80%، وF1 يساوي 0,84؛
• OCR وحده: 82%؛
• VLM مع CatBoost: 89%؛
• VLM مع OCR مع CatBoost: 94%، وF1 يساوي 0,95.

إذن لا يحل OCR محل VLM بل يكمله. وبلغ التحسن مقارنة بالنسخة التي تعتمد على VLM وحده 5 نقاط مئوية.

SHAP بدلاً من درجة مجردة

وسم «جودة منخفضة» لا يقول للبائع شيئاً. لذلك يُستخدم SHAP: فهو يُظهر مساهمة كل ميزة من الميزات الثماني في القرار على مقياس موحد. وفي المتوسط كان الأكثر تأثيراً كثافة الأحرف (1,1) والقابلية العامة للقراءة (1,0) وVisual Storytelling (1,0). ولكل صفحة رديئة تؤخذ الميزات الأكثر سلبية، وفئة المنتج، وأفضل الممارسات، وتعليلات VLM، ثم يحوّل نموذج لغوي كبير (LLM) ذلك إلى قائمة تعديلات مرتبة بحسب الأولوية. فإذا كانت قيمة SHAP للتخطيط -1,2 وللسرد البصري -0,3، يُنصح أولاً بإعادة بناء التخطيط، ثم الانتقال إلى الصور.

وقد اختُبر الأثر عملياً: بعد إجراء التعديلات وفق هذه التوصيات ارتفع متوسط التقييم بمقدار 1,4 نقطة من 10.

القيود والخلاصة

هذه مدونة تابعة لـAWS، لذا ينبغي تذكّر احتمال الانحياز الدعائي. فالمقاييس محسوبة على بيانات داخلية، ويتوقف نص المقال عند تجربة مع VLM أخف، ولذلك لا تُحلَّل نتائجها هنا. كما أن الوسم الثنائي «عالٍ/منخفض» فظّ نوعاً ما.

الخلاصة العملية للفرق التي تقيّم محتوى مركباً (صفحات الهبوط، وبطاقات المنتجات، والعروض التقديمية، والرسائل):

• قيّموا النتيجة ككل لا على أجزاء؛
• لا تضبطوا نموذجاً كبيراً بدقة قبل تجربة مصنّف صغير فوق مخرجاته المنظمة؛
• أضيفوا مؤشرات كلاسيكية مثل OCR حيث يكون VLM أعمى؛
• اعتمدوا قابلية التفسير منذ البداية، فهي ما يحوّل التقييم إلى تحسن فعلي في الجودة.