SynthAVE: عندما وسمت 21 نموذجًا 12 ألف منتج بدلًا من البشر

نشر باحثون SynthAVE، وهي طريقة للوسم الاصطناعي واسع النطاق لمنتجات التجارة الإلكترونية تعتمد على تصويت عدة نماذج LLM. وبدلًا من التعليق اليدوي على ملايين البيانات، استخدم الفريق شبكة من 21 إعدادًا لنماذج LLM (7 نماذج × 3 قوالب للأوامر)، وتتطابق نتائجها مع تقييمات الخبراء من البشر بنسبة 95.2% (معامل Cohen's κ = 0.92).

لماذا لم يعد الوسم اليدوي قابلًا للتوسع

يمتلك كل منتج في التجارة الإلكترونية عشرات الخصائص: المقاس، واللون، والخامة، والوزن، وطول الكم، ومقاس الصدر، وغيرها. ويتعامل السوق الإلكتروني الكبير مع آلاف أنواع المنتجات ومئات السمات في الوقت نفسه. وهذا يعني أن الوسم الكامل يتطلب ملايين التعليقات. أما توظيف بشر لهذا الحجم من العمل فتبلغ ميزانيته الشهرية عشرات الملايين من الروبلات.

تعرف الشركات منذ فترة طويلة أن نماذج LLM قادرة على توليد الوسوم تلقائيًا. لكن يبرز سؤال: كيف يمكن التحقق من الجودة بهذا الحجم؟ فالتحقق اليدوي ينتهي إلى العمل المكلف نفسه.

الطريقة: حلبة من النماذج المصوِّتة

بدلًا من نموذج LLM واحد، يستدعي المؤلفون 7 نماذج مختلفة، ولكل منها 3 صيغ للأوامر. وتقيّم الإعدادات الـ21 كلها كل عينة منتج بصورة مستقلة، ثم تُعتمد النتيجة النهائية بأغلبية الأصوات.

الأرقام الرئيسية لمجموعة البيانات:

• 12,726 منتجًا
• 229 نوعًا من المنتجات
• 792 سمة مختلفة
• 4 لغات: الإسبانية والفرنسية والإيطالية والألمانية

النتيجة: مستوى بشري بسرعة الآلة

أظهر التصويت بالأغلبية معامل Cohen's κ = 0.92 مقابل وسم البشر (مع تطابق مباشر بنسبة 95.2%). أما النماذج الفردية فيبلغ معامل κ بينها 0.76.

والمفارقة أن لكل نموذج نقاطه العمياء الخاصة. فأحدها أفضل في الأقمشة، وآخر في المقاسات، وثالث في الخامات. لكن عندما يصوّت عدد كبير من النماذج، يعوّض بعضها أخطاء بعض، كما في هيئة محلفين جيدة.

ماذا يعني ذلك

تحصل شركات التجارة الإلكترونية على وسيلة لتوسيع نطاق وسم البيانات بمستوى بشري وبتكلفة أقل من العمل اليدوي بـ10–100 مرة. وهذا يفتح الباب أمام أتمتة آلاف المهام الدقيقة التي كانت تتطلب بشرًا فيما مضى. والطريقة عامة: ففي كل مجال تلزم فيه عمليات وسم واسعة (الطب، والمالية، والخدمات اللوجستية)، يمكن تشكيل حلبة من الحكّام واعتماد التصويت.