SynthAVE: عندما قام 21 نموذج بتسمية 12 ألف منتج بدلاً من البشر

نشر الباحثون SynthAVE—طريقة للعلامات الاصطناعية الضخمة لمنتجات التجارة الإلكترونية باستخدام التصويت المتعدد LLM. بدلاً من شرح ملايين نقاط البيانات يدويًا، طبق الفريق شبكة من 21 تكوين LLM (7 نماذج × 3 اختبارات)، والتي تتفق نتائجها مع تقييمات الخبراء البشريين بنسبة 95.2٪ (κ لـ Cohen = 0.92).

لماذا لا تعود العلامات اليدوية قابلة للتوسع

في التجارة الإلكترونية، يمتلك كل منتج عشرات المعاملات: الحجم واللون والمادة والوزن وطول الكم وحجم الصدر وما إلى ذلك. يعمل السوق الكبير مع آلاف أنواع المنتجات ومئات السمات في نفس الوقت. هذا يعني أن الوسم الكامل يتطلب ملايين التعليقات التوضيحية. يكلف توظيف الأشخاص لمثل هذا الحجم عشرات ملايين الروبلات شهريًا.

عرفت الشركات منذ فترة طويلة أن نماذج اللغة الكبيرة يمكنها إنشاء علامات تلقائيًا. لكن السؤال الذي يطرح نفسه: كيف تتحقق من الجودة بهذا الحجم؟ يتحول التحقق اليدوي إلى نفس العمل المكلف.

الطريقة: حلبة النماذج المصوتة

بدلاً من استخدام نموذج واحد، يستدعي المؤلفون 7 نماذج مختلفة، كل منها يحتوي على 3 متغيرات موجزة. يتم تقييم كل عينة منتج بواسطة جميع التكوينات الـ 21 بشكل مستقل، ثم يتم اختيار النتيجة النهائية بأصوات الأغلبية.

أرقام مجموعة البيانات الرئيسية:

• 12726 منتج
• 229 نوع منتج
• 792 سمة مختلفة
• 4 لغات: الإسبانية والفرنسية والإيطالية والألمانية

النتيجة: الأداء على مستوى الإنسان بسرعة الآلة

حققت الأصوات الأغلبية κ لـ Cohen = 0.92 مقابل وسم الإنسان (95.2٪ اتفاق مباشر). تحقق النماذج الفردية κ = 0.76 مع بعضها البعض.

المفارقة: لكل نموذج نقاط ضعفه الخاصة. أحدهما يفهم الأقمشة بشكل أفضل والآخر الأحجام والثالث المواد. لكن عندما يصوت العديد من النماذج، تلغي أخطاؤهم بعضها البعض—مثل هيئة محلفين جيدة.

ما يعنيه هذا

تحصل شركات التجارة الإلكترونية على القدرة على توسيع نطاق وسم البيانات على مستوى الإنسان بتكلفة أقل 10–100 مرة من العمل اليدوي. هذا يفتح الباب لأتمتة الآلاف من المهام الدقيقة التي كانت تتطلب سابقًا أشخاصًا. الطريقة عالمية: في أي مكان يكون فيه الوسم الضخم ضروريًا (الطب والمالية واللوجستيات)، يمكنك تجميع لجنة من القضاة واستخدام التصويت.