كيف نختبر نماذج LLM يدويًا وبالسكربتات: 12 درسًا من الترجمة وجداول المقاسات

عندما تُدمج نماذج LLM في عملية تجارية قائمة، لا يعود السؤال هل يستطيع النموذج الترجمة أو البحث عن البيانات، بل ماذا سيحدث عندما يخطئ. جمع كتّاب تحليل منشور على Habr اثني عشر استنتاجًا من مهمتين فعليتين: الترجمة الآلية للمنتجات من الإنجليزية إلى الروسية، والبحث عن جداول المقاسات.

مهمتان واستراتيجيتان

المهمة الأولى: عشرات الآلاف من العناوين والأوصاف يوميًا. الخطأ هنا رخيص، فالنص الأصلي والصورة متاحان، ولا يمكن فحص هذا الحجم يدويًا. لذلك يعمل مزيج من عدة نماذج وLLM بدور القاضي وفحوص بالسكربتات، إضافة إلى تدقيق انتقائي.

المهمة الثانية: إيجاد جدول المقاسات انطلاقًا من الربط «العلامة التجارية + نوع المنتج + المقاس + الجنس»، مثل Nike، أحذية رياضية، مقاس 11 US، رجالي. الخطأ هنا مكلف: نعل داخلي بطول 260 مم بدل 250 يعني إرجاع المنتج. الحجم معتدل، لذا يراجع إنسان كل سجل. نموذجان مزوّدان بالبحث على الويب (OpenAI وGemini) يبحثان عن الجدول بشكل مستقل، ويعمل Claude قاضيًا، ويجري إنسان الفحص النهائي.

ومن هنا مصفوفة بسيطة: قدّر كلفة الخطأ والحجم اليومي، وستتضح استراتيجية التحقق.

ما الذي يفيد فعلًا

السياق أهم من الأوامر المعقدة. في البداية كان العنوان وحده يُترجم، وتحسنت الجودة بعد إضافة الوصف والموقع والفئة والرابط. في Walmart كانت السمة المكوّنة من حرف واحد «N» (اختصار «No») تُترجم إلى «North» إلى أن أُضيف اسم السمة. وفي DoorDash تبيّن أن كثيرًا من «أخطاء القاضي» كان سببها نقص المعلومات. إذا أخطأ النموذج، فتحقق أولًا مما إذا كانت لديه بيانات كافية.

ضع التعليل قبل الإجابة. يورد النموذج القاعدة من الأمر أو مقطعًا حرفيًا من الصفحة، ثم القيمة فقط. فتقلّ الاختلاقات ويسهل على المراجع العثور على المصدر.

يجب أن يجيب القاضي بـ«نعم» أو «لا». تخلّى الفريق عن المقياس الخماسي لأنه لم يجد فرقًا بين التقييمين 3 و5. كما أن تقييم النموذج لثقته بنفسه عديم الفائدة: إجابة حصلت على «10 من 10» تبيّن أنها قيمة من جدول النساء بدل الرجال. وتطابق نموذجين لا يكفي أيضًا، فهما كثيرًا ما يخطئان بالطريقة نفسها، ولذلك يلزم الإشارتان معًا: التطابق وموافقة القاضي.

تتفوق السكربتات على LLM حيث تكون المهمة حتمية. فالنموذج يتجاهل أحيانًا تحويل الأبعاد بالبوصات والأرطال والأونصات أو يحسبها خطأ. تقارن التعابير النمطية الأرقام في الأصل والترجمة، وحيثما أمكن يُجرى التحويل بمعاملات ثابتة دون نموذج.

الأدوات والعملية

للفحص اليدوي صنع الفريق امتدادًا لمتصفح Chrome. يأخذ ملف JSON بالنتائج، ويفتح صفحة المصدر، ويبرز القيمة التي عثر عليها (أو يشغّل بحث Google إن لم يوجد الجدول)، ويُتخذ القرار بمفاتيح الاختصار. وفي النهاية يُرسل JSON إلى لوحة الإدارة. وقد زادت سرعة الفحص عشرات المرات.

وهناك ممارسات أخرى: تثبيت إصدار النموذج والأمر لكل نتيجة، وتشغيل مجموعة مرجعية عند تغيير التركيبة، وإشراك مديري الفئات مبكرًا (فقد اكتشفوا أخطاء في ترجمة مستحضرات التجميل والأدوية)، وفحص عيّنة يدويًا مرة كل شهر. ويجب اختبار الزوج «نموذج + أمر» تحديدًا، لأن الأمر نفسه يتصرف بشكل مختلف على نماذج مختلفة.

القيود والخلاصة

هذه تجربة مهمتين محددتين، ولا توجد في المقال أرقام للدقة، ولا يُضمن أن تنطبق الاستنتاجات عن الحالات المتخصصة مثل جداول المقاسات على مجالات أخرى. لكن المنطق عام: يمكن الوثوق بنماذج LLM في العمليات ذات كلفة الخطأ المنخفضة والمتوسطة، أما الحرجة فتُراجع يدويًا إلى أن يتراكم سجل عمل بلا أخطاء لعدة أشهر. وينبغي تحويل الأخطاء والشكاوى إلى تعديلات على الأوامر: خطأ، فتحليل، فتعديل، فأخطاء أقل من هذا النوع. وهذا في جوهره ما تفعله Walmart: لا يصحح اللغويون الترجمات يدويًا، بل يصوغون قاعدة تُطبَّق على الكتالوج بأكمله.