Leroy Merlin Tech تعرض كيف دمجت LLM وRAG والتعلّم الآلي التقليدي في الدعم الفني

روت Leroy Merlin Tech كيف أعادت بناء أتمتة Service Desk بعد ارتفاع تدفق الطلبات. لم تستبدل الشركة الدعم كله بنموذج واحد كبير، بل بنت منظومة هجينة: تركت التصنيف الكثيف للتعلّم الآلي التقليدي، ولم تشغّل LLM مع RAG إلا حيث يحقق فائدة فعلية.

لماذا لا يكفي التعلّم الآلي القديم

يضم نظام Leroy Merlin Tech أكثر من 500 نظام أعمال و2500 عملية خدمية، ويتلقى نحو 100 ألف طلب دعم شهريًا. وفي ظل هذا الحمل لا تكفي جودة النموذج وحدها، إذ تهمّ أيضًا كلفة الخطأ وسرعة الاستجابة وتكلفة الحوسبة.

عمل النظام الأساسي القائم على نماذج التعزيز (boosting) وTF-IDF بصورة جيدة لفترة طويلة: فالنموذج المزوّد بخصائص إضافية مثل المسمّى الوظيفي ومكان العمل ووقت تقديم الطلب حقق F1 بنحو 0,86، وغطّى حصة كبيرة من المسارات النمطية. لكن مع تزايد عدد السيناريوهات لم يعد ذلك كافيًا.

جرّب الفريق LSTM وGRU وBERT وRoBERTa وElectra وYandex Foundation Models ومحوّلات LoRA مع نماذج LLM مفتوحة. خسرت بعض هذه المقاربات أمام نماذج التعزيز من حيث المقاييس، وتبيّن أن بعضها مكلف جدًا في التدريب. وفي النهاية لم يأتِ أفضل نتيجة في التصنيف من نهج LLM «خالص»، بل من نموذج Transformer مزوّد بخصائص جدولية إضافية وآلية additive attention: رفع هذا الحل مقياس F1 macro إلى 0,89، وراعى سياق الموظف المعني على نحو أفضل.

أين يُفعَّل RAG

لا تحاول LLM في هذه البنية حلّ كل شيء. فهي لا تُفعَّل إلا في فئات الطلبات التي يحتاج فيها المستخدم إلى إجابة مفهومة مستندة إلى الوثائق الداخلية، لا إلى مجرد توجيه صحيح للتذكرة. ومن الأمثلة على ذلك دعم منصة MLOps، حيث يحتاج الموظفون إلى إجابات حول Kubeflow وJenkins وخطوط المعالجة الداخلية.

هنا يصل الطلب إلى الدردشة، ثم يمر عبر المصنّف، ثم يدخل مسار RAG القائم على Qwen2.5 8B مع نموذج تضمين (embedder) مخصص. وإذا وُجدت الإجابة في قاعدة المعرفة، يحصل عليها المستخدم خلال نحو 60 ثانية. أما إذا لم يكن النموذج واثقًا من النتيجة، أو ضغط المستخدم على أمر التحويل إلى متخصص، فتنتقل التذكرة فورًا إلى خبير بشري دون انتظار وفق اتفاقية مستوى الخدمة (SLA) المعتادة.

وهذه نقطة مهمة: فـ LLM لا تضع حاجزًا إضافيًا أمام الإنسان، بل تُستخدم طبقة أولى سريعة حيث يمكن توفير وقت متخصصي المستوى L4 مرتفعي التكلفة، دون فقدان السيطرة على الجودة.

• يُستخدم Qwen2.5 8B بنسخة مكمَّمة (quantized) تعمل على CPU
• دُرّب نموذج التضمين المخصص على 10 آلاف ثلاثية (triplets)
• بلغت دقة البحث في قاعدة المعرفة 92% Hit@3
• يُفعَّل التصعيد عندما تقل درجة الثقة (confidence score) عن 0,7
• يستطيع المستخدم التحويل إلى موظف بشري فورًا

ما الذي نجح بصورة أفضل

جزء مستقل من هذه التجربة يتعلق بالحلول الآلية. فقد رصد الفريق قوالب طلبات متكررة يمكن إغلاقها دون تدخل الدعم، لكنه لم يُؤتمت كل الإجابات المتكررة بصورة عمياء. وللانتقاء استُخدم Qwen2.5 14B: قيّم النموذج ما إذا كان بإمكان الشخص حل المشكلة بنفسه وفق التعليمات، أم أنه لن ينجح دون موظف. وبذلك استُبعدت القوالب الزائفة مثل إعادة تعيين كلمة المرور، حيث تكون الرسالة نمطية لكن الإجراء نفسه يجب أن ينفذه متخصص.

«لا ينبغي استخدام LLM في كل مكان، كما هي الموضة الآن».

وبعد هذا الانتقاء، لا تعمل في بيئة الإنتاج LLM مجددًا، بل نموذج خفيف هو الانحدار اللوجستي. فهو يتعلم بسرعة، وتكاد تكلفته في الاستدلال (inference) تنعدم، ويستطيع خدمة تدفق الطلبات باستمرار.

وفي المحصلة تتحدث Leroy Merlin Tech عن ارتفاع نسبة التصنيف الآلي من 55% إلى 76%، وارتفاع دقة التصنيف إلى 92% مع احتساب العتبات، وتسريع الحلول الآلية الناجحة وإجابات الروبوت أكثر من 20 مرة. ولم تحلّ LLM هنا محل التعلّم الآلي التقليدي، بل شغلت موقعًا ضيقًا لكنه ذو قيمة في السلسلة.

ماذا يعني ذلك

تُظهر تجربة Leroy Merlin Tech بوضوح المنطق الناضج الحالي في إدخال الذكاء الاصطناعي التوليدي إلى الدعم الفني: فنماذج LLM مرتفعة التكلفة ليست مضطرة إلى أن تكون نواة المنظومة كلها. وغالبًا ما تأتي أفضل نتيجة من نهج هجين، يفرز فيه التعلّم الآلي التقليدي التدفق بسرعة، ويجيب RAG في المجالات المعقدة المتخصصة فقط، ويتدخل الإنسان دون احتكاك إذا لم تكن ثقة النموذج كافية. وبالنسبة إلى الفرق المؤسسية، قد يكون هذا على الأرجح مسارًا أكثر واقعية من محاولة نقل Service Desk بأكمله إلى نموذج عام واحد.