في RGS: نماذج LLM محلية تخفض مراجعة 500 مهمة من خمسة أيام عمل إلى يومين

قبل كل دورة تخطيط في RGS، تقدّم فرق التطوير مئات المهام، ويجب تقييم كل منها وفق عدة معايير لتحديد الأولويات. أحد هذه المعايير هو الامتثال في مجال تقنية المعلومات: هل يساعد تنفيذ المهمة على الالتزام بمتطلبات التشريعات؟ روت أنستاسيا، رئيسة اتجاه الامتثال لتقنية المعلومات، على موقع هابر (Habr) كيف خفّضت مراجعة نحو 500 مهمة من خمسة أيام عمل إلى يومين. لم تكن لديها ميزانية للتطوير، ولا تجيد البرمجة: فقد بُني خط المعالجة كله على أدوات مجانية ويعمل على حاسوب محمول.

لماذا لم يصلح الفلتر بالكلمات المفتاحية

شارك في المشروع التجريبي «قطاران»، أي اتجاهان كبيران للتطوير. أنتجت الدورة الأولى وحدها نحو 500 مهمة، واستغرقت مراجعتها أسبوعًا كاملًا من وقت خبير واحد. وطوال هذه المدة توقف العمل الذي وُجد الامتثال من أجله: تحليل المتطلبات الجديدة ومواكبة المشاريع المعقدة. وكان ربط بقية القطارات سيستهلك معظم الربع، ولم يكن ممكنًا توسيع الفريق لمواجهة ذروة الحمل.

لم يُجدِ البحث بالكلمات: فصياغات الفرق مختلفة، والمطلوب تقييم المعنى. لذلك قررت أنستاسيا اختبار الفرضية بأقل كلفة ممكنة. أعدّت تصديرًا مجهّل الهوية للمهام وسلّمته إلى عدة نماذج خارجية مع تعليمات بالمعايير. بعد عدة تكرارات للـ prompt استقرت النتيجة، لكن التطابق مع تقييمات الخبراء بلغ نحو 60%، وكانت الأخطاء في معظمها نحو المبالغة في التقدير. وكان ذلك كافيًا للانطلاق: فالنموذج المتحوّط يستبعد بموثوقية ما لا يحتاج الخبير إلى النظر فيه.

تجميعة محلية: n8n وOllama وقاعدة التقييمات المعتمدة

كان للنسخة الأولى ثلاث نقاط ضعف: التحضير اليدوي للتصديرات، وفقدان المعنى عند إخفاء الهوية، والاعتماد على خدمات خارجية قد تتوقف عن العمل في روسيا. ولم ينجح الحل المؤسسي منذ البداية، فاختارت أنستاسيا نموذجًا محليًا. فالبيانات لا تغادر الحاسوب، ولا حاجة إلى خدمات خارجية. أما الثمن فهو قيود الحاسوب المحمول: تُغذّى المهام على دفعات، وكانت النماذج الثقيلة جدًا تجمّد الجهاز تمامًا.

تولّى n8n، وهو منشئ مرئي للعمليات، دور المنسّق. شُغّلت النماذج عبر LM Studio وOllama، واستقر الاختيار في النهاية على Ollama. ويبدو خط المعالجة كما يلي: تصدير المهام، وتنظيف النص من الشوائب التقنية، وتمريره إلى النموذج مع التعليمات، ثم إجابة بصيغة صارمة (مستوى على المقياس وتعليل قصير)، وحفظ النتيجة.

العنصر الرئيسي هو قاعدة التقييمات المعتمدة سابقًا مع RAG. عند استلام مهمة، يعثر النموذج على مهام مشابهة سبق أن قيّمها خبير ويستند إليها. وبدون هذه القاعدة لم تُظهر التجميعات الأولى سوى 20% من الدقة. وبعد تحسين اختيار الأمثلة والـ prompt ومجموعة النماذج (Qwen وGPT-oss) بلغت التجميعة 70–80% على العينة الاختبارية، وعالجت 500 مهمة في نحو 12 ساعة. أي نحو 1,5 دقيقة للمهمة.

ولمقارنة الخيارات بإنصاف، كتبت أنستاسيا بمساعدة الذكاء الاصطناعي برنامجًا عاديًا. يقارن البرنامج تقييمات عدة خوارزميات بتقييمات الخبراء ويحسب أربعة مؤشرات: الإصابة الدقيقة، والإصابة بهامش درجة واحدة على المقياس، واستبعاد الزائد، واتجاه الأخطاء. المبالغة في التقدير تعني مراجعة زائدة، أما التقليل منه فيعني خطر تفويت مهمة مهمة.

من 55–60% على التدفق الحي إلى 78–82%

تبيّن أن العينة الاختبارية كانت متفائلة. ففي المهام الحقيقية لم تحقق أول تجميعة جيدة سوى 55–60%: إذ يحوي التدفق الحي صياغات وأنظمة جديدة أكثر، وجزء من المهام يأتي من قطارات لا تزال في طور الانضمام إلى عملية تحديد الأولويات. بعد ذلك جرّبت أنستاسيا عدة تقييمات من نماذج مختلفة أو من نموذج واحد بمعاملات مختلفة، ومعارف إضافية وسياقًا مُثرى، ومنها عبر MCP. وكان معيار الانتقاء بسيطًا: إذا تراجعت دقة أحد الخيارات عند ربط قطارات جديدة، يُستبعد.

تعمل التجميعات الناجية وقتًا أطول من التجميعة الأولية، 12–24 ساعة لكل 500 مهمة، لكنها تحقق 78–82% على البيانات الحقيقية، وأخطاء المبالغة والتقليل متوازنة الآن. وبدلًا من فلتر للخبير، نتجت خوارزمية تضع القيم بنفسها، ويراجعها الخبير عند الحاجة. ومنطق الجدوى هنا بسيط: وقت الحاسوب أرخص من وقت الخبير، وكلما زادت دقة الخوارزمية قلّت المراجعة اليدوية.

وتغيّرت العملية من حيث النطاق أيضًا. فسابقًا كانت المهام الجديدة وحدها تُقيَّم يدويًا، أما المهام المعدّلة فلم تكن تُراجع مجددًا لضيق الوقت. أما الآن فتُصدّر الخوارزمية بنفسها المهام الجديدة والمهام ذات الوصف المعدّل قبل بدء التنفيذ، وتضع التقييمات، وتسلّم ملفًا للمراجعة، وتكتب قيمة المعيار في حقل حساب الأولوية. ويمكن الكتابة فورًا أو بعد المراجعة. وبدلًا من قطارين، تخدم العملية تسعة.

القيود وما الخطوة التالية

للحل نقاط ضعف، ويذكرها الكاتبة. فهو مرتبط بحاسوب محمول واحد وخبير واحد، ودقة 80% جيدة لنموذج محلي لكنها لا تُلغي المراجعة الانتقائية. تنوي أنستاسيا إعادة الفحص دوريًا للتأكد من أن الدقة لا تتراجع. والنسخة المؤسسية من الخوارزمية تعمل بالفعل في وضع محدود وتحقق دقة مماثلة أسرع بست مرات. وبحسب تقدير أنستاسيا، يبقى رفع القيود.

أما للممارسين فالخلاصة كالتالي. نمط «القراءة ثم المطابقة مع القواعد ثم التقييم» يناسب كثيرًا من العمليات التشغيلية. والحد الأدنى العملي له: قاعدة متراكمة من تقييمات الخبراء لـ RAG، ومقاييس تراعي اتجاه الأخطاء، واختبار على التدفق الحي لا على العينة وحدها. وفي RGS تُطلق عملية مشابهة بالفعل في وضع تجريبي. ويتحول دور الخبير هنا: يدير العملية ويتخذ القرارات حيث تكون مطلوبة فعلًا.