بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

الضبط الدقيق لنموذج NER يرفع نسبة أسرار الصفقات المخفية بالكامل من 39,5% إلى 91,8%

في أنظمة CRM قد تكون خصم بنسبة 12% سرًّا، وقد تكون شرطًا علنيًّا، والمطلوب إخفاء الحالة الأولى فقط. درّب المؤلف نموذج GLiNER لتمييز الكيانات المسمّاة (NER) بحجم 287 مليون معامل، وهو يحدد مقطعًا من النص ويعيّن نوعه. ارتفعت نسبة الأسرار المخفية بالكامل من 39,53% إلى 91,84%، وانخفض عدد الأقنعة الخاطئة على الإشارات العلنية إلى 8 من أصل 575 بدلًا من 368. وفي الشروط التي يحكمها السياق، يستحق الأمر ضبط نموذج صغير دقيقًا على بيانات خاصة بكم.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
الضبط الدقيق لنموذج NER يرفع نسبة أسرار الصفقات المخفية بالكامل من 39,5% إلى 91,8%
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1ارتفع مقياس Exact F1، الذي يشترط تطابق النوع والحدود معًا، من 22,51% إلى 94,13%
المدونة اصطناعية5 000 نص للتدريب و1 000 للاختبار
حقيقة رئيسية #3تدرّب LoRA على 589 824 معاملًا، أي نحو 0,21% من النموذج

تخيّلوا نظام CRM يدوّن فيه المديرون ملاحظات الصفقات منذ سنوات. قبل تسليم هذه الملاحظات إلى مقاول أو إلى التحليلات أو إدراجها في موجّه (prompt) لنموذج كبير، يجب إخفاء الشروط السرية بقناع. المشكلة أن القيمة نفسها قد تكون سرًّا وقد تكون معلومة علنية.

ففي الملاحظة «اتفقنا مع العميل على خصم 12%، والشروط غير علنية» يجب إخفاء الرقم 12%، أما في عبارة «الخصم 12% ساري لجميع المشترين» فلا يجوز المساس به. التعبيرات النمطية (regex) لا تفيد هنا، لأن السياق هو الحاسم لا الصيغة. درّب المؤلف على Habr نموذج GLiNER لهذه المهمة، وهو من فئة NER (التعرّف على الكيانات المسمّاة: إيجاد مقطع مطلوب من النص وتحديد نوعه).

في اختبار اصطناعي قصير ارتفعت نسبة الأسرار المخفية بالكامل من 39,53% إلى 91,84%. وبلغ عدد الإشارات العلنية التي أُخفيت خطأً 8 من أصل 575 بدلًا من 368. أما مقياس Exact F1، الذي يجب فيه أن يطابق النوعُ وحدودُ المقطع المرجعَ تمامًا، فارتفع من 22,51% إلى 94,13%.

وإذا كنتم تنظّفون البيانات قبل إرسالها إلى LLM، فإن التجربة توضح ما يقدمه الضبط الدقيق للمجال الخاص بكم.

ما الذي دُرّب وعلى ماذا

اعتمد المؤلف نموذج fastino/gliner2.5-multi-v1، وهو بنحو 287 مليون معامل ومشفّر (encoder) من نوع mDeBERTa. يُمرَّر إلى النموذج مع النص أسماءُ الأنواع المطلوبة ووصفها، ولذلك يمكن تشغيل مخطط واحد من ستة أنواع من الكيانات قبل التدريب وبعده. يعيد النموذج المقاطع التي عثر عليها وأنواعها ودرجات الثقة. أما JSON والنص النهائي المقنَّع فتنتجهما شيفرة اعتيادية، تستبدل المقاطع من اليمين إلى اليسار حتى لا يزيح طولُ القناع المُدرَج إحداثياتِ المقاطع الأخرى.

حدّد المؤلف حدود السر مسبقًا. فإذا كان الاتفاق على مكافأة سرّيًا، وجب إخفاء «3% من رقم المبيعات السنوي عند شراء 500 وحدة فما فوق»، لا «3%» وحدها. وفي جدول الدفع يشمل القناع الحصتين كلتيهما والمواعيد.

جميع النصوص من وحي الخيال. قُسّمت المدونة البالغة 6 500 سجل إلى 5 000 للتدريب، و500 لاختيار نسخة الأوزان وعتبة الثقة، و1 000 للفحص النهائي. ولّد مولّد النصوص هذه النصوص من 336 مكوّنًا. ربع الوثائق لا يحتوي على أي أسرار إطلاقًا، وهناك أيضًا أزواج متقابلة تكون فيها القيمة نفسها غير علنية في نص ومنشورة في آخر. جرى التدريب على بطاقة واحدة من نوع RTX 3090 بسعة 24 غيغابايت: ثلاث حقب (epochs) وحجم دفعة فعّال 16.

الضبط الدقيق الكامل وLoRA وعتبة الثقة

قارن المؤلف بين الضبط الدقيق الكامل وكل من LoRA وDoRA وrsLoRA وQLoRA. في وصفة LoRA المعتمدة وُضعت المحوّلات (adapters) في encoder.query وencoder.value فقط. يتدرّب 589 824 معاملًا، أي نحو 0,21% من النموذج الأساسي، وتبقى بقية الأوزان مجمّدة.

اختير الإصدار الأمثل من الأوزان والعتبة على جزء dev منفصل، ولم تشارك مجموعة الاختبار في اختيار الإعدادات. في الضبط الدقيق الكامل فازت الحقبة الثانية بعتبة ثقة 95%، وفي LoRA الحقبة الثالثة بعتبة 90%، وفي rsLoRA الحقبة الأولى بعتبة 90%. وكان المعيار هو micro-F1 الصارم. وعند تساوي القيمتين فُضّل الخيار الذي يقل فيه عدد الأقنعة الخاطئة على القيم العلنية.

في اختبارات إضافية استبدل المؤلف التوسيم الأصلي بتسميات من DeepSeek ودرّب نموذج GLiNER منفصلًا. كما أضاف Qwen وGemma برؤوس NER، وفحص جميع أدوات التعرّف على وثائق طويلة. لا يتضمن الجزء المتاح من المادة نتائج هذه الاختبارات، ولذلك لا يمكن المقارنة بين المناهج استنادًا إليها.

القيود وما يُفعل عمليًا

يجب قراءة الأرقام بحذر. جميع البيانات اصطناعية، ولم يكن هناك توسيم خبير مستقل. وقد جُمعت صيغ النصوص من عائلات مترابطة، ولم يكتبها أشخاص مختلفون. وفي المراسلات الحقيقية التي تحوي أخطاء إملائية ولغة عامية، قد تكون النتيجة أدنى.

الخلاصة العملية للفرق التي تُخفي البيانات قبل إرسالها إلى LLM هي:

  • ابدؤوا بتحديد السياسة: ما الذي يُعدّ سرًّا، وأين تقع حدود المقطع.
  • اتركوا أسماء العملاء وأسماء الشركات وأرقام الهواتف للقواميس والتعبيرات النمطية.
  • أسندوا الشروط المكتوبة بنص حر إلى نموذج صغير مضبوط دقيقًا على سياقكم الخاص. ويمكن تشغيله على بطاقة رسوميات استهلاكية واحدة.

نشر المؤلف البيانات والإعدادات ومثال التشغيل على ملف JSONL خاص بكم في مستودع المواد.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما الذي دُرّب وعلى ماذا؟

اعتمد المؤلف نموذج fastino/gliner2.5-multi-v1، وهو بنحو 287 مليون معامل ومشفّر (encoder) من نوع mDeBERTa. يُمرَّر إلى النموذج مع النص أسماءُ الأنواع المطلوبة ووصفها، ولذلك يمكن تشغيل مخطط واحد من ستة أنواع من الكيانات قبل التدريب وبعده. يعيد النموذج المقاطع التي عثر عليها وأنواعها ودرجات الثقة. أما JSON والنص النهائي المقنَّع فتنتجهما شيفرة اعتيادية، تستبدل المقاطع من اليمين إلى اليسار حتى لا يزيح طولُ القناع المُدرَج إحداثياتِ المقاطع الأخرى. حدّد المؤلف حدود السر مسبقًا.

ما أبرز التفاصيل حول الضبط الدقيق الكامل وLoRA وعتبة الثقة؟

قارن المؤلف بين الضبط الدقيق الكامل وكل من LoRA وDoRA وrsLoRA وQLoRA. في وصفة LoRA المعتمدة وُضعت المحوّلات (adapters) في encoder.query وencoder.value فقط. يتدرّب 589 824 معاملًا، أي نحو 0,21% من النموذج الأساسي، وتبقى بقية الأوزان مجمّدة. اختير الإصدار الأمثل من الأوزان والعتبة على جزء dev منفصل، ولم تشارك مجموعة الاختبار في اختيار الإعدادات. في الضبط الدقيق الكامل فازت الحقبة الثانية بعتبة ثقة 95%، وفي LoRA الحقبة الثالثة بعتبة 90%، وفي rsLoRA الحقبة الأولى بعتبة 90%. وكان المعيار هو micro-F1 الصارم.

ما أبرز التفاصيل حول القيود وما يُفعل عمليًا؟

يجب قراءة الأرقام بحذر. جميع البيانات اصطناعية، ولم يكن هناك توسيم خبير مستقل. وقد جُمعت صيغ النصوص من عائلات مترابطة، ولم يكتبها أشخاص مختلفون. وفي المراسلات الحقيقية التي تحوي أخطاء إملائية ولغة عامية، قد تكون النتيجة أدنى. الخلاصة العملية للفرق التي تُخفي البيانات قبل إرسالها إلى LLM هي: ابدؤوا بتحديد السياسة: ما الذي يُعدّ سرًّا، وأين تقع حدود المقطع. اتركوا أسماء العملاء وأسماء الشركات وأرقام الهواتف للقواميس والتعبيرات النمطية. أسندوا الشروط المكتوبة بنص حر إلى نموذج صغير مضبوط دقيقًا على سياقكم الخاص.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…