أين يساعد نموذج NLI في مساعد الاجتماعات: ثلاث تجارب ورفضان

روى مطوّر مساعد الاجتماعات المحلي Charoite Charoiteai أين ينجح نموذج NLI وأين يعرقل العمل. جرّبه في خمسة مواضع، ولم يبقَ منها سوى اثنين.

في يوليو، شغّل محضر الاجتماع نفسه أربع مرات عبر نموذج التلخيص التلقائي - فحصل على 39 عبارة مختلفة، منها 32 ظهرت في تشغيل واحد فقط. أراد أداة تخبره أين تتناقض عمليات التشغيل مع بعضها. اختار mDeBERTa-v3-base-xnli-multilingual-nli-2mil7: متعدد اللغات، مدرّب على 2.7 مليون زوج، بوزن 1.1 غيغابايت بصيغة ONNX، ووقت تحميل ثانية ونصف.

الموضع الأول: التكرارات في التغذية الحية - يعمل يوميًا

في الاجتماع الطويل، لا يرى نموذج التلخيص سوى 800 حرف من النص الحديث، لذا يكرر ما قيل سابقًا بكلمات مختلفة. يلتقط NLI التكرارات عبر منطق ثنائي الاتجاه: التكرار يحدث عندما تُستنتج A من B وتُستنتج B من A في آن واحد. أما التوضيح (في اتجاه واحد فقط: «تمت الموافقة على الميزانية» تُستنتج من «تمت الموافقة على الميزانية حتى نهاية العام»، لكن ليس العكس) فيبقى في التغذية. أما التناقض فلا يمر في أي من الاتجاهين.

المخطط بسيط: تُقارَن الفكرة الجديدة مع جميع الأفكار الـ16 السابقة عبر difflib بعتبة 0.3 (منخفضة عمدًا كي لا تُستبعد مبكرًا). ما يجتاز هذا الفلتر يُرسل إلى النموذج في الاتجاهين. إذا كان كلا الاحتمالين ≥ 0.8، تُستبعد الفكرة كتكرار، وإلا فتبقى. العتبة 0.8 وليست 0.75 الافتراضية، لأن التكرار مزعج لكن فقدان حقيقة جديدة أسوأ. كل استدعاء يستغرق عشرات الميلي ثانية، ومعظم الأزواج لا تصل إلى النموذج بفضل الفلتر المسبق.

هذا هو الموضع الوحيد الذي يعمل فيه NLI دون مشاكل للشهر الثالث على التوالي. ليس مثاليًا: ففي اجتماع 29 سبتمبر، عادوا إلى الموضوع نفسه 5 مرات خلال 8 دقائق دون إضافة أي جديد. الآلية موجودة بالفعل في الذاكرة - وهي المهمة التالية.

الموضع الثاني: التناقضات في المحاضر - فشل

اختبره على الأرشيف: 14 اجتماعًا، 51 بندًا في المحاضر، 1192 زوجًا للتحليل. من أصل 76 زوجًا اجتازت الفلتر المسبق، أطلق النموذج تسمية «تناقض» على 30 منها. كانت جلها كاذبة. السبب يكمن في الطول: متوسط طول بند المحضر 138 حرفًا، و69% منها أطول من 120 حرفًا. عبارة مثل «يجب المبادرة بتواصل مباشر مع الشخص المسؤول لتوضيح المبادئ العامة للربط، متجاوزين المراحل الوسيطة للموافقة» تحمل ثلاث أفكار في فقرة واحدة. وأي فقرتين تجدان كلمة مشتركة وشيئًا يشبه التعارض.

الحل أرخص بمقدار رتبتين: العبارات القصيرة (حتى 60 حرفًا) ذات الكائن المسمّى، والأرقام والتواريخ تُراجَع عبر البحث المباشر في النص المكتوب. في نفس التشغيل، وجدت هذه المراجعة اختلاقًا واحدًا من بين عشر عبارات: إصدار مقرر في 17.08، في حين أن السابع عشر من أغسطس لم يُذكر لا بالأرقام ولا بالكلمات.

الموضع الثالث: المراجعة الليلية للأنوية - تم إيقافها

الأنوية هي مواضيع تعيش أطول من اجتماع واحد. لكل نواة جوهرها، وتسلسلها الزمني، وأشخاصها، وقراراتها. المشكلة: نفس الموضوع يُسمّى بكلمات مختلفة. مثال من وثيقة معمارية في المستودع: إعداد الوصول إلى API والحصول على رمز الدخول - عمل واحد، نواتان، وتسلسلان زمنيان ناقصان.

عملت المراجعة بخطوتين: جمع bge-m3 المرشحين (تشابه جيبي من 0.55)، ثم حكم NLI على جوهرهما في الاتجاهين بأربع نتائج: تكرار (كلا الاتجاهين من 0.8 - مرشح للدمج)؛ تكرار محتمل (0.72-0.8 - علامة)؛ تضمين (اتجاه واحد من 0.85، والآخر أقل من 0.5 - موضوع ضيق داخل موضوع واسع)؛ حدود (كلا الاتجاهين من 0.45 - مواضيع متجاورة). النواة التي تضم ثلاثة تضمينات اعتُبرت محورًا ولم تُمس.

في أغسطس بدا الأمر جيدًا: 284 نواة حية، 40186 زوجًا، 1806 اجتازت الفلتر المسبق، ومراجعة استغرقت 6 دقائق. بحلول أكتوبر تجاوز عدد الأنوية الألف. اصطدمت مراجعة 27 سبتمبر بالسقف الليلي بعد 3.5 ساعة وتركت 824 نواة لليالٍ التالية. ولم تُجمَّع الملفات (الملخصات حول الموضوع) إطلاقًا في ثماني ليالٍ من أصل اثنتي عشرة.

فحص عشرة أزواج عشوائية واثقة كانت المراجعة بصدد دمجها. لم يكن بينها أي تكرار حقيقي. واحد فقط كان مثيرًا للجدل. ثقة الأزواج الكاذبة: بين 0.93 و1.00. والتفسير: ليست لكل نواة جوهر خاص بها. وإن لم يوجد، تأخذ المراجعة حالة نمطية مثل «مناقشة المتطلبات والخصائص». وموضوعا عمل مختلفان بنفس الحالة النمطية - فيقول NLI: هذه العبارات يُستنتج بعضها من بعض. نعم، تُستنتج، لأنها العبارة نفسها حرفيًا. أدّى النموذج عمله بشكل صحيح، لكنه خطأ في البيانات وليس في النموذج. تراكمت 239 علامة تكرار محتمل في الرسم البياني، ولم تُعالَج منها واحدة: لم يفتح أحد الملاحظة الداخلية التي تحمل العلامات.

في 5 أكتوبر، أوقف الميزة بسطر واحد في ملف الإعدادات. لم يُفعّل الدمج التلقائي أبدًا، لكن بات واضحًا الآن: أنه كان سيدمج مواضيع عمل مختلفة، وأن التلميح أثناء الاجتماع كان سيُظهر حالة مهمة لشخص آخر. نسخة الدمج الاحتياطية تبقى أسبوعًا، ولا يطّلع عليها أحد - فعليًا لا رجعة فيها.

الموضع الرابع: البوابة قبل الرد السريع - لم تساعد

زر ⚡ (الرد السريع) يُفعَّل عند طرح سؤال للتو في المكالمة. يجد الفلتر البنيوي مرشحًا في التغذية، ويكتب النموذج المحلي ردًا خلال ثوانٍ. لكن أحيانًا لا يكون المرشح سؤالًا: فقد يكون الشخص أعاد السؤال، أو فكّر بصوت عالٍ، أو قطع الجملة. فيجيب النموذج «لا أرى سؤالًا»، ويضيع الوقت.

أراد حَكَمًا أرخص قبل النموذج دون إعادة تدريب: فرضيتان إيجابيتان (الفرضيات المنفية تعمل بشكل أسوأ مع النموذج): «المحاور يطرح سؤالًا وينتظر إجابة» و«المحاور يعيد السؤال، أو يفكر بصوت عالٍ، أو يقطع الجملة». تسلسل: إذا كان واثقًا يقرر بنفسه، وإذا لم يكن واثقًا يسلّم الأمر للنموذج.

في الظل: كان الحَكَم يحسب بالتوازي دون أن يقرر شيئًا، بل يسجّل فقط في السجل. أربعة اجتماعات، 117 عبارة. أجاب النموذج على 115، ورفض 2 - أي 1.7%، وهو السقف الأقصى لما كان يمكن للبوابة توفيره حتى لو كانت مثالية.

لكن NLI لم يكن مثاليًا. الدقة مقابل المرجع: 55.6%، أي أقرب إلى الصدفة. المعايرة سيئة، فهو واثق أكثر بكثير مما هو محق. وسيط زمن الاستدعاء: 99 ميلي ثانية. تحقق من العتبات:

| العتبة | المحذوف | الفراغات المُزالة | الأسئلة المفقودة | |-------|----------|--------------|-------------------| | 0.60 | 31.6% | 1 من 2 | 31.3% | | 0.70 | 17.9% | 1 من 2 | 17.4% | | 0.80 | 9.4% | 0 | 9.6% | | 0.90 | 0 | 0 | 0 |

عند أي عتبة تحذف شيئًا فعليًا، فإنها تفقد أسئلة حقيقية بمعدل عشرات أضعاف ما تزيله من فراغات. وقاعدة الإغلاق كُتبت قبل أسبوع من القياس: إذا كانت نسبة الفراغات أقل من 15%، يُغلق الموضوع. وجاءت النتيجة 1.7%. وفي 6 أكتوبر، أُوقف الظل.

ما الذي تعطّل

أكثر ما كان مزعجًا هو الفشل الصامت. المرة الأولى: النماذج موجودة في جذر البيانات، لكن الكود كان يبحث عن نموذج NLI بجانب نفسه، في جذر الكود. وفي مستودع المطوّر يتطابق الجذران، لذا لم يظهر الخلل. وفي التثبيت الذي تقع فيه البيانات بشكل منفصل، لم يكن النموذج موجودًا في هذا المسار. كانت القاعدة: لا يوجد نموذج على القرص = إزالة التكرار متوقفة. لا خطأ، لا تحذير، والتغذية ببساطة عادت للتكرار. لم يُلاحَظ عبر التغذية بل أثناء المراجعة. حدث هذا مرتين. أما الآن فيُحسب المسار وقت الاستدعاء.

المرة الثانية - في مراجعة الأنوية، أيضًا مرتين متتاليتين. كان الحَكَم يُجمَّع لكن لا يستطيع الحكم، واعتبرت المراجعة أن التشغيل قد تم: لم تجد أزواجًا، وحرّكت العلامة، وسقطت الأنوية الجديدة من الفحص نهائيًا. الصفر عند الحَكَم كان يعني «متماثلان» بدلاً من «لا يوجد ما يُحكَم عليه». أما الآن فرفض الحَكَم يُعامَل كاستثناء، لا كصفر.