مطوّر «Чароит» يشرح أين يعمل نموذج NLI في مساعد اجتماعات Zoom وأين لا يعمل

في الجزء العاشر من سلسلة المساعد المحلي لاجتماعات Zoom، يحلل مؤلف مشروع «Чароит» نموذج NLI الذي يعمل في نظامه منذ ثلاثة أشهر. يبدأ إعلان Habr بمثال يوضح الحاجة إليه: عبارتا «تمت الموافقة على ميزانية الربع» و«لم تتم الموافقة على ميزانية الربع» تكادان تكونان عبارة واحدة بالنسبة إلى التضمينات. فالكلمات متطابقة، وأداة النفي لا تحمل وزنًا يُذكر في المتجه. أما في الاجتماع فالمعنى أن القرار المتخذ هو عكس الآخر تمامًا. لا يتضمن الإعلان النص الكامل، لذلك لن ترد أدناه أرقام أو اختبارات أداء (benchmarks): سنكتفي بما صرّح به المؤلف مباشرة وبالسياق الذي ينبغي أن يُقرأ فيه.

لماذا تخلط التضمينات بين المتضادات

يضغط نموذج التضمين الجملة في متجه، ويقيس التقارب بحسب الموضوع والمفردات. وهذا مناسب للبحث في النص المفرَّغ: فالاستعلام «ماذا قرروا بشأن الميزانية» سيجد المقطع المطلوب. لكن الآلية نفسها ضعيفة الاستجابة للنفي والشروط وتغيّر الصيغة الإرشادية. فعبارات «اعتمدوا» و«لم يعتمدوا» و«سنعتمد إذا وجدنا المال» تقع متجاورة في الفضاء المتجهي، مع أنها في المحضر ثلاث وقائع مختلفة.

يحل NLI (natural language inference) مسألة أخرى. يتلقى النموذج زوجًا من العبارات ويحدد ما إذا كانت الثانية تنتج عن الأولى، أو تناقضها، أو لا علاقة لها بها. وهذه هي الصياغة الكلاسيكية ذات الفئات الثلاث: entailment وcontradiction وneutral. وفي هذه الصياغة يُصنَّف زوج الميزانية المتفق عليها وغير المتفق عليها على أنه contradiction، لا «نصان متشابهان جدًا».

ما المعروف عن «Чароит» وNLI

«Чароит» مساعد محلي لمكالمات الاجتماعات. يكتب المؤلف عنه سلسلة مقالات، والجزء العاشر مخصص بالكامل لمكوّن واحد. ويتضح من العنوان والمقدمة ثلاثة أمور.

• نموذج NLI يعمل في «Чароит» منذ ثلاثة أشهر، أي إنه ليس تجربة نهاية أسبوع، بل مكوّن له تاريخ من التشغيل الفعلي.
• جرّب المؤلف النموذج في عدة مواضع: يذكر العنوان ثلاثة مواضع «جُرِّب فيها» النموذج، وموضعين خرج منهما.
• وُعد بتحليل منفصل لثمن هذا القرار: يكتب المؤلف إن إزالة النموذج «كلّفته شيئًا ما».

لم يذكر الإعلان النموذج المستخدم ولا حجمه ولا زمن الاستجابة ولا الدقة. وهذه معايير أساسية في مساعد محلي: فمصنّف NLI يُستدعى على أزواج من العبارات، وعدد الأزواج في اجتماع طويل يتزايد بسرعة. وإذا قورنت كل فكرة جديدة بجميع الأفكار السابقة، يصبح الحمل تربيعيًا، وهذا يظهر بوضوح على الأجهزة المنزلية.

أين يناسب NLI عادةً وأين لا يناسب

يعرض المؤلف في النص الكامل الجانبين معًا، بحسب العنوان. ومن الممارسة العامة يمكن افتراض المواضع التي تقع في كل فئة، لكن هذا افتراض وليس تلخيصًا للمقال. يناسب NLI التحقق من الأزواج التي يكلّف فيها الخطأ ثمنًا باهظًا: كشف التناقضات بين القرارات في اجتماعات مختلفة، ومطابقة المحضر النهائي مع النص المفرَّغ، والتأكد من أن بندًا في الملخص قيل فعلًا. ويؤدي أداءً أضعف حيث يلزم تفسير دقيق لسياق طويل. فالكلام المحكي المليء بالتحفظات والجمل غير المكتملة والإحالات من نوع «كما قررنا أمس» لا ينسجم مع أزواج العبارات القصيرة. إذ تدرّب المصنِّف على جمل مرتبة، لا على نص مفرَّغ من حديث حي.

ومن هنا السبب المعتاد لإزالة NLI من بعض المهام: الإنذارات الكاذبة على النص المفرَّغ المشوَّش أغلى كلفة من التناقضات الفائتة. وهل سيؤكد المؤلف هذا السبب بعينه، سيتضح من مقاله.

كيف تستفيد من هذا التحليل

إذا كنت تبني مساعد اجتماعات خاصًا بك أو بحثًا في النصوص المفرَّغة، فمن المفيد أن تفعل ثلاثة أمور.

• اجمع مجموعة صغيرة من الأزواج التي تحتوي على نفي وشروط («وافقنا» مقابل «لم نوافق»، و«إذا» مقابل «عندما») ومرّرها عبر بحث التضمينات لديك. سيتبين لك أين يخطئ المتجه.
• ضع NLI بعد اختيار المرشحين، لا بدلًا منه: فالتضمينات تجد العبارات المتشابهة بسرعة، وNLI يفحص هذه الأزواج فقط.
• قس الجودة على نصوص مفرَّغة حقيقية، لا على جمل اختبار نظيفة. ففي هذه النصوص تحديدًا يُضطر المطوّرون في الغالب إلى إزالة النموذج.

يستحق الجزء العاشر من السلسلة الاهتمام بوصفه تقريرًا نادرًا عن ثلاثة أشهر من التشغيل لا عن مجرد الإطلاق. أما الاستنتاجات المحددة والأرقام وكلفة التخلي عن النموذج، فينبغي أخذها من المقال الأصلي على Habr.