miniCOIL EN-ES: كيف يُجرى البحث عبر حاجز اللغة دون ترجمة

أصدرت Qdrant نموذج miniCOIL EN-ES، وهو محرك بحث متفرق مصمم للبحث الثنائي اللغة دون ترجمة آلية. هذا المشروع المشترك مع Pento يعالج مشكلة طويلة الأمد في البحث المتفرق (sparse retrieval): كيف يُجرى البحث عبر الترجمات بينما لا يرى خوارزمية BM25 إلا التطابقات الحرفية للكلمات. الكلمة الإسبانية «bajo» قد تعني منخفض أو باص (موسيقي) أو قصير أو تحت، لكن بالنسبة لخوارزمية تقليدية فهي ليست إلا رمزًا (token) آخر في قائمة ترحيل (posting list) مختلفة.

الحل التقليدي هو ترجمة الاستعلامات أو الوثائق، لكن هذا يُضيف نموذجًا — وتبعية — إلى المسار الحرج. تعمل المُرمّزات المتعددة اللغات الكثيفة (dense multilingual encoders) بشكل جيد، لكنها لا تضمن البحث بالكلمة المفتاحية الدقيقة. اختار miniCOIL EN-ES مسارًا ثالثًا: متجه متفرق يُفكّر بالمفاهيم لا بالكلمات.

قاموس من المفاهيم

يقوم الأساس على 2,398 مفهومًا — وهي مجموعات ترجمات مثل {cat, gato} أو {bat, murciélago, bate}. خُصّصت لكل مفهوم 8 أبعاد في المتجه المتفرق.

بُني القاموس عبر رسم بياني: انطلقت العملية من 112 ألف زوج ثنائي اللغة من MUSE dictionaries (إنجليزي-إسباني)، حيث يمثّل كل زوج حافة بين كلمتين. شُغّلت خوارزمية Louvain للكشف عن التجمعات في هذا الرسم البياني. كانت تعدّدية المعنى — مثل الكلمة الإسبانية «bajo» بترجماتها الإنجليزية الأربع — تجذب مئات الكلمات إلى تجمّع واحد. فاتُّخذ القرار: أفضل ترجمتين فقط لكل كلمة، وحد أقصى 20 كلمة في التجمّع الواحد. والنتيجة كانت نحو 80 ألف مفهوم.

ثم جرى تصفّح ويكيبيديا الإنجليزية والإسبانية لحساب تكرار كل مفهوم: لم يتبق سوى 12 ألفًا. أما الاختيار النهائي، المستند إلى استعلامات حقيقية من mMARCO dev.small (النسخة المترجمة من MS MARCO)، فقد أبقى على 2,398 مفهومًا، تغطي 90% من جميع التطابقات في القاموس الكامل البالغ 12 ألف مفهوم.

البنية: multilingual-e5-small وquintuplet loss

العمود الفقري للنموذج هو multilingual-e5-small (مخرجات بـ384 بعدًا، 118 مليون معامل). عند اختباره على أزواج إنجليزية/إسبانية متوازية، حقّق نسبة استرجاع 100% بتشابه جيب تمام بين 0.91 و0.93. لكل مفهوم رأس واحد قابل للتدريب: تحويل من 384 بعدًا إلى 8 أبعاد.

يكمن الابتكار في طريقة التدريب. استخدم miniCOIL v1 ثلاثيات (مرساة، ومثال إيجابي بالكلمة نفسها بالمعنى نفسه، ومثال سلبي بمعنى مختلف). وفي السياق الثنائي اللغة، تظلّ غالبية الثلاثيات أحادية اللغة، فيُقدِم النموذج على «الغش» بفصل اللغتين إلى مناطق مختلفة من المتجه. وفي المقابل يتدرّب miniCOIL EN-ES على خماسيات — خمسة أمثلة تغطّي أربعة أرباع: تطابق في لغة واحدة، وتطابق في اللغة الأخرى، وعدم تطابق في لغة واحدة، وعدم تطابق في اللغة الأخرى. تُلزِم دالة quintuplet loss المفهومَ الواحد صريحًا بأن يبقى واحدًا، بصرف النظر عن اللغة. أما الكلمات غير الموجودة في القاموس فتعود إلى خوارزمية BM25 المُجرَّبة.

يخطط المطورون لتوسيع القاموس والتدريب، وتنتقل الفكرة بسهولة إلى لغات أخرى.