Transformers.js والتضمينات المتجهية: بحث دلالي دون بنية تحتية على الخادم

خطأ كلاسيكي في البحث: يكتب المستخدم «لابتوب رخيص» فيحصل على نتائج فارغة، لأن المنتج مسجّل في قاعدة البيانات باسم «حاسوب محمول اقتصادي». ينشر Machine Learning Mastery تحليلًا مفصّلًا لكيفية استبدال البحث بالكلمات المفتاحية ببحث دلالي، باستخدام Transformers.js وتضمينات الجمل (sentence embeddings) مباشرة داخل المتصفح ودون واجهة خلفية على الخادم.

ما المشكلة في البحث التقليدي

يقارن البحث القياسي بالكلمات المفتاحية بين الحروف لا بين المعاني. فإذا لم يتطابق الاستعلام مع المستند حرفيًا، لا تظهر أي نتيجة، حتى لو كانت الكلمات مترادفة. وهذا خلل تكرّره الفرق التقنية مرارًا: تضيف المرادفات يدويًا، وتعدّل قوائم الكلمات المحجوبة (stop words)، وتربط المشروع بـ ElasticSearch، ومع ذلك تفوتها الصياغات غير المعتادة.

المشكلة بنيوية. فالمستخدمون لا يفكرون في الاسم المسجّل للمنتج في قاعدة البيانات، بل يصفون ما يحتاجون إليه. عبارات مثل «مروحة تبريد هادئة» و«لابتوب للدراسة» و«هاتف بكاميرا جيدة» هي استعلامات إما أن يفشل محرك الكلمات المفتاحية في فهمها، أو يعيد نتيجة غير ذات صلة.

يعالج البحث الدلالي المسألة بطريقة مختلفة: فهو يحوّل النص إلى متجه رقمي (embedding) يعكس المعنى. وسيقع «لابتوب رخيص» و«حاسوب محمول اقتصادي» متجاورين في الفضاء المتجهي، لأنهما متقاربان دلاليًا. وبدل مقارنة السلاسل النصية، يحسب المحرك تشابه جيب التمام (cosine similarity) بين متجه الاستعلام ومتجهات المستندات.

كيف تعمل Transformers.js

Transformers.js هي نسخة JavaScript من مكتبة Hugging Face Transformers. تشغّل النماذج اللغوية مباشرة في المتصفح أو في Node.js دون واجهة API على الخادم. تُحمَّل النماذج على هيئة أوزان ONNX وتُنفَّذ عبر WebAssembly أو WebGPU.

يحتاج البحث الدلالي إلى نماذج تضمين الجمل (sentence embedding)، وهي نماذج مدرَّبة على تحويل الجمل إلى متجهات كثيفة ثابتة الأبعاد. والخيار الشائع للبداية هو `all-MiniLM-L6-v2` من Sentence-Transformers: يبلغ حجمه نحو 25 ميغابايت، ولا يتطلب GPU، ويعمل بسرعة كافية للتنفيذ على جهة العميل.

البنية الأساسية للبحث:

• تهيئة خط المعالجة (pipeline): `pipeline('feature-extraction', 'Xenova/all-MiniLM-L6-v2')`
• فهرسة القاعدة: تمرير كل مستند عبر النموذج وحفظ المتجهات
• عند الاستعلام: تحويل نص المستخدم إلى متجه بالطريقة نفسها
• حساب تشابه جيب التمام بين متجه الاستعلام وجميع المتجهات في الفهرس
• إعادة أفضل N مستندًا الأعلى تقاربًا

أما القواعد الصغيرة (حتى بضعة آلاف من السجلات) فيمكن حفظ الفهرس فيها مباشرة في الذاكرة أو في `localStorage`، ولا حاجة إلى أي بنية تحتية على الخادم.

المزايا والقيود الفعلية

الميزة الرئيسية هي انعدام الحاجة إلى واجهة خلفية. فكل شيء يعمل على جهة العميل: يُحمَّل النموذج مرة واحدة، وتُحسب التضمينات محليًا. وهذا مناسب للبوابات التوثيقية والمدونات الثابتة ولوحات المتابعة الداخلية، ولكل ما يعمل دون خادم دائم.

لكن القيود جوهرية أيضًا. فالمسح الخطي بتعقيد O(n) يبدأ بالتباطؤ عند عشرات الآلاف من المستندات، وهنا تلزم فهرسة HNSW عبر مكتبات مثل `hnswlib-node`. كما قد تخطئ نماذج التضمين العامة في المفردات شديدة التخصص؛ وفي هذه الحالات يعطي الوضع الهجين نتائج أفضل: BM25 للمطابقة الدقيقة مع التضمينات للمطابقة الدلالية.

ماذا يعني ذلك

انخفض حاجز اعتماد البحث الذكي بصورة ملحوظة. فقد كان ذلك يتطلب سابقًا حزمة Python على الخادم وقاعدة بيانات متجهية وواجهة API مستقلة. أما الآن فيستطيع مطوّر الواجهات الأمامية إضافة بحث دلالي إلى موقع ثابت ببضعة أسطر من JavaScript، وسيعمل حتى دون اتصال بالإنترنت.