مؤلف سلسلة على Habr يضغط نموذج تضمينات روسيًا من 180 إلى 29 مليون معامل
تحوّل التضمينات النصوص إلى متجهات رقمية للبحث عن النصوص المتشابهة وتنقية التكرارات والتجميع. يبلغ حجم نموذج rubert-base الروسي 180 مليون معامل، وهو ثقيل على خادم بلا GPU، ويخلط بين «وجد عملًا» و«لم يجد عملًا». يدرّب مؤلف سلسلة على Habr نموذجًا صغيرًا على محاكاة متجهات النموذج الكبير، فينتج نموذج بـ29.4 مليون معامل وحجم 118 ميغابايت. في مهام البحث وإزالة التكرار على CPU، يمكن بناء نموذج مدمج يناسب المهمة المطلوبة.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
التضمينات هي متجهات رقمية تُحوَّل إليها النصوص لمقارنتها من حيث المعنى. وعليها يقوم البحث في قواعد المعرفة وتنقية التكرارات وتجميع الطلبات. للغة الروسية نماذج جيدة، لكنها غالبًا أثقل من أن تعمل على خادم عادي بلا بطاقة رسومات، أي على CPU وحده. بدأت على Habr سلسلة من عشر مقالات: يأخذ المؤلف نموذجًا كبيرًا بوصفه معلّمًا بـ180 مليون معامل (المعاملات هي الأوزان القابلة للتدريب في الشبكة، وكلما زاد عددها صار النموذج أثقل وأبطأ)، ويدرّب طالبًا صغيرًا بـ29.4 مليون معامل على محاكاة متجهاته. هذه هي الحلقة التمهيدية: لا تتضمن مقاييس نهائية، لكنها تصف بوضوح المهمة والقيود والبنية.
ما المشكلة التي يحلها المشروع
المعلّم هو DeepPavlov/rubert-base-cased-sentence: 180 مليون معامل و12 طبقة ومتجهات بأبعاد 768. النموذج عالي الجودة لكنه بطيء على CPU، وله عيبان معروفان.
الأول «العمى تجاه النفي». فهو لا يميّز جيدًا بين عبارتي «وجد عملًا» و«لم يجد عملًا»، مع أن المعنى متعاكس. وهذا مزعج في إزالة التكرار والبحث، إذ سيعدّ النظام هذه النصوص شبه متطابقة.
الثاني هو اللاتناحي (anisotropy). تنضغط متجهات جميع النصوص داخل مخروط ضيق، فيخرج تشابه جيب التمام (مقياس لقرب المتجهات) مرتفعًا لأي نصين. ويصعب حينئذ اختيار عتبة لـ«هذا نص مكرر»: ستظهر في قائمة الحذف عشرات الآلاف من الأزواج بدل بضعة أزواج. وفي النموذج الأساسي sergeyzh/rubert-tiny-turbo، بأبعاده الـ312 وحساب المتوسط على الرموز، يكون الانضغاط أشد.
القيود صارمة: العمل على CPU، وحجم لا يتجاوز 300 ميغابايت، وسرعة أعلى بمرات من المعلّم. والمهمة ليست تصغير المعلّم فحسب، بل تصحيح بعض عيوبه جزئيًا.
كيف بُني الطالب
اعتُمد أساسًا نموذج rubert-tiny-turbo، وهو نسخة من rubert-tiny2 جرى تدريبها المسبق بأسلوب تبايني (يُدرَّب النموذج على تقريب النصوص المتشابهة وإبعاد غير المتشابهة)، ولذلك تكون الدلالات أفضل عند نقطة البداية. يبقى المقطّع اللغوي (tokenizer) الأصلي كما هو، ولا يُوسَّع القاموس البالغ 84 ألف رمز.
تُضاف فوق الحالات المخفية الجاهزة للمرمّز عنصران:
- تجميع بالانتباه متعدد الرؤوس (Multi-head attention pooling) بأربعة رؤوس بدل حساب المتوسط البسيط. يتعلم النموذج بنفسه وزن الكلمات في النص: فالكلمات المهمة، مثل «لم»، تحصل على وزن أكبر. وتُحسب القيمة النهائية بمتوسط مخرجات الرؤوس.
- إسقاط خطي 312 → 768. يلزم أثناء التدريب لمقارنة الطالب بالمعلّم في فضائه. وبعد التدريب يمكن إبقاء الإسقاط أو تعطيله: فالأبعاد الـ312 تعطي حجمًا أصغر وسرعة أعلى.
لا يُطبَّق Whitening، أي «التمليس» القسري لفضاء المتجهات، في النموذج الرئيسي: يتوقع المؤلف أن التدريب التبايني نفسه سيقرّب التوزيع من التوزيع المتجانس. وللحالة التي يختلف فيها نص المستخدم كثيرًا عن نصوص التدريب، تتوفر دالة اختيارية هي fit_domain().
يجري التدريب على مرحلتين. في Phase A يكون المرمّز مجمّدًا ولا يتعلم إلا الرأس الجديد، محاولًا أن تشبه متجهاته متجهات المعلّم. وفي Phase B تُفكّ الطبقتان العلويتان وتُمزج مهمتان بحصص متساوية: InfoNCE (تمييز الإجابة الصحيحة من الخاطئة) والتقطير (محاكاة المعلّم). والبيانات هي 243 412 نصًّا من ويكيبيديا ومدوّنة نصوص علم النفس بعد حذف التكرارات، إضافة إلى 99 999 ثلاثية من deepvk/ru-HNP: استعلام وخمسة نصوص مناسبة وخمسة نصوص «صعبة» غير مناسبة.
ما الفائدة هنا للممارس
أولًا، الأهداف قابلة للقياس مسبقًا. التشابه مع المعلّم بعد Phase A لا يقل عن 90%، والنهائي لا يقل عن 85%. ودقة البحث على الأمثلة السلبية الصعبة لا تقل عن 97%، مع أن turbo يبدأ أصلًا من 96.8%. أما في إزالة التكرار فالمعيار تطبيقي: تقع في الحذف التلقائي بضعة أزواج لا عشرات الآلاف. وفي التجميع، يجب أن تكون نسبة المسافات داخل العناقيد وبينها أعلى من الواحد بوضوح.
ثانيًا، النتيجة النهائية معبّأة أداةً عملية: مجلد بحجم 120 ميغابايت تقريبًا (الأوزان وحدها 117.8 ميغابايت) فيه الصنف SemanticEmbedder الذي يوفّر encode وsearch وdedup وcluster وfit_domain. ويُقارَن الطالب وturbo والمعلّم على مجموعة خارجية هي ru-paraphrase-NMT-Leipzig (5000 زوج) وعلى ثلاث مهام عملية.
وهناك تحفظات. يحذّر المؤلف بصراحة بأنه ليس مبرمجًا، وأن الشيفرة كلها كتبها DeepSeek، فيما تولّى هو التنقيح وتصحيح الأخطاء. وجُمعت النصوص من ملاحظات أثناء العمل، ولذلك تبدو خشنة في بعض المواضع. أما أرقام الجودة فلن تظهر إلا في الأجزاء التالية، ولا يجوز نقلها إلى مجالات أخرى دون تحقق.
بوصفها دليلًا منهجيًا، تبدو السلسلة مفيدة: فهي تبيّن كيف يُبنى نموذج روسي خفيف للعمل على CPU، دون البدء من الصفر ودون الاعتماد على مقياس واحد.
- 22 نوفمبر 2026أحد قدامى DeepSeek يفتح شيفرة Linger: وكيل ذكاء اصطناعي محلي تجيب نماذجه أسرع بما يصل إلى 5 أضعاف
- 22 نوفمبر 2026Linger يشغّل وكيل ذكاء اصطناعي على Mac بذاكرة 16 غيغابايت دون رسوم للرموز ويعد بتسريع يصل إلى 5 أضعاف
- 22 نوفمبر 2026منحة ياندكس تتحول إلى محرك لنماذج LLM: نموذج 35B على RTX 2080 Ti أسرع بثلاثة أضعاف من llama.cpp
- 22 نوفمبر 2026قاضيان من الذكاء الاصطناعي في اختبار قانوني لـ15 نموذجًا لغويًا يتحيزان لنماذج شركتيهما: انحياز بمقدار 0,04 نقطة من أصل 1
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول ما المشكلة التي يحلها المشروع؟
المعلّم هو DeepPavlov/rubert-base-cased-sentence: 180 مليون معامل و12 طبقة ومتجهات بأبعاد 768. النموذج عالي الجودة لكنه بطيء على CPU، وله عيبان معروفان. الأول «العمى تجاه النفي». فهو لا يميّز جيدًا بين عبارتي «وجد عملًا» و«لم يجد عملًا»، مع أن المعنى متعاكس. وهذا مزعج في إزالة التكرار والبحث، إذ سيعدّ النظام هذه النصوص شبه متطابقة. الثاني هو اللاتناحي (anisotropy). تنضغط متجهات جميع النصوص داخل مخروط ضيق، فيخرج تشابه جيب التمام (مقياس لقرب المتجهات) مرتفعًا لأي نصين.
ما أبرز التفاصيل حول كيف بُني الطالب؟
اعتُمد أساسًا نموذج rubert-tiny-turbo، وهو نسخة من rubert-tiny2 جرى تدريبها المسبق بأسلوب تبايني (يُدرَّب النموذج على تقريب النصوص المتشابهة وإبعاد غير المتشابهة)، ولذلك تكون الدلالات أفضل عند نقطة البداية. يبقى المقطّع اللغوي (tokenizer) الأصلي كما هو، ولا يُوسَّع القاموس البالغ 84 ألف رمز. تُضاف فوق الحالات المخفية الجاهزة للمرمّز عنصران: تجميع بالانتباه متعدد الرؤوس (Multi-head attention pooling) بأربعة رؤوس بدل حساب المتوسط البسيط.
ما أبرز التفاصيل حول ما الفائدة هنا للممارس؟
أولًا، الأهداف قابلة للقياس مسبقًا. التشابه مع المعلّم بعد Phase A لا يقل عن 90%، والنهائي لا يقل عن 85%. ودقة البحث على الأمثلة السلبية الصعبة لا تقل عن 97%، مع أن turbo يبدأ أصلًا من 96.8%. أما في إزالة التكرار فالمعيار تطبيقي: تقع في الحذف التلقائي بضعة أزواج لا عشرات الآلاف. وفي التجميع، يجب أن تكون نسبة المسافات داخل العناقيد وبينها أعلى من الواحد بوضوح.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.