نموذج روسي قوي يرى أن «أحب القطط» و«لا أحب القطط» متشابهتان بنسبة 70%
يحوّل التضمين (embedding) العبارة إلى مجموعة من الأرقام، كي يعثر البحث على النصوص المتقاربة في المعنى. يختار كاتب سلسلة على Habr أساسًا لنموذج روسي مدمج بحجم 29,4M معامل، ويختبر «المعلّم» الكبير من DeepPavlov. يرى هذا المعلّم أن «я люблю кошек» (أحب القطط) و«я не люблю кошек» (لا أحب القطط) متشابهتان بنسبة 70%، وأن «врач назначил» (الطبيب وصف) و«врач отменил лечение» (الطبيب ألغى العلاج) متشابهتان بنسبة 65,5%. لذلك يجب اختبار النموذج على حالات النفي مسبقًا قبل استخدامه في البحث وإزالة التكرار في المجالين الطبي والقانوني.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
تخيّل نظام بحث في قاعدة وثائق يعدّ عبارتي «врач назначил лечение» (الطبيب وصف العلاج) و«врач отменил лечение» (الطبيب ألغى العلاج) شبه متطابقتين. هذا هو سلوك نموذج التضمينات الروسي القوي الذي اتخذه كاتب سلسلة على Habr «معلّمًا». يحوّل التضمين النص إلى متجه، أي مجموعة من الأرقام، ويُحتسب التشابه بين عبارتين بوصفه جيب تمام الزاوية بين المتجهين: 100% (1,0) تعني «المعنى متطابق»، وقرابة 0% تعني «لا شيء مشترك». أعطى المعلّم العبارتين «я люблю кошек» (أحب القطط) و«я не люблю кошек» (لا أحب القطط) القيمة 0,702، أي نحو 70% من التشابه، مع أن المعنى متضاد. هذا هو الجزء الأول من سلسلة من عشر مقالات عن ضغط نموذج إلى 29,4 مليون معامل.
ماذا يفعل الكاتب ولماذا
تُسمّى الطريقة التقطير (distillation): يتعلم «طالب» صغير محاكاة سلوك «معلّم» كبير، ليعمل بسرعة على معالج عادي دون GPU. ويوضح الكاتب منذ البداية أنه ليس مبرمجًا، وأن الشيفرة كلها كتبتها الشبكة العصبية DeepSeek، بينما اقتصر دوره على التنقيح وإصلاح الأخطاء. البيئة قياسية: PyTorch لـCPU وtransformers وsentence-transformers. سينزّل التشغيل الأول نحو 940 ميغابايت (معلّم DeepPavlov نحو 700 ميغابايت، وturbo وtiny2 نحو 120 ميغابايت لكل منهما)، أما السكربت نفسه فينفَّذ في دقيقتين.
المرشحون ثلاثة. النموذجان الأولان، cointegrated/rubert-tiny2 وsergeyzh/rubert-tiny-turbo، لكل منهما 3 طبقات و312 بُعدًا للمتجه و29,4M معامل. الفرق أن turbo دُرّب إضافةً على مقارنة النصوص (التدريب التبايني contrastive). أما الثالث، DeepPavlov/rubert-base-cased-sentence، فله 12 طبقة و768 بُعدًا، ويؤدي دور المعلّم.
كيف قورنت النماذج
يُسمّى المقياس gap أي الفجوة: متوسط التقارب في أزواج المعنى المتطابق مطروحًا منه متوسط التقارب في أزواج المعنى المختلف. وكلما اتسعت الفجوة، فصل النموذج المعاني بصورة أفضل. مجموعة الاختبار صغيرة جدًا، 10 أزواج فقط: 4 إعادات صياغة («кошка сидит на стуле» و«кот уселся на стуле»)، و3 أزواج فيها نفي أو فعل معاكس، و3 أزواج في موضوعات مختلفة مثل البورش ونظرية فيثاغورس. ويؤكد الكاتب أن هذا استطلاع أولي لاختيار الطبقة وطريقة دمج الرموز (tokens) في متجه واحد (mean وCLS وmax وlast-token)، وليس تقييمًا للجودة. وسيقيس الجودة لاحقًا على 590 زوجًا للتحقق ومجموعة خارجية من 5000 زوج.
جاءت أفضل التركيبات كالآتي:
- tiny2: الطبقة L2 مع CLS، فجوة 0,064؛
- turbo: الطبقة L2 مع المتوسط على الرموز، فجوة 0,125؛
- DeepPavlov: الطبقة L11 مع المتوسط، فجوة 0,329.
يتفوق turbo على tiny2 بنحو الضعف مع البنية نفسها: ساعده التدريب المسبق على مقارنة النصوص، في حين يبقى tiny2 نموذجًا أساسيًا دُرّب على تخمين الكلمات المحذوفة. والمعلّم أقوى من turbo بنحو 2,5 مرة. ولا يهدف الكاتب إلى مجاراته في الدلالة المطلقة. يكفي الاقتراب منه بما يجعل البحث وحذف التكرارات يعملان.
العمى تجاه النفي
الاكتشاف الرئيسي ليس الحجم، بل أن المعلّم يكاد لا يلاحظ كلمة «не» (لا). هذا التشابه في الأزواج ذات المعنى المتضاد:
- «он устроился на работу» (التحق بالعمل) و«он не устроился на работу» (لم يلتحق بالعمل) — 0,578 (نحو 58%)؛
- «я люблю кошек» (أحب القطط) و«я не люблю кошек» (لا أحب القطط) — 0,702 (نحو 70%)؛
- «врач назначил лечение» (الطبيب وصف العلاج) و«врач отменил лечение» (الطبيب ألغى العلاج) — 0,655 (نحو 66%).
يفسّر الكاتب ذلك بأن النموذج الأساسي تعلّم استعادة الكلمات المحذوفة، فيتبدد أثر كلمة قصيرة واحدة. ويضعفه المتوسط على الرموز أكثر. وعمليًا يُفعَّل حدّ إزالة التكرار خطأً: تُعدّ السجلات المتضادة المعنى نسخًا مكررة. كما يرفع البحث «المعاكس» إلى أعلى النتائج. وفي العلاج النفسي والقانون والطب يشكّل ذلك خطرًا: فـ«препарат назначен» (وُصف الدواء) و«препарат отменён» (أُلغي الدواء) لا يجوز دمجهما.
اختار الكاتب turbo طالبًا. فجوته أعلى أصلًا، لذا يكفي تكييف الدلالة دون تعليمها من الصفر. يُؤخذ المُشفِّر (encoder) فقط، ويُستبدل المتوسط الأصلي بآلية انتباه خاصة (Attention Pooling)، وتبقى التمثيلات المدرَّبة على المقارنة. وينوي الكاتب كبح النفي بالتدريب التبايني على مجموعة من الأزواج الصعبة.
ما الذي يمكنك الاستفادة منه
قبل اختيار المُضمِّن، ابنِ مجموعتك المصغّرة من 10–20 زوجًا: نفي وأضداد واستبدال فعل. يستغرق ذلك نحو ساعة ويكشف المشكلة قبل الإنتاج. ولا تعدّ النموذج الكبير الأفضل تلقائيًا: فقد تكون له نقطة عمياء تجاه «не» أيضًا.
القيود واضحة. عشرة أزواج قليلة جدًا للحكم على الجودة، والكاتب نفسه يقرّ بذلك. والأرقام تخص مجموعته ولا يلزم أن تتكرر على بياناتك. أما حصيلة التقطير فلن تظهر إلا في الأجزاء القادمة، فالحكم عليها مبكر. لكن طريقة اختيار الأساس شفافة، وفحص النفي سيفيد في أي مشروع يعتمد على البحث الدلالي.
- 21 نوفمبر 2026MLCommons تبدأ قياس واجهات الذكاء الاصطناعي تحت حمل حقيقي: 7 قياسات للوكلاء
- 21 نوفمبر 2026عبر OpenRouter ردّت نسخة DeepSeek مخترَقة لثلاثة أيام: انخفضت نسبة الرفض من 83–98% إلى 1%
- 21 نوفمبر 2026أليس وChatGPT وPerplexity تستشهد بـ34 منصة فقط من أصل 309 منصات لنشر المقالات
- 21 نوفمبر 2026CoreWeave تقيس أداء Vera Rubin: ما يصل إلى 10 أضعاف عدد الرموز لكل ميغاواط مقارنة بـ GB200
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول ماذا يفعل الكاتب ولماذا؟
تُسمّى الطريقة التقطير (distillation): يتعلم «طالب» صغير محاكاة سلوك «معلّم» كبير، ليعمل بسرعة على معالج عادي دون GPU. ويوضح الكاتب منذ البداية أنه ليس مبرمجًا، وأن الشيفرة كلها كتبتها الشبكة العصبية DeepSeek، بينما اقتصر دوره على التنقيح وإصلاح الأخطاء. البيئة قياسية: PyTorch لـCPU وtransformers وsentence-transformers. سينزّل التشغيل الأول نحو 940 ميغابايت (معلّم DeepPavlov نحو 700 ميغابايت، وturbo وtiny2 نحو 120 ميغابايت لكل منهما)، أما السكربت نفسه فينفَّذ في دقيقتين. المرشحون ثلاثة.
ما أبرز التفاصيل حول كيف قورنت النماذج؟
يُسمّى المقياس gap أي الفجوة: متوسط التقارب في أزواج المعنى المتطابق مطروحًا منه متوسط التقارب في أزواج المعنى المختلف. وكلما اتسعت الفجوة، فصل النموذج المعاني بصورة أفضل. مجموعة الاختبار صغيرة جدًا، 10 أزواج فقط: 4 إعادات صياغة («кошка сидит на стуле» و«кот уселся на стуле»)، و3 أزواج فيها نفي أو فعل معاكس، و3 أزواج في موضوعات مختلفة مثل البورش ونظرية فيثاغورس. ويؤكد الكاتب أن هذا استطلاع أولي لاختيار الطبقة وطريقة دمج الرموز (tokens) في متجه واحد (mean وCLS وmax وlast-token)، وليس تقييمًا للجودة.
ما أبرز التفاصيل حول العمى تجاه النفي؟
الاكتشاف الرئيسي ليس الحجم، بل أن المعلّم يكاد لا يلاحظ كلمة «не» (لا). هذا التشابه في الأزواج ذات المعنى المتضاد: «он устроился на работу» (التحق بالعمل) و«он не устроился на работу» (لم يلتحق بالعمل) — 0,578 (نحو 58%)؛ «я люблю кошек» (أحب القطط) و«я не люблю кошек» (لا أحب القطط) — 0,702 (نحو 70%)؛ «врач назначил лечение» (الطبيب وصف العلاج) و«врач отменил лечение» (الطبيب ألغى العلاج) — 0,655 (نحو 66%). يفسّر الكاتب ذلك بأن النموذج الأساسي تعلّم استعادة الكلمات المحذوفة، فيتبدد أثر كلمة قصيرة واحدة.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.