تعليم RuBERT الاستفادة من الرسم البياني المعرفي: متجهات تُحسب مسبقًا دون المساس بآلية الانتباه
يرى RuBERT الكلمات المتجاورة، لكنه لا يعرف أن «الانحدار التدرجي» نوع من التحسين، فيرتبك أمام المصطلحات العلمية النادرة. يقترح كاتب التحليل على Habr حساب متجهات المفاهيم مسبقًا من الرسم البياني المعرفي (قاعدة تسجّل الروابط بين المصطلحات)، ثم دمجها مع متجه RuBERT قبل تمريرها إلى مصنِّف صغير. وبهذا لا حاجة إلى نموذج K-BERT الثقيل الذي يصطدم بحد 512 رمزًا. لا توجد قياسات للجودة بعد، وسيتعيّن اختبار الفكرة على بياناتكم.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
تخيّل أنك تبني مصنِّفًا موضوعيًا لمكتبة علمية أو لقاعدة مقالات داخلية. تأخذ RuBERT، النسخة الروسية من نموذج اللغة BERT التي طورتها DeepPavlov، وتعيد تدريبه على نصوص موسومة. ما دامت المصطلحات بسيطة، تبقى الجودة مقبولة. لكن حين تصل مقالات متعددة التخصصات تحمل مفاهيم نادرة، يرتبك النموذج: فهو يعرف أي الكلمات تتجاور كثيرًا، لكنه لا يعرف أن «الانحدار التدرجي» نوع من التحسين. وقد نُشر على Habr تحليل لكيفية سدّ هذه الثغرة دون إعادة بناء النموذج بناءً ثقيلًا: تُحسب مسبقًا متجهات المفاهيم من رسم بياني معرفي (قاعدة تُسجَّل فيها الروابط بين المصطلحات صراحةً)، ثم تُضاف إلى مخرجات RuBERT. وهناك تنبيه مسبق: هذا تصميم لطريقة وليس تقريرًا عن تجارب. لا توجد في المادة أرقام للجودة، ولهذا لا ترد في العنوان أيضًا.
لماذا لا K-BERT ولا ERNIE
أبسط طريق هو دمج الرسم البياني المعرفي في المحوّل (Transformer) نفسه. يعثر K-BERT على الكيانات في النص، ويستخرج ثلاثياتها «الفاعل — العلاقة — المفعول»، ويلحقها بالجملة فتتحول إلى شجرة. ولكي لا يتشتت الانتباه بين فروع زائدة، تُضاف فهارس موضعية خاصة ومصفوفة رؤية.
ولهذا النهج ثلاث نقاط ضعف في المقالات العلمية الطويلة. أولًا، يطول التسلسل، بينما تنمو كلفة آلية الانتباه تربيعيًا. ثانيًا، ينفد حد BERT البالغ 512 رمزًا (نحو بضع فقرات من النص) أسرع، فيضطر المستخدم إلى اقتطاع سياق المقالة. ثالثًا، إذا رُبط المصطلح بعقدة خاطئة في الرسم البياني، ينتقل الخطأ عبر الانتباه ويفسد تمثيل النص كله.
أما ERNIE فيعمل بطريقة مختلفة: يحجب في مرحلة ما قبل التدريب كيانات مسمّاة كاملة، ويجلب أوصافها من قاعدة المعرفة. لكن بنية الرسم البياني تبقى خارج الصورة، فلا يرى النموذج التسلسل الهرمي ولا أنواع الروابط. يضاف إلى ذلك أن المصطلحات الضيقة كثيرًا ما لا يكون لها أي وصف موسوعي أصلًا.
كيف يُبنى المخطط الخفيف
الفكرة ألا نمسّ البنية الداخلية لنموذج اللغة. يُحوَّل الرسم البياني المعرفي إلى متجهات مسبقًا وخارج الخط، بإحدى الطرق. تعامل TransE العلاقة بوصفها إزاحة في الفضاء المتجهي. وتعاملها RotatE بوصفها دورانًا في فضاء مركّب، وتلتقط جيدًا الروابط المتناظرة والعكسية. أما node2vec فيعتمد على التجوال العشوائي في الرسم البياني ولا يتطلب أنواع روابط موسومة.
بعد ذلك يأتي مساران. الأول نصي: يُخرج RuBERT متجه الرمز الخاص [CLS] بحجم 768 رقمًا، ويحمل معنى الوثيقة كلها. والثاني رسومي: تعثر وحدة NER (التعرف على الكيانات المسمّاة) على المفاهيم العلمية في المقالة، ويُربط كل مفهوم بعقدة في الرسم البياني، وتُجلب متجهاتها من جدول مجمَّد بالمفتاح ثم يؤخذ متوسطها. وإذا لم يُعثر على أي مفهوم، يُستعاض عنها بمتجه صفري، فيعتمد المصنِّف على النص وحده.
يُدمج المتجهان بالضم ويدخلان في مصنِّف MLP صغير: طبقة مخفية من 256 عصبونًا، ودالة ReLU، وdropout بنسبة 0.3، وsoftmax في المخرج. وفي المثال المكتوب بـ PyTorch، يقتصر الجزء الرسومي كله على nn.Embedding.from_pretrained(..., freeze=True) وبضعة أسطر لحساب المتوسط بقناع. ويجري التدريب بالإنتروبيا المتقاطعة عبر المُحسِّن AdamW. ويتيح هذا الدمج على مستوى السمات الجاهزة، لا البيانات الخام ولا الإجابات النهائية، أن يتعلم المصنِّف التفاعل بين السياق وبنية الرسم البياني.
ما الذي يمنحه عمليًا وأين المحاذير
الجانب الاقتصادي بسيط. كلفة البحث عن المتجه بالمفتاح O(1) لكل مفهوم، أي لا تعتمد على حجم الرسم البياني. ولا حاجة إلى شبكات عصبية رسومية ثقيلة أثناء التشغيل، ولا تتغير آلية الانتباه. ولا تُستهلك رموز على المعرفة، لذا لا يتأثر طول المدخل ولا السرعة تأثرًا ملحوظًا. والمتانة أفضل أيضًا: المصطلح المربوط خطأً ليس سوى متجه واحد من بين متجهات كثيرة في المتوسط، لا سياقًا مسمومًا.
أما المحاذير فكثيرة. أولًا، يعتمد كل شيء على جودة NER وعلى ربط المصطلحات بالعقد: ومن دونها لن يضيف الرسم البياني شيئًا. ثانيًا، يلزم رسم بياني جاهز يغطي مجالكم، وإلا حصلت معظم المقالات على متجه صفري. ثالثًا، حد BERT البالغ 512 رمزًا لم يختفِ: فستظل المقالات الطويلة بحاجة إلى تقطيعها إلى مقاطع، أو الاكتفاء بالعنوان مع الملخص. رابعًا، يمحو حساب المتوسط ترتيب المصطلحات وأهميتها، وقد يضيع المفهوم الرئيسي بين مفاهيم ثانوية.
يخطط الكاتب لمقارنة الطريقة بمقياس Macro F1 (مقياس حساس للفئات النادرة عند اختلال توازن البيانات)، وكذلك بمقياس Micro F1 وaccuracy وبالميلي ثانية للوثيقة الواحدة. أما خطوط الأساس فهي: TF-IDF مع الانحدار اللوجستي أو SVM، وRuBERT العادي، وK-BERT، وERNIE. ومعيار النجاح هو تحسّن Macro F1 مقارنةً بـ RuBERT العادي، مع سرعة أعلى من سرعة الهجائن الثقيلة.
الخلاصة العملية: إذا كانت لديكم أنطولوجيا أو رسم بياني للمجال، وNER يعمل، فيمكن تجميع هذا المخطط في يومين تقريبًا. قارنوه أولًا بـ RuBERT العادي على بياناتكم، وبعد ذلك فقط قرروا هل تحتاجون إلى الرسم البياني. حتى الآن هذه فرضية، ولن يمكن تصديقها إلا بعد قياساتكم الخاصة.
- 29 أكتوبر 2026مؤلف سلسلة على Habr يضغط نموذج تضمينات روسيًا من 180 إلى 29 مليون معامل
- 30 أبريل 2026IWE وOpenAI: كيف تحوّل ملاحظات markdown إلى رسم بياني للمعرفة لوكلاء الذكاء الاصطناعي
- 29 أكتوبر 2026نموذج روسي قوي يرى أن «أحب القطط» و«لا أحب القطط» متشابهتان بنسبة 70%
- 19 يوليو 2026مطوّر يبني مرشّح بريد مزعج محليًا باستخدام نموذج ruBert-base-antispam ودون VPN
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول لماذا لا K-BERT ولا ERNIE؟
أبسط طريق هو دمج الرسم البياني المعرفي في المحوّل (Transformer) نفسه. يعثر K-BERT على الكيانات في النص، ويستخرج ثلاثياتها «الفاعل — العلاقة — المفعول»، ويلحقها بالجملة فتتحول إلى شجرة. ولكي لا يتشتت الانتباه بين فروع زائدة، تُضاف فهارس موضعية خاصة ومصفوفة رؤية. ولهذا النهج ثلاث نقاط ضعف في المقالات العلمية الطويلة. أولًا، يطول التسلسل، بينما تنمو كلفة آلية الانتباه تربيعيًا. ثانيًا، ينفد حد BERT البالغ 512 رمزًا (نحو بضع فقرات من النص) أسرع، فيضطر المستخدم إلى اقتطاع سياق المقالة.
ما أبرز التفاصيل حول كيف يُبنى المخطط الخفيف؟
الفكرة ألا نمسّ البنية الداخلية لنموذج اللغة. يُحوَّل الرسم البياني المعرفي إلى متجهات مسبقًا وخارج الخط، بإحدى الطرق. تعامل TransE العلاقة بوصفها إزاحة في الفضاء المتجهي. وتعاملها RotatE بوصفها دورانًا في فضاء مركّب، وتلتقط جيدًا الروابط المتناظرة والعكسية. أما node2vec فيعتمد على التجوال العشوائي في الرسم البياني ولا يتطلب أنواع روابط موسومة. بعد ذلك يأتي مساران. الأول نصي: يُخرج RuBERT متجه الرمز الخاص [CLS] بحجم 768 رقمًا، ويحمل معنى الوثيقة كلها.
ما أبرز التفاصيل حول ما الذي يمنحه عمليًا وأين المحاذير؟
الجانب الاقتصادي بسيط. كلفة البحث عن المتجه بالمفتاح O(1) لكل مفهوم، أي لا تعتمد على حجم الرسم البياني. ولا حاجة إلى شبكات عصبية رسومية ثقيلة أثناء التشغيل، ولا تتغير آلية الانتباه. ولا تُستهلك رموز على المعرفة، لذا لا يتأثر طول المدخل ولا السرعة تأثرًا ملحوظًا. والمتانة أفضل أيضًا: المصطلح المربوط خطأً ليس سوى متجه واحد من بين متجهات كثيرة في المتوسط، لا سياقًا مسمومًا. أما المحاذير فكثيرة. أولًا، يعتمد كل شيء على جودة NER وعلى ربط المصطلحات بالعقد: ومن دونها لن يضيف الرسم البياني شيئًا.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.