ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

تعليم RuBERT الاستفادة من الرسم البياني المعرفي: متجهات تُحسب مسبقًا دون المساس بآلية الانتباه

يرى RuBERT الكلمات المتجاورة، لكنه لا يعرف أن «الانحدار التدرجي» نوع من التحسين، فيرتبك أمام المصطلحات العلمية النادرة. يقترح كاتب التحليل على Habr حساب متجهات المفاهيم مسبقًا من الرسم البياني المعرفي (قاعدة تسجّل الروابط بين المصطلحات)، ثم دمجها مع متجه RuBERT قبل تمريرها إلى مصنِّف صغير. وبهذا لا حاجة إلى نموذج K-BERT الثقيل الذي يصطدم بحد 512 رمزًا. لا توجد قياسات للجودة بعد، وسيتعيّن اختبار الفكرة على بياناتكم.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
تعليم RuBERT الاستفادة من الرسم البياني المعرفي: متجهات تُحسب مسبقًا دون المساس بآلية الانتباه
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1يضخّم K-BERT المدخل بالثلاثيات ويصطدم بحد 512 رمزًا
حقيقة رئيسية #2البحث عن المتجه بالمفتاح كلفته O(1) لكل مفهوم، ولا حاجة إلى الشبكات العصبية الرسومية
حقيقة رئيسية #3المصطلح المربوط خطأً ليس سوى متجه واحد ضمن المتوسط، لا عطلًا يصيب النص كله

تخيّل أنك تبني مصنِّفًا موضوعيًا لمكتبة علمية أو لقاعدة مقالات داخلية. تأخذ RuBERT، النسخة الروسية من نموذج اللغة BERT التي طورتها DeepPavlov، وتعيد تدريبه على نصوص موسومة. ما دامت المصطلحات بسيطة، تبقى الجودة مقبولة. لكن حين تصل مقالات متعددة التخصصات تحمل مفاهيم نادرة، يرتبك النموذج: فهو يعرف أي الكلمات تتجاور كثيرًا، لكنه لا يعرف أن «الانحدار التدرجي» نوع من التحسين. وقد نُشر على Habr تحليل لكيفية سدّ هذه الثغرة دون إعادة بناء النموذج بناءً ثقيلًا: تُحسب مسبقًا متجهات المفاهيم من رسم بياني معرفي (قاعدة تُسجَّل فيها الروابط بين المصطلحات صراحةً)، ثم تُضاف إلى مخرجات RuBERT. وهناك تنبيه مسبق: هذا تصميم لطريقة وليس تقريرًا عن تجارب. لا توجد في المادة أرقام للجودة، ولهذا لا ترد في العنوان أيضًا.

لماذا لا K-BERT ولا ERNIE

أبسط طريق هو دمج الرسم البياني المعرفي في المحوّل (Transformer) نفسه. يعثر K-BERT على الكيانات في النص، ويستخرج ثلاثياتها «الفاعل — العلاقة — المفعول»، ويلحقها بالجملة فتتحول إلى شجرة. ولكي لا يتشتت الانتباه بين فروع زائدة، تُضاف فهارس موضعية خاصة ومصفوفة رؤية.

ولهذا النهج ثلاث نقاط ضعف في المقالات العلمية الطويلة. أولًا، يطول التسلسل، بينما تنمو كلفة آلية الانتباه تربيعيًا. ثانيًا، ينفد حد BERT البالغ 512 رمزًا (نحو بضع فقرات من النص) أسرع، فيضطر المستخدم إلى اقتطاع سياق المقالة. ثالثًا، إذا رُبط المصطلح بعقدة خاطئة في الرسم البياني، ينتقل الخطأ عبر الانتباه ويفسد تمثيل النص كله.

أما ERNIE فيعمل بطريقة مختلفة: يحجب في مرحلة ما قبل التدريب كيانات مسمّاة كاملة، ويجلب أوصافها من قاعدة المعرفة. لكن بنية الرسم البياني تبقى خارج الصورة، فلا يرى النموذج التسلسل الهرمي ولا أنواع الروابط. يضاف إلى ذلك أن المصطلحات الضيقة كثيرًا ما لا يكون لها أي وصف موسوعي أصلًا.

كيف يُبنى المخطط الخفيف

الفكرة ألا نمسّ البنية الداخلية لنموذج اللغة. يُحوَّل الرسم البياني المعرفي إلى متجهات مسبقًا وخارج الخط، بإحدى الطرق. تعامل TransE العلاقة بوصفها إزاحة في الفضاء المتجهي. وتعاملها RotatE بوصفها دورانًا في فضاء مركّب، وتلتقط جيدًا الروابط المتناظرة والعكسية. أما node2vec فيعتمد على التجوال العشوائي في الرسم البياني ولا يتطلب أنواع روابط موسومة.

بعد ذلك يأتي مساران. الأول نصي: يُخرج RuBERT متجه الرمز الخاص [CLS] بحجم 768 رقمًا، ويحمل معنى الوثيقة كلها. والثاني رسومي: تعثر وحدة NER (التعرف على الكيانات المسمّاة) على المفاهيم العلمية في المقالة، ويُربط كل مفهوم بعقدة في الرسم البياني، وتُجلب متجهاتها من جدول مجمَّد بالمفتاح ثم يؤخذ متوسطها. وإذا لم يُعثر على أي مفهوم، يُستعاض عنها بمتجه صفري، فيعتمد المصنِّف على النص وحده.

يُدمج المتجهان بالضم ويدخلان في مصنِّف MLP صغير: طبقة مخفية من 256 عصبونًا، ودالة ReLU، وdropout بنسبة 0.3، وsoftmax في المخرج. وفي المثال المكتوب بـ PyTorch، يقتصر الجزء الرسومي كله على nn.Embedding.from_pretrained(..., freeze=True) وبضعة أسطر لحساب المتوسط بقناع. ويجري التدريب بالإنتروبيا المتقاطعة عبر المُحسِّن AdamW. ويتيح هذا الدمج على مستوى السمات الجاهزة، لا البيانات الخام ولا الإجابات النهائية، أن يتعلم المصنِّف التفاعل بين السياق وبنية الرسم البياني.

ما الذي يمنحه عمليًا وأين المحاذير

الجانب الاقتصادي بسيط. كلفة البحث عن المتجه بالمفتاح O(1) لكل مفهوم، أي لا تعتمد على حجم الرسم البياني. ولا حاجة إلى شبكات عصبية رسومية ثقيلة أثناء التشغيل، ولا تتغير آلية الانتباه. ولا تُستهلك رموز على المعرفة، لذا لا يتأثر طول المدخل ولا السرعة تأثرًا ملحوظًا. والمتانة أفضل أيضًا: المصطلح المربوط خطأً ليس سوى متجه واحد من بين متجهات كثيرة في المتوسط، لا سياقًا مسمومًا.

أما المحاذير فكثيرة. أولًا، يعتمد كل شيء على جودة NER وعلى ربط المصطلحات بالعقد: ومن دونها لن يضيف الرسم البياني شيئًا. ثانيًا، يلزم رسم بياني جاهز يغطي مجالكم، وإلا حصلت معظم المقالات على متجه صفري. ثالثًا، حد BERT البالغ 512 رمزًا لم يختفِ: فستظل المقالات الطويلة بحاجة إلى تقطيعها إلى مقاطع، أو الاكتفاء بالعنوان مع الملخص. رابعًا، يمحو حساب المتوسط ترتيب المصطلحات وأهميتها، وقد يضيع المفهوم الرئيسي بين مفاهيم ثانوية.

يخطط الكاتب لمقارنة الطريقة بمقياس Macro F1 (مقياس حساس للفئات النادرة عند اختلال توازن البيانات)، وكذلك بمقياس Micro F1 وaccuracy وبالميلي ثانية للوثيقة الواحدة. أما خطوط الأساس فهي: TF-IDF مع الانحدار اللوجستي أو SVM، وRuBERT العادي، وK-BERT، وERNIE. ومعيار النجاح هو تحسّن Macro F1 مقارنةً بـ RuBERT العادي، مع سرعة أعلى من سرعة الهجائن الثقيلة.

الخلاصة العملية: إذا كانت لديكم أنطولوجيا أو رسم بياني للمجال، وNER يعمل، فيمكن تجميع هذا المخطط في يومين تقريبًا. قارنوه أولًا بـ RuBERT العادي على بياناتكم، وبعد ذلك فقط قرروا هل تحتاجون إلى الرسم البياني. حتى الآن هذه فرضية، ولن يمكن تصديقها إلا بعد قياساتكم الخاصة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول لماذا لا K-BERT ولا ERNIE؟

أبسط طريق هو دمج الرسم البياني المعرفي في المحوّل (Transformer) نفسه. يعثر K-BERT على الكيانات في النص، ويستخرج ثلاثياتها «الفاعل — العلاقة — المفعول»، ويلحقها بالجملة فتتحول إلى شجرة. ولكي لا يتشتت الانتباه بين فروع زائدة، تُضاف فهارس موضعية خاصة ومصفوفة رؤية. ولهذا النهج ثلاث نقاط ضعف في المقالات العلمية الطويلة. أولًا، يطول التسلسل، بينما تنمو كلفة آلية الانتباه تربيعيًا. ثانيًا، ينفد حد BERT البالغ 512 رمزًا (نحو بضع فقرات من النص) أسرع، فيضطر المستخدم إلى اقتطاع سياق المقالة.

ما أبرز التفاصيل حول كيف يُبنى المخطط الخفيف؟

الفكرة ألا نمسّ البنية الداخلية لنموذج اللغة. يُحوَّل الرسم البياني المعرفي إلى متجهات مسبقًا وخارج الخط، بإحدى الطرق. تعامل TransE العلاقة بوصفها إزاحة في الفضاء المتجهي. وتعاملها RotatE بوصفها دورانًا في فضاء مركّب، وتلتقط جيدًا الروابط المتناظرة والعكسية. أما node2vec فيعتمد على التجوال العشوائي في الرسم البياني ولا يتطلب أنواع روابط موسومة. بعد ذلك يأتي مساران. الأول نصي: يُخرج RuBERT متجه الرمز الخاص [CLS] بحجم 768 رقمًا، ويحمل معنى الوثيقة كلها.

ما أبرز التفاصيل حول ما الذي يمنحه عمليًا وأين المحاذير؟

الجانب الاقتصادي بسيط. كلفة البحث عن المتجه بالمفتاح O(1) لكل مفهوم، أي لا تعتمد على حجم الرسم البياني. ولا حاجة إلى شبكات عصبية رسومية ثقيلة أثناء التشغيل، ولا تتغير آلية الانتباه. ولا تُستهلك رموز على المعرفة، لذا لا يتأثر طول المدخل ولا السرعة تأثرًا ملحوظًا. والمتانة أفضل أيضًا: المصطلح المربوط خطأً ليس سوى متجه واحد من بين متجهات كثيرة في المتوسط، لا سياقًا مسمومًا. أما المحاذير فكثيرة. أولًا، يعتمد كل شيء على جودة NER وعلى ربط المصطلحات بالعقد: ومن دونها لن يضيف الرسم البياني شيئًا.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…