Raspberry Pi 5 بلا شبكة: حزمة معرفة مسمومة وموقّعة تجتاز جميع الفحوص

ماذا يحدث لمساعد ذكاء اصطناعي محلي يعمل على جهاز بلا شبكة، ومع ذلك لا بد من الوثوق به؟ اختبر الباحثان جورجيوس فيريدزاكيس وألكسندروس باباسبيريديس هذا السؤال على Raspberry Pi 5: نظام RAG محلي بالكامل في ظل عزل شبكي، وثلاثة أحجام من Qwen2.5 (1.5B و3B و7B)، وثلاثة أحجام للسياق، و300 سؤال من SQuAD 2.0. والخلاصة أن بعض آليات الحماية تعمل بشكل شبه مثالي، أما أبرز وسائل الحماية، أي التوقيع الرقمي، فتتبين أنها غير كافية.

خمسة أوضاع اتصال وحزم معرفة بدلاً من السحابة

تفترض معظم عمليات نشر الذكاء الاصطناعي التوليدي في إنترنت الأشياء (IoT) أن السحابة في متناول اليد. أما الأجهزة الفعلية فتعمل غالباً باتصال متقطع، أو في بيئات مغلقة، أو بلا اتصال إطلاقاً. ولمعالجة ذلك اقترح المؤلفان مقياساً للاتصال من C0 إلى C4، وتصنيفاً لآليات الثقة في مرحلة الاستدلال (inference)، وقناة تحديث للأوضاع المنقطعة هي حزم معرفة موقّعة ومُرقَّمة الإصدارات. يتلقى الجهاز الحزمة الجديدة ويتحقق منها، ثم يربطها فقط بعد ذلك بقاعدة البيانات التي يستخرج منها النموذج سياقه.

أين تنجح الثقة وأين تفشل

الآلية الأولى بوابة تقيّم صلة المقاطع المستخرجة بالسؤال، وقد جرت معايرتها تجريبياً. تلتقط هذه البوابة بشكل شبه مثالي الاستعلامات التي لا وجود لها في المدوّنة أصلاً: AUROC يبلغ 0,97. وأداؤها أضعف بوضوح مع الأسئلة غير القابلة للإجابة ضمن موضوع مألوف، إذ يبلغ AUROC نحو 0,68. فهذه الأسئلة تشبه وثائق المدوّنة، ولا يمكن تمييزها عن الأسئلة العادية بدرجة البحث.

الآلية الثانية مدقّق حتمي (deterministic) لمخرجات النموذج. يحوّل هذا المدقّق الإجابات «المعوجّة» إلى رفض صريح، ولم يسلب النموذج في الوقت نفسه أي إجابة صحيحة. أما النموذج المدقّق المبني على NLI، الذي جرّبه المؤلفان أيضاً، فلم يضف إلا القليل. وفي نموذج 7B، تطابقت 96% من الإجابات ذات المضمون على الأسئلة الموسومة «غير قابلة للإجابة» مع مقاطع مُطبَّعة من الفقرات المستخرجة. أي أن النموذج لا يختلق، بل يأخذ نصاً من السياق حتى حين لا تكون الإجابة فيه رسمياً.

التوقيع لا يساوي الحقيقة

يتناول الجزء الأشد صرامة في الدراسة التحديثات. فالفحوص التي تعتمد على التوقيع والتجزئة وحدهما قبلت 6 من 9 هجمات: الرجوع إلى إصدار أقدم، وإعادة الإرسال، والحزمة منتهية الصلاحية، والمفاتيح الملغاة، وعدم التوافق مع النموذج. أما التحقق متعدد الطبقات فرفض الهجمات التسع كلها في نحو 4,5 مللي ثانية.

لكن حزمة مسمومة بتوقيع صالح اجتازت جميع الفحوص، وحرمت النموذج من الإجابات الصحيحة على الأسئلة المستهدفة الثلاثين كلها. ويصوغ المؤلفان ذلك هكذا: السلامة (integrity) تثبت المصدر لا الصحة. ولذلك يجب ضمان الثقة بالمحتوى لدى الناشر قبل التوقيع، لا على الجهاز. وقد أُجري هذا الاختبار على 3B فقط، ويبقى سلوك 7B مسألة مفتوحة: ففي التجربة الرئيسة كان يرفض الإجابة عن الأسئلة غير القابلة للإجابة بوتيرة أكبر.

أبرز أرقام الدراسة

• المنصة: Raspberry Pi 5 بذاكرة 16 GB، والشبكة معزولة
• النماذج: Qwen2.5 بأحجام 1.5B و3B و7B؛ وثلاثة أحجام للسياق
• البيانات: 300 سؤال من SQuAD 2.0
• بوابة درجة الاسترجاع: AUROC يبلغ 0,97 للاستعلامات خارج المدوّنة، و0,68 للأسئلة غير القابلة للإجابة ضمن الموضوع
• المدقّق الحتمي للمخرجات: لا إجابات صحيحة مفقودة
• مدقّق NLI: إسهام محدود
• نموذج 7B: تطابقت 96% من الإجابات ذات المضمون على الأسئلة غير القابلة للإجابة مع مقاطع من الفقرات
• 3B مقابل 7B: النسبة نفسها من الإجابات المحتوية على المرجع، مع زمن استجابة وطاقة مقدَّرة أقل من النصف؛ ويستغرق الاستعلام على 3B نحو 22 ثانية
• ذروة الذاكرة المقيمة لحظة اكتمال الاستعلام: 6,3 / 9,4 / 13,6 GiB للنماذج 1.5B / 3B / 7B
• الهجمات على التحديثات: التوقيع والتجزئة مرّرا 6 من 9، والتحقق متعدد الطبقات رفض 9 من 9 في نحو 4,5 مللي ثانية
• الحزمة المسمومة الموقّعة: أفسدت الإجابات الصحيحة على 30 من 30 هدفاً

ما الذي ينبغي أن يستخلصه المهندس

من الأجدى للأجهزة العاملة دون اتصال اعتماد 3B بدلاً من 7B: فالجودة من حيث احتواء الإجابة على المرجع واحدة، بينما زمن الاستجابة واستهلاك الطاقة أقل بمرتين. والمدقّق الحتمي للمخرجات رخيص، ويستحق التركيب فوراً. أما التحديثات فتحتاج إلى عدّاد إصدارات أحادي الاتجاه، ومدة صلاحية، وإلغاء للمفاتيح، وفحص توافق مع النموذج؛ فالتوقيع وحده لا يكفي.

وتبقى أسئلة مفتوحة: يقرّ المؤلفان بأن حامل المفتاح والرجوع المصرّح به إلى حزمة معروفة بسلامتها غير مغطّيين، وبأنهما لم يجدا ملف تعريف تحديثات جاهزاً خاصاً بـ RAG، وبأن مفتاح التجربة وُلّد على الجهاز نفسه. ويقترح المشاركون في النقاش تشغيل مجموعة ثابتة من أسئلة المراقبة قبل التحويل إلى الحزمة الجديدة. والوقت متاح لذلك: فتضمين (embedding) الحزمة على Pi يستغرق نحو 29 دقيقة.

ويمكن إعادة إنتاج جميع الأرقام بأمر واحد، وقد نُشرت الشيفرة والمخرجات لكل استعلام.