ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

كيف تمنع وكيل الذكاء الاصطناعي من تجاوز حدود المهمة: الكود يتحقق من الخطة قبل إجراء أي تعديل على الموقع

طُلب تعديل صفحة واحدة في موقع على MODX، لكن وكيل الذكاء الاصطناعي قرر تغيير كتلة مشتركة (chunk)، فتغيّرت معها عشرات الصفحات الأخرى إلى جانب الصفحة المطلوبة. القرار معقول من الناحية التقنية، لكن لم يكن هناك إذن به. نقل المؤلف الرقابة من الموجِّه (prompt) إلى الكود: يحوّل المكوّن ChangeSet أفكار الوكيل إلى خطة ويفحصها قبل الكتابة، دون أن يغيّر بنفسه أي شيء في الموقع. لذلك فإن إبقاء حدود المهمة في يد فحوص برمجية أوثق من الاكتفاء بطلب ذلك في التعليمات.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
كيف تمنع وكيل الذكاء الاصطناعي من تجاوز حدود المهمة: الكود يتحقق من الخطة قبل إجراء أي تعديل على الموقع
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1نجحت عمليتا كتابة دون أي خطأ، لكن تعديل الأولى اختفى (lost update)
حقيقة رئيسية #2قبل الحفظ تُقارَن الوثيقة بأكملها، لا رقم المراجعة وحده
ترفض الدالة approve() الاستدعاءاتلا يمكن الوثوق بالسلسلة source="user"

تخيّل أنك تطلب من وكيل ذكاء اصطناعي تعديل نص في صفحة واحدة من موقعك، فيدرس بنية نظام إدارة المحتوى (CMS) ويقرر أن الأسهل هو تغيير كتلة مشتركة (تُسمى في MODX «chunk»). القرار صحيح من الناحية التقنية، لكن التعديل سيطال، إلى جانب الصفحة المطلوبة، عشرات الصفحات الأخرى المرتبطة بهذه الكتلة. ولم يمنح أحد إذنًا بذلك.

المطوّر الذي ربط الوكيل أولًا بـ MODX عبر MCP (البروتوكول الذي يحصل النموذج بموجبه على وصول إلى أدوات خارجية)، ثم نظّم عمله المستقل على مواقع حيّة، شرح كيف يعالج هذه المشكلة في مشروع Site Agent Runtime. الفكرة بسيطة: الوكيل يقترح، ولا يتحقق من اقتراحه هو بنفسه ولا الموجِّه، بل كود عادي. يُسمّى المكوّن الرئيسي ChangeSet.

يُعدّ خطة التغييرات ويفحصها ويثبّتها، لكنه لا يغيّر بنفسه أي شيء في الموقع.

النظام الكامل مغلق، غير أن المؤلف نشر ثلاثة مكوّنات منه (Task Manager وChangeSet وState Guard) على GitHub مع اختبارات آلية. وهناك أيضًا عرض تفاعلي: يُنفَّذ كود Python حقيقي مباشرة في المتصفح عبر Pyodide، ويمكن مشاهدة العمليات التي يسمح بها النظام وتلك التي يرفضها.

قرار الوكيل ليس مبرّرًا كافيًا لتغيير الموقع

فصل المؤلف بين ثلاث مراحل: اتخاذ القرارات، وإعداد الخطة، والتنفيذ. يصف TaskSpec المهمة والإجراءات المسموح بها. ويطابق Resolver بينها وبين كائنات محددة في الموقع. ويثبّت DecisionSet القرارات التقنية للوكيل. ثم يحوّل ChangeSet كل ذلك إلى خطة قابلة للفحص، تُسلَّم بعدها إلى Executor مستقل، أي المنفِّذ.

تربط الدالة bind_scope() كل عملية بالهدف الذي عيّنه Resolver، وتتحقق من نوع الكائن وحالته والإجراء المسموح به. إذا سُمح بتحديث مورد بينما يريد الوكيل حذفه، تُرفض العملية. والأمر نفسه يحدث إذا حاول المساس بكائن غريب عن المهمة. وإذا كان التعديل يمسّ عنصرًا تستخدمه عدة موارد، فلا بد من تأكيد صريح، أيًّا كان تقييم المخاطر الذي ذكره الوكيل نفسه.

كتابتان ناجحتان وتعديل واحد ضائع

تُخزَّن الوثائق في ملفات JSON: فمع العدد الصغير من المهام لا حاجة إلى قاعدة بيانات منفصلة. تتم الكتابة عبر ملف مؤقت مع flush وfsync وos.replace()، ويقوم التزامن على القفل fcntl.flock. يبدو ذلك موثوقًا. لكن إذا قرأت عمليتان المراجعة نفسها، وأعدّت كل منهما تعديلات مختلفة، ثم حفظتاهما بالتتابع، فستنجح الكتابتان دون أخطاء، لكن نتيجة الأولى ستختفي. هذه هي مشكلة lost update الكلاسيكية. الاستبدال الذري يحمي من ملف كُتب نصفه فقط، لكنه لا يحمي من الكتابة فوق بيانات قديمة.

لم يعتمد المؤلف قفلًا حصريًا يمتد طوال إعداد الخطة: فعملية واحدة كانت ستبطّئ سائر العمليات حتى حين لا تحتاج هي إلى التخزين. واختار بدلًا من ذلك التحكم المتفائل. تُعدّ الخطة دون قفل، وقبل الحفظ تُعاد قراءة الوثيقة وتُقارَن بما قُرئ في البداية. وإذا لم يتطابق الاثنان، يُصدر النظام خطأ «أعد التحميل وحاول مجددًا» بدلًا من الكتابة فوقه بصمت.

اضطر المؤلف إلى مقارنة الوثيقة كلها لا رقم المراجعة revision وحده. فالعملية seal() تنقل الخطة من الحالة draft إلى sealed، لكنها لا تزيد رقم المراجعة. وكان بوسع عملية تحمل نسخة قديمة من المسودة أن تمحو خطة سبق تثبيتها.

الاختبار العادي يكاد يكون عديم الجدوى في مثل هذه السباقات: فقد ينجح عشرات المرات والخلل قائم. في test_competing_writers_cannot_lose_revision يقرأ خيطان (thread) النسخة نفسها وينتظر كل منهما الآخر عند threading.Barrier. ثم يحاول كلاهما الحفظ، ويشترط الاختبار أن ينجح واحد فقط تمامًا، وأن يتلقى الآخر تعارضًا. هذان خيطان داخل عملية واحدة، لكنّ الاختبار يفحص دوال ChangeSet الحقيقية. ويحاكي اختبار منفصل حالة تثبيت الوثيقة بين القراءة والكتابة. وتجري الفحوص في GitHub Actions على Linux مع Python 3.10–3.13.

السلامة ليست هي الصلاحيات

بعد seal() لا تسمح الدالة set() العادية بتغيير المحتوى، وإلا لُفحصت خطة ونُفِّذت أخرى. تُجرى التصحيحات عبر amend(): تحفظ هذه الدالة السجل، وترفع رقم المراجعة، وتعيد الوثيقة إلى draft، وتلغي الموافقة السابقة. فإذا وافق المستخدم على تغيير ثلاثة موارد، فلن يرث المورد الرابع هذا الإذن.

تتحقق سلامة الخطة بتجزئة SHA-256 القانونية. تُقارَن قبل التثبيت بمحتوى المسودة، وتُعاد حسابها للوثيقة المثبّتة في الفحوص اللاحقة. يستبدل الاختبار test_frozen_payload_recalculated محتوى وثيقة مثبّتة، ويتأكد من أن الخطة اعتُبرت غير جاهزة للتنفيذ.

لكن التجزئة تدل على أن الوثيقة تغيّرت، لا على من غيّرها. فإذا استدعى الوكيل approve(source="user")، فهذه سلسلة نصية عادية يستطيع تمريرها بنفسه: أي أنه يقترح عملية خطرة ويعلن بنفسه أن المستخدم وافق عليها. لذلك ترفض approve() في النسخة المنشورة أي استدعاء، ولا يمكن تثبيت الخطط التي تتطلب موافقة عبر seal() بالالتفاف على ذلك. ولا توجد هنا قناة تأكيد موثوقة ومستقلة، ولا يتظاهر المؤلف بوجودها.

الخطة الصحيحة أيضًا قد تتقادم

حتى لو طابقت الخطة المهمة، وكانت مثبّتة، واجتازت فحص التجزئة، فقد يكون الموقع نفسه تغيّر أثناء الإعداد. قرأ الوكيل موردًا، وأعدّ تعديلًا، وثبّت ChangeSet، بينما استطاع شخص ما تغيير الكائن. لهذا تحفظ الخطة read_set: معلومات عن الكائنات الأصلية وبصماتها التحكمية، يُتحقق بها لاحقًا من حداثة البيانات.

والخلاصة العملية لمن يمنحون الوكلاء وصولًا إلى بيئة الإنتاج: يجب أن يضمن كود حتمي حدود المهمة وإصدارات الحالة والموافقات، لا طلبات مكتوبة في الموجِّه. وبعض هذه المشكلات، كالكتابة الضائعة، لا علاقة لها بالذكاء الاصطناعي أصلًا وتُحَل بانضباط هندسي عادي. تنبيه: المكوّنات المنشورة تجريبية للعرض، وليست مكتبة جاهزة لإدارة المواقع.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول قرار الوكيل ليس مبرّرًا كافيًا لتغيير الموقع؟

فصل المؤلف بين ثلاث مراحل: اتخاذ القرارات، وإعداد الخطة، والتنفيذ. يصف TaskSpec المهمة والإجراءات المسموح بها. ويطابق Resolver بينها وبين كائنات محددة في الموقع. ويثبّت DecisionSet القرارات التقنية للوكيل. ثم يحوّل ChangeSet كل ذلك إلى خطة قابلة للفحص، تُسلَّم بعدها إلى Executor مستقل، أي المنفِّذ. تربط الدالة bind_scope() كل عملية بالهدف الذي عيّنه Resolver، وتتحقق من نوع الكائن وحالته والإجراء المسموح به. إذا سُمح بتحديث مورد بينما يريد الوكيل حذفه، تُرفض العملية.

ما أبرز التفاصيل حول كتابتان ناجحتان وتعديل واحد ضائع؟

تُخزَّن الوثائق في ملفات JSON: فمع العدد الصغير من المهام لا حاجة إلى قاعدة بيانات منفصلة. تتم الكتابة عبر ملف مؤقت مع flush وfsync وos.replace()، ويقوم التزامن على القفل fcntl.flock. يبدو ذلك موثوقًا. لكن إذا قرأت عمليتان المراجعة نفسها، وأعدّت كل منهما تعديلات مختلفة، ثم حفظتاهما بالتتابع، فستنجح الكتابتان دون أخطاء، لكن نتيجة الأولى ستختفي. هذه هي مشكلة lost update الكلاسيكية. الاستبدال الذري يحمي من ملف كُتب نصفه فقط، لكنه لا يحمي من الكتابة فوق بيانات قديمة.

ما أبرز التفاصيل حول السلامة ليست هي الصلاحيات؟

بعد seal() لا تسمح الدالة set() العادية بتغيير المحتوى، وإلا لُفحصت خطة ونُفِّذت أخرى. تُجرى التصحيحات عبر amend(): تحفظ هذه الدالة السجل، وترفع رقم المراجعة، وتعيد الوثيقة إلى draft، وتلغي الموافقة السابقة. فإذا وافق المستخدم على تغيير ثلاثة موارد، فلن يرث المورد الرابع هذا الإذن. تتحقق سلامة الخطة بتجزئة SHA-256 القانونية. تُقارَن قبل التثبيت بمحتوى المسودة، وتُعاد حسابها للوثيقة المثبّتة في الفحوص اللاحقة.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…