Goodfire تطلق مراقبات «داخلية» لوكلاء الذكاء الاصطناعي أرخص من الإشراف بنموذج LLM

أطلقت Goodfire مراقبات لوكلاء الذكاء الاصطناعي تَعِد بالرقابة بجزء من السعر المعتاد. فبدلاً من نموذج لغوي ثانٍ يقرأ كل إجراء ينفذه الوكيل، ينظر النظام إلى الإشارات الداخلية للنموذج نفسه لحظة عمله. ولا يُستدعى الفحص المكلف إلا إذا أثار المشهد الشك. ولم يكشف الإعلان عن معامل محدد لخفض التكلفة، وعبارة الشركة هي «fraction of the cost».

كيف يعمل الإشراف «من الداخل»

يبدو الأسلوب القياسي حالياً لمراقبة الوكيل على النحو التالي: يكتب الوكيل الشيفرة، ويتنقل بين المواقع، ويستدعي الأدوات، وفي الوقت نفسه يقرأ نموذج LLM ثانٍ السجل الكامل ويصدر حكمه. المخطط واضح، لكن الفاتورة ترتفع خطياً. فكل رمز (توكن) من إجراءات الوكيل يُدفع ثمنه مرتين: مرة بوصفه عملاً، ومرة بوصفه فحصاً. وإذا كان هناك مئات الوكلاء يعملون لساعات، يصبح الإشراف بنداً مستقلاً في الميزانية.

تعمل Goodfire في مجال قابلية التفسير، أي دراسة ما يحدث داخل الشبكة العصبية بين المدخلات والمخرجات. وهنا تحوّلت هذه المعرفة العلمية إلى منتج. يقرأ المراقب التمثيلات الداخلية للنموذج أثناء عمله، ويبحث فيها عن علامات السلوك غير المرغوب. وقد يكون ذلك خداعاً، أو خروجاً عن حدود المهمة، أو محاولة للالتفاف على القيود. ولا حاجة إلى قراءة نص الإجراءات كله، ويكفي رصد إشارة إلى أن خللاً ما يعتري النموذج.

تسلسل متدرج بدل الفحص الشامل

تكمن الفكرة الأساسية في الجانب الاقتصادي. المراقب الداخلي الرخيص يعمل باستمرار ويمرّر التدفق الرئيسي. أما المستوى المكلف، أي نموذج ثانٍ أو إنسان، فيُشغَّل بصورة انتقائية. وتُبنى كثير من أنظمة الأمان خارج الذكاء الاصطناعي بهذه الطريقة: مستشعر بسيط يظل في الخدمة دائماً، ولا يبدأ التحليل المعقد إلا عند الإنذار.

ومن هنا ينشأ السؤال الرئيسي حول المنتج. فهذا التسلسل المتدرج جيد بقدر جودة المرشّح الأول فقط. فالمخالفة الفائتة لن يفحصها أحد، والمراقب المفرط الحساسية سيستدعي الفحص المكلف بتكرار يلغي التوفير. أما التوازن بين الإنذارات الكاذبة والحالات الفائتة فلم يُوصف في المواد المتاحة.

ما المعروف حتى الآن

• النهج: قراءة الحالات الداخلية للنموذج أثناء عمل الوكيل، دون قراءة منفصلة للسجل كاملاً.
• التصعيد: لا يُجرى الفحص الثاني إلا عند ظهور إشارات مريبة.
• الأثر المعلن: تبلغ تكلفة الإشراف جزءاً من تكلفة مخطط «LLM يراقب LLM».
• لم يُكشف عنه: النسب الدقيقة للتوفير، ونسبة المخالفات التي جرى رصدها، ونسبة الإنذارات الكاذبة.
• لم يُكشف عنه: قائمة النماذج المدعومة، وما إذا كان الوصول إلى الأوزان مطلوباً.

البند الأخير مهم. فلا يمكن الاطلاع على التنشيطات إلا إذا كان لديك وصول منخفض المستوى إلى النموذج. ومع الأوزان المفتوحة أو النموذج الخاص بك، هذا ممكن عملياً. أما مع واجهة API مغلقة لا يظهر فيها سوى نص الإجابة، فلا يمكن ربط مثل هذا المراقب. وبالنسبة إلى الشركات التي تبني وكلاءها فوق واجهات API تملكها جهات أخرى، فإن قيمة المنتج غير واضحة حتى الآن.

نظرة عملية

حتى الآن هذا ادعاء وليس نتيجة موثّقة. فالتصريحات عن التكلفة صادرة عن الشركة نفسها، ولا توجد في الإعلان اختبارات مرجعية مستقلة. لكن الاتجاه يبدو منطقياً: فمع تزايد استقلالية الوكلاء، يصبح سؤال «كم تكلفة المراقبة» بأهمية سؤال «كم تكلفة التشغيل».

والأجدر بالفرق التي تشغّل الوكلاء فعلاً في بيئة الإنتاج أن تقيس نفقاتها على الإشراف كنسبة مئوية من التكلفة الإجمالية للمهمة. وإذا كان الفحص بنموذج LLM ثانٍ يستهلك جزءاً ملحوظاً من الميزانية، فمن المجدي اختبار المراقبات الداخلية في تجربة تجريبية. ولا ينبغي التحقق من السعر وحده، بل من السلوك في سيناريوهاتكم الخاصة أيضاً: كم مخالفة حقيقية يجري رصدها، وكم إنذاراً كاذباً يتعين معالجته يدوياً. أما الفرق التي تعتمد على واجهات API المغلقة، فمن المعقول أن تنتظر لترى هل ستقدّم Goodfire صيغة لا تتطلب الوصول إلى الأوزان.