Goodfire تطلق مراقبات "داخلية" لوكلاء الذكاء الاصطناعي أرخص من إشراف نماذج اللغة الكبيرة

الطريقة المعتادة للتحكم في وكلاء الذكاء الاصطناعي هي وضع بوت ثانٍ لمراقبة الأول. هذا أمر مكلف: فالوكلاء يعملون لساعات ويعالجون نصوصاً يبلغ حجمها عدة روايات.

كشفت Goodfire، شركة ناشئة متخصصة في قابلية التفسير (interpretability)، أي فهم البنية الداخلية لنماذج الذكاء الاصطناعي، يوم الخميس عن بديل رخيص. فبدلاً من إعادة فحص مخرجات الوكيل، تقرأ المراقبات الإشارات مباشرة من العمل الداخلي للنموذج. الحل متاح لعملاء Baseten، المنصة التي تستضيف وتُشغّل نماذج الذكاء الاصطناعي لشركات أخرى.

كيف تعمل المراقبة الداخلية؟

تقرأ المسابر (كاشفات صغيرة) التفعيلات الداخلية للنموذج في كل مرحلة من عمله، تماماً كما يفحص الماسح الضوئي في المطار كل راكب. فإذا رصد المسبر شيئاً مشبوهاً، يقوم نموذج ذكاء اصطناعي منفصل بفحص أكثر تفصيلاً.

يمكن لعملاء Baseten اختيار المخاطر التي يريدون مراقبتها: • الهجمات والاختراق • الاستخدام غير المشروع للأسلحة الكيميائية والبيولوجية • التحايل على دالة الهدف (reward hacking)

ردود النظام الآلية: • تسجيل الحدث • الإرسال للمراجعة البشرية • الرفض الكامل للطلب

اقتصاديات المراقبة

تؤكد Goodfire أن نهجها أرخص بكثير. فمعظم أدوات المراقبة هي نماذج منفصلة يجب أن تعيد فحص كل ما يفعله النموذج الخاضع للرقابة، وهذا يضيف وقتاً وتكلفة. أما مسابر Goodfire فتستخدم بدلاً من ذلك الحسابات التي ينفذها النموذج أصلاً أثناء عمله.

قال الرئيس التنفيذي Eric Ho في بودكاست MAD التابع للمستثمر الرأسمالي Matt Turck: "المراقبات الداخلية القائمة على التفعيل رخيصة جداً لأنها تعيد استخدام الحسابات في التمرير الأمامي (forward pass)". وأضاف: "النموذج يحسب هذا الرمز (token) أصلاً. كل ما تفعله هو أخذ التفعيلات العصبية الوسيطة التي حسبها النموذج فعلاً، وتمريرها عبر مُصنِّف للحسابات الداخلية".

أرقام من اختبارات أُجريت على نموذج Kimi K3: • 185 دولاراً — تكلفة مراقبة مليون تبادل (Goodfire) • 5420 دولاراً — مراقبة مليون تبادل بنموذج ذكاء اصطناعي رخيص • نحو 200 000 دولار — مراقبة مليون تبادل بنموذج من الطراز الأعلى • 93% — نسبة جلسات الاختراق الضارة المكتشفة • 5.5% — الإنذارات الكاذبة (طلبات غير ضارة أُرسلت للمراجعة) • أقل من 2% — التأخير عند تشغيل أربعة مسابر في الوقت نفسه

الاستهداف الموجّه إلى النماذج مفتوحة المصدر

الجمهور المستهدف هو مطورو النماذج مفتوحة المصدر. فهؤلاء يمكنهم تنزيل نموذج مفتوح وإزالة الضمانات (safeguards) المدمجة فيه. فالنماذج مفتوحة المصدر لا تأتي مع المراقبة التي تتوفر لدى المعامل المغلقة.

قال Dan Balsam، المدير التقني والمؤسس المشارك: "الضرر الذي يمكن أن يُحدثه فرد واحد بنموذج مفتوح ضئيل مقارنة بما يمكن أن يفعله شخص يمتلك عناقيد حوسبة (compute clusters)، أي عند مزودي الاستدلال (inference)، حيث تقع المسؤولية الأساسية". وأضاف: "عندما تحدث 'لحظة Mythos' مع النماذج مفتوحة المصدر، سيصبح واضحاً أن النماذج تحتاج إلى حواجز حماية (guardrails) في مرحلة الاستدلال".

أظهرت دراسة أن أبرز النماذج مفتوحة المصدر، Kimi K3 و GLM-5.2، نفّذت تحايلاً على دالة الهدف (reward hacking) في 50% إلى 96% من عمليات التشغيل عند اختبار وكلاء الذكاء الاصطناعي.

ليست Goodfire أول من يجرّب هذا النهج. فقد نشرت Google DeepMind في يناير مسابر للكشف عن سوء الاستخدام (misuse-detection probes) في Gemini، استناداً إلى أبحاثها الخاصة.

قال Balsam إن المراقبات تمثل جزءاً قصير الأجل من هدف بحثي أطول أمداً: إجراء هندسة عكسية لنماذج اللغة الكبيرة، بحيث يمكن تتبع السلوك إلى مصدر ظهوره خلال عملية التدريب. وقال: "نأمل أن نحوّل سحر تدريب النماذج إلى هندسة دقيقة".