فتحت Anthropic نافذة في تفكير Claude: أداة Jacobian Lens تمسك بالمفاهيم الخفية

طورت Anthropic تقنية Jacobian lens، التي توفر أوضح رؤية حتى الآن لما يحدث داخل Claude عندما تجيب على الأسئلة أو تؤدي المهام.

ما الذي يجدونه

عندما تجيب Claude على سؤال، يعرض Jacobian lens التفعيل في الطبقات الوسيطة. تتراوح النتائج من اليومية (تفعيل طبقة مرتبطة بالأرقام عند حل الرياضيات) إلى غير العادية (المفاهيم المخفية التي لا تظهر في الإخراج الصريح).

كيفية عملها

بدلاً من مراجعة الأوزان والتفعيلات بشكل عمياوي، تستخدم الأداة رياضيات جاكوبيان (مصفوفة المشتقات) لتتبع كيف تؤثر التغييرات في الإدخال على التمثيلات الوسيطة. هذا يسمح:

• برؤية المفاهيم المجردة التي ينشطها النموذج
• بتتبع مسار المنطق من الإدخال إلى الإخراج
• بفهم سلاسل المنطق غير الصحيحة التي تؤدي إلى إجابات خاطئة

الأهمية بالنسبة للأمان

اكتشاف المفاهيم المخفية مهم لأمان الذكاء الاصطناعي: إذا رأينا أن النموذج ينشط مفاهيم خطرة، حتى لو كانت الإجابة النهائية آمنة، يمكننا إصلاحها.