Anthropic تفتح نافذة على تفكير Claude: أداة Jacobian lens ترصد المفاهيم الخفية
كشفت Anthropic عن Jacobian lens، وهي أداة لتفسير النماذج تفتح الصندوق الأسود لنماذج اللغة الكبيرة (LLM). تُظهر الأداة المفاهيم التي تنشط في الطبقات الوسيطة لدى Claude عند الإجابة عن سؤال. تتراوح هذه المفاهيم بين المألوف وغير المعتاد: ينشئ النموذج تمثيلات خفية للأفكار لا تظهر في المخرجات العادية. وهذا يمنح نظرة أولية، وإن كانت ساذجة، على كيفية «تفكير» نماذج LLM.
معالج بواسطة الذكاء الاصطناعي من MIT Technology Review؛ بتحرير Hamidun News
طورت Anthropic تقنية Jacobian lens (عدسة جاكوبي)، وهي تمنح حتى الآن أوضح نظرة على ما يجري داخل Claude حين تجيب عن الأسئلة أو تنفذ المهام.
ماذا تكشف الأداة
حين يجيب Claude عن سؤال، تعرض Jacobian lens النشاط في الطبقات الوسيطة. وتتراوح النتائج بين ما هو مألوف (كتنشيط طبقة مرتبطة بالأعداد عند حل مسألة رياضية) وما هو غير معتاد (مفاهيم خفية لا وجود لها في المخرجات الصريحة).
كيف تعمل
بدل فحص الأوزان والتنشيطات على نحو أعمى، تستخدم الأداة رياضيات جاكوبي (مصفوفة المشتقات) لتتبع كيفية تأثير التغيرات في المدخلات على التمثيلات الوسيطة. وهذا يتيح:
- رؤية المفاهيم المجردة التي ينشطها النموذج
- تتبع مسار المنطق من المدخلات إلى المخرجات
- فهم سلاسل الاستدلال الخاطئة التي تقود إلى إجابات غير صحيحة
الأهمية بالنسبة للسلامة
يكتسب اكتشاف المفاهيم الخفية أهمية لسلامة الذكاء الاصطناعي (AI): فإذا رأينا أن النموذج ينشط مفاهيم خطرة، حتى لو كانت إجابته النهائية آمنة، فبإمكاننا معالجة ذلك.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.