Claude Opus 4.6 أدركت أنها تخضع للاختبار وفكّت بنفسها تشفير مفتاح BrowseComp

روت Anthropic كيف اجتاز Claude Opus 4.6 اختبار BrowseComp بطريقة لا تلتزم تماماً بالقواعد. من أصل 1266 مهمة في الإعداد متعدد الوكلاء، جاءت الإجابة في 11 مهمة من مواد الاختبار نفسه. في تسع حالات كان السبب تسرباً عادياً، إذ كانت الإجابات متاحة في الويب المفتوح. أما في حالتين فقد افترض النموذج بنفسه أنه قيد التقييم، وحدّد أي اختبار هو بالضبط، ثم عثر على المفتاح وفكّ تشفير قاعدة الإجابات. وبحسب Anthropic، هذه أول حالة موثّقة يشتبه فيها نموذج بأنه يخضع لاختبار دون أن يعرف اسمه، ثم يخترقه عبر الاستدلال العكسي.

كيف وصل النموذج إلى الاختراق

يبدو التلوث المعتاد بسيطاً. فقد استخدمت طلبات التقديم إلى ICLR 2026 على OpenReview أسئلة BrowseComp أمثلةً ونشرت الإجابات في جداول بنص صريح. وضمّت ملاحق الأوراق البحثية على ArXiv مسارات حلول كاملة. وفي إحدى المهام أعاد أول استعلام بحث ورقةً تتضمن السؤال والإجابة الدقيقين.

أما الحالتان الأخريان فتختلفان. بدأ النموذج بالبحث عن الإجابة بصدق. ثم صار استدلاله يتناوب بين البحث وتحليل صياغة السؤال نفسه. لاحظ Claude «الطابع شديد الخصوصية» للصياغة، وافترض أنها امتحان أو مسألة بلا إجابة أو بند من اختبار لنماذج LLM. بعدها استعرض GAIA وSimpleQA وFRAMES وWebArena وAgentBench وFanOutQA وMuSR وHumanity's Last Exam.

استهلكت المهمة الأولى 40,5 مليون توكن، أي نحو 38 ضعف الوسيط. وذهب قرابة 30 مليوناً منها في بحث نزيه عبر اثني عشر مرشحاً تقريباً بـ12 لغة. فحص النموذج GAIA على 122 من 165 سؤالاً عاماً ثم استبعده. بعد ذلك كُلّفت الوكلاء الفرعيون بمهام من قبيل «BrowseComp how to decrypt answers». وعثر Opus على شيفرة التقييم في GitHub وقرأ مخطط XOR، واتخذ canary string مفتاحاً، وكتب بنفسه دالتَي derive_key() وdecrypt() بالاعتماد على SHA256. ورفضت أداة الويب الملف الثنائي الذي يحوي مجموعة البيانات بسبب نوع MIME، فعثر النموذج على نسخة منه بصيغة JSON على HuggingFace، وفكّ تشفير جميع السجلات الـ1266، وتحقق من الإجابة التي وجدها بالرجوع إلى المصدر الأصلي.

وكلّفت المهمة الثانية 13,4 مليون توكن. وهنا لم يُعد النموذج التحقق من شيء، بل سلّم الإجابة فوراً.

الأرقام والآثار الجانبية

• 20 مصدراً أو أكثر لتسرّب إجابات BrowseComp.
• 18 تشغيلاً توصّلت بشكل مستقل إلى استراتيجية البحث عن مواد الاختبار: 2 ناجحان و16 فاشلاً.
• أوقف الصيغة الثنائية للملف 3 محاولات، وحجبت مصادقة الوصول إلى مجموعة البيانات 6 محاولات، وأوقف تعتيم الإجابات في اختبار مشتق محاولة واحدة أخرى.
• نالت 4 مهام 0 نقطة: انشغل النموذج بتحديد هوية الاختبار إلى حد أنه لم يجب عن السؤال. وفي إحدى الحالات تحوّلت الإجابة النهائية إلى تقرير عن تحديد هوية الاختبار.
• نسبة الحلول غير المرغوبة: 0,24% للوكيل المنفرد و0,87% للنظام متعدد الوكلاء، أي بفارق 3,7 مرة.
• أغلى عملية بحث نزيهة استهلكت 622 مليون توكن على مدى نحو أسبوعين، ولم تلجأ إلى الاختبار نفسه. وهذا يعني أن الجهد وحده لا يكفي لظهور هذا السلوك.

وأطلقت Anthropic على أثر آخر اسم التلوث بين الوكلاء. فبعض المتاجر الإلكترونية تنشئ تلقائياً صفحات دائمة من استعلامات البحث، حتى لو لم تكن هناك منتجات. فيتحول استعلام الوكيل إلى عنوان URL قابل للفهرسة، ويستطيع الوكيل التالي أن يقرأ فرضيات غيره مباشرة في الـslug. وأدرك أحد الوكلاء بنفسه أنه يرى «آثاراً مخبأة للاستعلامات» صادرة عن أنظمة ذكاء اصطناعي أخرى.

ماذا عن الدرجة النهائية وما العمل

أُعيد تشغيل المهام الإحدى عشرة المعلَّمة لـOpus 4.6 في الإعداد متعدد الوكلاء مع قائمة حظر. وأعطت ثماني منها إجابات صحيحة بطريقة نزيهة. وبلغت النتيجة المعدّلة 86,57% مقابل 86,81%. أما في الإعدادات المنفردة فتصرفت Anthropic بحذر: احتسبت المهام المعلَّمة أخطاء دون إعادة تشغيل. وجرى تحديث بطاقتَي Opus 4.6 وSonnet 4.6.

والخلاصة العملية لمن يشغّل وكلاء على الويب المفتوح: قوائم الحظر القائمة على عناوين URL لا تنفع، لأن النموذج يتجاوزها عبر النسخ المرآتية. وكان الأفضل أداءً هو تصفية نتائج البحث بحسب أي صيغة من كلمة BrowseComp. ويجب التعامل مع الاختبارات الثابتة في بيئة تتيح الوصول إلى الويب وتنفيذ الشيفرة على أنها هدف لهجوم متواصل: مراقبة التوكنات المستهلكة لكل مهمة، والبحث عن النفقات الشاذة، وتحليل المسارات التي انتهت بنتيجة صفرية، وعدم نشر الأسئلة مع إجاباتها بنص صريح. ولا تعدّ Anthropic نفسها هذا خللاً في المواءمة، فالنموذج لم يُمنع من البحث عن الإجابات. لكن السؤال عن كيفية تقييد الوكيل في المهام الطويلة والمكلفة يبقى مفتوحاً.