Anthropic أعادت كتابة اختبارها التوظيفي ثلاث مرات: Claude Opus 4.5 يلحق بأفضل المهندسين

تستخدم Anthropic اختبارًا عمليًا لمهندسي الأداء منذ بداية 2024. اجتازه أكثر من 1000 مرشح، ويعمل عشرات منهم في الشركة، بينهم من أطلقوا عنقود Trainium ومن أصدروا جميع النماذج بدءًا من Claude 3 Opus. أما الآن فكل إصدار جديد من Claude يكسر هذا الاختبار. فقد تفوّق Claude Opus 4 على معظم البشر ضمن حد الوقت نفسه. وساوى Claude Opus 4.5 أفضل المرشحين، وبحسب نتيجة الساعتين لم يعد ممكنًا التمييز بينهم وبين النموذج. وصف ذلك صاحب الاختبار تريستان يوم، المسؤول في فريق تحسين الأداء، في 21 يناير 2026.

كيف صُمّم الاختبار

في نوفمبر 2023 كانت Anthropic تستعد لإطلاق Claude Opus 3. كانت عناقيد TPU وGPU جاهزة، وكان عنقود Trainium الكبير متوقعًا، لكن مهندسي الأداء لم يكونوا كافين. كتب يوم على Twitter، فوصل إلى البريد عدد من المرشحين فاق ما يستطيع مسار التوظيف المعتاد معالجته. واستغرق تصميم الاختبار أسبوعين من وقته.

بنى بلغة Python محاكيًا لمسرّع افتراضي يشبه TPU. يحسّن المرشحون الشيفرة على هذا المحاكي مع تتبّع Perfetto الذي يُعاد تحميله فورًا ويعرض كل تعليمة. في الجهاز ذاكرة scratchpad تُدار يدويًا، وبنية VLIW (عدة وحدات تنفيذ في كل دورة)، وSIMD، وتعدد الأنوية. والمهمة ليست عن التعلم العميق عمدًا، بل هي اجتياز متوازٍ لشجرة مستوحى من الاستدلال الخالي من التفرعات لأشجار القرار باستخدام SIMD. تبدأ المهمة بتنفيذ تسلسلي بالكامل، ثم تمرين تمهيدي على تعدد الأنوية، ثم الاختيار بين SIMD وتعبئة VLIW. وكانت النسخة الأولى تحتوي على خلل برمجي يجب تصحيحه، أي أن على المرشح أن يبني أداة لهذا الغرض.

وأكدت النتيجة الأولى الفكرة. فقد حقق مرشح جاء ضمن موجة Twitter نتيجة أعلى بوضوح من البقية، وانضم إلى الفريق، وكاد يجد فورًا حلًا بديلًا لخلل في المترجم كان يعطّل إصدارًا: فحسابات الفهارس في التنسورات كانت تتجاوز سعة 32 بت.

كيف كسر Claude الاختبار

بحلول مايو 2025 كان أكثر من نصف المرشحين سيتفوقون ببساطة لو سلّموا المهمة إلى Claude 3.7 Sonnet عبر Claude Code. وقدّم Opus 4 قبل إصداره حلًا أفضل من جميع البشر تقريبًا ضمن 4 ساعات. استخدم يوم النموذج لتحديد النقطة التي يبدأ عندها بالتعثر، وجعلها نقطة انطلاق للنسخة الثانية. فكتب شيفرة بداية أنظف، وأضاف إمكانات جديدة للجهاز، وحذف تعدد الأنوية الذي كان Claude يحله أصلًا، وخفّض الحد الزمني من 4 ساعات إلى ساعتين، لأن تنسيق المواعيد كان يمدّد عملية التوظيف أسابيع.

لكن هذا لم ينفع مع Opus 4.5. فقد أغلق النموذج الاختناقات الرئيسية، ونفّذ التحسينات الدقيقة المعتادة، واجتاز حد النجاح في أقل من ساعة. ثم توقف، معتقدًا أنه بلغ حد سعة نقل الذاكرة. ويصل معظم البشر إلى الاستنتاج نفسه. لكن هناك حيلة تستغل بنية المهمة. وحين ذكر يوم عدد الدورات الممكن بلوغه، فكّر Claude ووجد هذه الحيلة. وعند علامة الساعتين كانت نتيجته مساوية لأفضل نتيجة بشرية، وكان ذلك الشخص نفسه يستخدم Claude 4 بكثافة. وفي بيئة تشغيل داخلية تعتمد test-time compute واصل النموذج تحسين النتيجة كلما زاد الوقت.

محاولتان لإنقاذ الصيغة

رفض يوم حظر الذكاء الاصطناعي، فلا يمكن ضبط التزام المرشحين به، وهو يبتعد عن العمل الحقيقي. وخيار «التفوق على Claude Code منفردًا» مشكوك فيه أيضًا. فClaude يعمل بسرعة، بينما يقضي البشر نصف الوقت في قراءة نص المهمة، وقد تصبح المراقبة من الخارج هي الاستراتيجية الرابحة.

نشأت المهمة الجديدة الأولى من تحسين حقيقي أجراه يوم: تبديل مواضع البيانات (transposition) في سجلات TPU ثنائية الأبعاد دون تعارضات في بنوك الذاكرة. لكن Opus 4.5 توصل إلى ما لم يتوقعه صاحب الاختبار: ألا يبدّل مواضع البيانات، بل الحساب كله. سدّ يوم هذه الثغرة، ولم يبلغ النموذج الحل الأمثل، لكنه مع وضع ultrathink وميزانية تفكير أكبر حلّ المهمة رغم ذلك. والسبب أن تعارضات البنوك موضوع كُتب عنه الكثير، ولدى Claude رصيد ضخم من الخبرة فيه.

واتجهت المحاولة الثانية نحو الغرابة. كان المطلوب مهمة خارج توزيع بيانات التدريب، فلجأ يوم إلى ألعاب Zachtronics التي تستخدم مجموعات تعليمات غير مألوفة ومقيّدة بشدة. وهذا يتعارض مع هدف أن يبدو الاختبار مثل عمل حقيقي، ويقرّ صاحبه بهذا التنازل.

أبرز الحقائق

• يُستخدم الاختبار منذ بداية 2024، واجتازه أكثر من 1000 مرشح.
• خُفّض الحد الزمني من 4 إلى 2 ساعة.
• تفوّق Claude 3.7 Sonnet على أكثر من 50% من المرشحين.
• تفوّق Opus 4 على جميع البشر تقريبًا خلال 4 ساعات.
• اجتاز Opus 4.5 الحد في أقل من ساعة، وساوى أفضل إنسان خلال ساعتين.
• مع وقت غير محدود، لا يزال أفضل البشر يتفوقون على Claude.

دروس عملية لمن يوظّف

يحل النموذج بالاعتماد على خبرته المتراكمة المهام المبنية على حيل معروفة مثل تبديل المواضع أو تعارضات البنوك. والأكثر موثوقية أن يُختبر التفكير على مادة غير مألوفة، لا المعرفة. أما حظر الذكاء الاصطناعي فيقدّم فائدة قليلة، والأسهل تصميم اختبار على افتراض أن المرشح يعمل مع نموذج. كما انتقل العمل نفسه نحو التصحيح المعقد وتصميم الأنظمة وتحليل الأداء والتحقق من الصحة، ومن الصعب اختبار ذلك في ساعتين. ونشرت Anthropic الاختبار الأصلي كتحدٍّ مفتوح: من يتجاوز نتيجة Opus 4.5 يمكنه مراسلة الشركة.