Fable 5.2 في llm-anthropic: وضع max يحرق 128 ألف رمز ولا يعيد أي إجابة

عندما يصدر نموذج جديد، يكون أول سؤال للمطوّر بسيطًا: كيف أجرّبه بسرعة؟ سايمون ويليسون، مؤلف أداة llm، أجاب عن ذلك في يوم الإصدار نفسه. فقد أطلقت Anthropic نموذجي Fable 5.2 وMythos 5.2، وهما متاحان بالفعل في الإضافة llm-anthropic الإصدار 0.31. وفي الوقت نفسه اكتشف خاصية مزعجة ينبغي أن يعرفها كل من ينوي تشغيل النموذج بأعلى الإعدادات.

كيف تجرّبه في دقيقة

llm أداة تعمل من سطر الأوامر وتوفّر واجهة موحدة لنماذج لغوية مختلفة. وتربط الإضافة llm-anthropic نماذج Anthropic بها. ولتشغيل Fable 5.2 تلزم أربع خطوات: تثبيت llm عبر uv، وتثبيت الإضافة، وحفظ مفتاح API الخاص بـ Anthropic، وتنفيذ الأمر باسم النموذج claude-fable-5.2.

للاختبار يستخدم ويليسون اختباره المميز: أن يطلب من النموذج رسم صورة SVG لبجعة تركب دراجة. وهذا مناسب لأن المهمة تتطلب تفكيرًا مكانيًا وترميزًا دقيقًا معًا، كما أن النتيجة تُرى بالعين فورًا. وبالطبع ليس هذا معيارًا علميًا، لكنه مؤشر سريع على مدى تعامل النموذج مع مهمة غير مألوفة.

خمسة مستويات للاستدلال وعطل واحد

لدى Fable 5.2 خمسة مستويات لجهد الاستدلال: low وmedium وhigh وxhigh وmax. وكلما ارتفع المستوى أنفق النموذج رموزًا أكثر على التفكير قبل الإجابة. وقد شغّل ويليسون الطلب على كل مستوى منها.

وكان xhigh الأفضل. ففي الصورة جاءت الساقان في الجانب الصحيح من الدراجة، والإطار مرسوم جيدًا، والمنقار مع الكيس يبدوان مقنعين. وهناك هفوات أيضًا: أصابع صغيرة غريبة على المقود، والكيس منزاح قليلًا عن الجزء العلوي من المنقار. وبوجه عام فالنتيجة جيدة.

أما max فلم يُرجع الصورة إطلاقًا. فقد أنفق النموذج 128 ألف رمز على التفكير واصطدم بالحد الأقصى دون أن يصل إلى الإجابة. وبعبارة أخرى، أفرط في التفكير في المهمة حتى تعطّل.

وهناك تفصيل مهم: هذه ليست الحالة الأولى. فقد لاحظ ويليسون الأمر نفسه مع Opus 5.5. لكنه جديد بالنسبة إلى سلسلة Fable. فقد كان Fable 5 وFable 5.1 يعملان بشكل سليم على مستوى max ويعيدان الصور دون مشكلات. أي أنه تراجع في السلوك خاص بالإصدار 5.2، وإن كان من المبكر استخلاص استنتاجات نهائية من اختبار واحد.

ماذا نفعل عمليًا

الاستنتاج الأول: أعلى مستوى للاستدلال لا يعني أفضل نتيجة. فهو أغلى وأبطأ، وكما رأينا قد لا يعطي أي إجابة. وإذا كنت تبني منتجًا على Fable 5.2 فابدأ بـ high أو xhigh، ولا ترتقِ أعلى إلا حيث يحسّن ذلك الجودة بشكل قابل للقياس.

الاستنتاج الثاني: احرص دائمًا على معالجة الإجابة الفارغة. فإذا استنفد النموذج حد الرموز في الاستدلال، فيجب أن يتعرف شيفرتك على ذلك ويعيد الطلب بمستوى جهد أقل، بدلًا من أن تتعطل أو تعرض للمستخدم فراغًا. وينبغي كذلك مراقبة التكلفة: فهدر 128 ألف رمز يعني مالًا حقيقيًا، خصوصًا في الاستدعاءات الكثيفة.

الاستنتاج الثالث: عند الانتقال إلى إصدار جديد من النموذج، شغّل اختبارات الانحدار الخاصة بك على جميع الأوضاع التي تستخدمها. فما كان يعمل في 5.1 قد يتصرف بشكل مختلف في 5.2.

القيود

هذه ملاحظة شخص واحد على مهمة واحدة. لا نعرف مدى تكرار هذا العطل في طلبات أخرى، ولم تعلّق Anthropic عليه حتى الآن. وربما تُحل المشكلة بضبط الحدود أو بتحديث. لكن هذا يكفي كإشارة إلى الحذر: اختبر max على مهامك قبل تفعيله في بيئة الإنتاج.