كشف PAC1 عن نقطة ضعف في نماذج reasoning: وكيل hardcoded اجتاز benchmark بكلفة أقل

اكتشف معيار الأداء المغلق PAC1، المصمم لوكلاء الذكاء الاصطناعي، بشكل غير متوقع نقطة ضعف في نماذج الاستدلال نفسها. بدلاً من حل "ذكي"، بنى أحد المشاركين في هاكاثون وكيل التكلفة الصفرية — مجموعة من الخوارزميات الصارمة التي تجاوزت أخطاء نماذج اللغة الكبيرة النموذجية وأكملت المهام بتكلفة أقل.

حيث انهار الوكيل

يختبر PAC1 ليس القدرة على الاستدلال بأناقة، بل القدرة على العمل ضمن بيئة محدودة. يحتاج الوكيل إلى قراءة السجلات والبحث عن الملفات الضرورية وإرسال رسائل بريد إلكترونية مع تجنب الفخاخ مثل حقن الأوامر غير المباشر، حيث تختبئ التعليمات الضارة داخل البيانات. وفقاً لوصف المؤلف، فإن نماذج الاستدلال بدأت بالفشل بالضبط في هذا السياق: فقد هلوست وفقدت السياق بين الإجراءات وكسرت بنية JSON وأدرجت "استدلالهم" الخاص بدلاً من الإخراج النظيف. في صندوق الرمل المغلق، هذا حاسم لأن مفتاح واحد خاطئ أو سطر إضافي يكسر فوراً الخطوة التالية ويضخم بسرعة فاتورة API.

لماذا انتصر الترميز الثابت

بعد عدة محاولات فاشلة، تخلى المؤلف عن فكرة "إجبار" النموذج من خلال الأوامر وراهن على سيناريو حتمي. هكذا ظهر وكيل التكلفة الصفرية — في الأساس منفذ خوارزمي لا يحاكي التفكير بل يعرف مسبقاً أي عمليات يجب التحقق منها وفي أي ترتيب يجب التنقل عبر نظام الملفات وكيفية الرد على الفخاخ المعروفة. بدلاً من الذكاء الشامل، تستخدم الحل مجموعة من القواعد التي يمكن اختبارها مسبقاً والتحكم فيها بصرامة.

• تنسيق صارم للإدخال والإخراج بدون تفسيرات حرة;
• طرق محددة مسبقاً للبحث عن الملفات وقراءة السجلات;
• معالجة منفصلة للتعليمات الخطيرة المخفية في محتوى الملفات;
• خطوات قابلة للتنبؤ لإرسال رسائل البريد الإلكترونية والإجراءات الأخرى;
• رفض حلقات المحاولة التي تحرق بسرعة ميزانيات نماذج اللغة الكبيرة.

هذا النهج يبدو خشناً، لكن ضمن PAC1، فهو يوفر ميزة. الخوارزمية لا تجادل مع نفسها ولا تعيد كتابة الإجابة ولا تهدر الرموز في شرح الخطوات الواضحة. تكلفتها مستقلة تقريباً عن عدد دورات "الاستدلال"، لأنه لا توجد دورات استدلال في السلسلة. في مهمة الهاكاثون، حول هذا نظام وكيل غير مستقر إلى أداة يمكن التنبؤ بسلوكها وقياسه.

ما الذي كشفه التجربة

قصة PAC1 تطعن في الأطروحة الشهيرة بأن أخذ نموذج استدلال قوي كاف وسيتعامل مع أتمتة الوكلاء بمفرده. في الممارسة العملية، تبين أن البيئة التي تحتوي على نظام ملفات وإجابات رسمية وهجمات مدمجة أقرب إلى مشكلة هندسية منها إلى محادثة مع مساعد. ما يهم هنا هو التحقق والتحكم بالحالة وتحديد الانتقالات والتعامل الصريح مع الأخطاء. إذا كانت النظام تنتج باستمرار JSON صحيح ولا تنجرف نحو تعليمات كاذبة، فهي تتفوق على نموذج أكثر "ذكاءً" لكنه غير مستقر.

"إذا فشل الذكاء الاصطناعي في التعامل معها، فسنستبدله بالترميز الثابت

الجيد القديم."

عبارة المؤلف حول "الترميز الثابت الجيد القديم" تبدو استفزازية، لكن المعنى عملي جداً. الأمر لا يتعلق بعدم جدوى الشبكات العصبية، بل حدود تطبيقها دون هيكل صارم. إذا كانت المهمة قياسية والقواعد معروفة وتكلفة الخطأ عالية، فمجموعة من الاستدلالات الحتمية أحياناً تعطي نتائج أفضل من نموذج ذو سياق كبير وتفسيرات أنيقة وسلسلة طويلة من محاولات إعادة المحاولة. بالنسبة للمهام الشركات ذات الواجهات الرسمية، هذا ملحوظ بشكل خاص: يجب أن تكون النظام مملة وقابلة للتحقق وقابلة للتنبؤ، وليس بشكل مثير للإعجاب ثرثار.

ماذا يعني هذا

بالنسبة لمطوري وكلاء الذكاء الاصطناعي، قضية PAC1 هي تذكير بأن موثوقية النظام غالباً ما تهم أكثر من قوة النموذج. في المنتجات الحقيقية، سيصبح النهج الهجين بشكل متزايد هو المعيار: نماذج لغة كبيرة حيث تكون التنوع والتعامل مع عدم اليقين ضرورياً، والمنطق الصارم حيث يكون التنسيق والأمان والتكلفة والنتائج القابلة للتكرار مهمة. من المحتمل أن تصبح مثل هذه الجمعيات، بدلاً من المراهنة الخالصة على نموذج واحد، المعيار للوكلاء الإنتاجيين.