Галлюцинации от «умных» промптов: разработчик разобрался, почему Qwen Code сбоит

نشر مطور تحليلاً مفصلاً على Habr: وكيل سطر الأوامر القائم على Qwen Code أمضى حوالي ساعتين في مهمة كان أداة "البحث والاستبدال" في بيئة التطوير ستحلها في 20 دقيقة — بسبب هلوسات مستمرة وإضافة قطع فنية غير ضرورية.

عندما يكون الوكيل أسوأ من البحث والاستبدال البسيط

بدت المهمة تافهة: إجراء تغييرات موحدة في قاعدة أكواد باستخدام وكيل سطر أوامر. Qwen Code — نموذج متخصص في الأكواد، متاح للمطور في بيئة العمل بدلاً من Claude المفضل — كان يجب أن يتعامل معه بسرعة. بدلاً من ذلك، عمل الوكيل لمدة ساعتين تقريباً: أضاف تركيبات غير ضرورية، وفقد السياق الخاص بالمهمة، وتطلب تصحيحاً يدوياً مستمراً.

استمر المؤلف في محاولة توجيه النموذج "من باب الفضول العلمي" — وأجبره هذا الخبر في النهاية على فهم طبيعة الهلوسات بدلاً من مجرد تغيير الأداة.

المعاملات الرئيسية للموقف:

• المهمة: تغييرات أكواد موحدة عبر وكيل سطر أوامر
• الوقت المتوقع: 20 دقيقة باستخدام أداة يدوية
• الوقت الفعلي: حوالي ساعتين مع الوكيل
• النموذج: Qwen Code
• الأعراض: هلوسات وإضافة قطع فنية إضافية

لماذا تقوي الأوامر "الذكية" الهلوسات؟

المفارقة الأساسية في المقال — لا تقلل محاولات كتابة أوامر أكثر تفصيلاً و "ذكاء" من عدد الهلوسات، بل تزيدها غالباً.

الإرهاق السياقي. الأمر الطويل يحتوي على العديد من الشروط والاستثناءات يزيد من احتمالية فقدان النموذج للخيط وبدء إعادة بناء المنطق من أوزانه الخاصة بدلاً من اتباع التعليمات.

القيود المتعارضة. قد تتعارض الشروط المفصلة بشكل ضمني مع بعضها البعض. النموذج لا يعود بخطأ — فهو يختار بينها ويختار بشكل خاطئ، مما ينتج عنه نتيجة معقولة ولكن غير صحيحة.

تجاوز حدود التوزيع. تم تدريب النماذج المتخصصة في الأكواد على نوع محدد من الطلبات. الأوامر غير القياسية أو المركبة تدفع النموذج إلى منطقة كان هناك عدد قليل من الأمثلة عليها أثناء التدريب — والهلوسات تزيد بشكل حاد هناك.

وهم الفهم. التعليمات المفصلة تخلق انطباعاً لدى المطور بأن النموذج فهم المهمة. النموذج يولد ببساطة الرمز التالي على أساس الأنماط المشابهة من بيانات التدريب.

ماذا يجب أن يفعل المطور مع وكيل ذكاء اصطناعي؟

يشير الخبر الموصوف في المقال إلى عدة استنتاجات عملية:

• قسّم المهام: استدعاء واحد للوكيل — عملية واحدة محددة، وليس مجموعة من الخطوات المترابطة
• تحقق من القطع الفنية: يجب التحقق من نتيجة كل خطوة قبل تمريرها أبعد في خط الأنابيب
• بسّط، لا تعقّد: إذا كان النموذج يهلوس، جرب أمراً أقصر وأكثر تحديداً
• اختر الأداة للمهمة: بالنسبة للتغييرات الميكانيكية الموحدة، غالباً ما يكون grep أو النص البرمجي أكثر موثوقية من الوكيل

"فقط بعد هذا الخبر الرائع قررت أخيراً قراءة التعليمات", يكتب المؤلف.

ما معنى هذا

هلوسات النماذج اللغوية الكبيرة ليست عيباً سيصلحه أمر أكثر ذكاءً. هذه خاصية نظامية للنماذج الانحدارية الذاتية، والتي تتعزز عند تجاوز توزيع التدريب. فهم هذا مرة واحدة يعني بناء خطوط أنابيب الذكاء الاصطناعي مع مراعاة القيود الحقيقية للأداة، وليس ضدها.