هل تستطيع LLM العثور على flaky tests من خلال الكود؟ الدراسة تقول لا

اختبارات Flaky هي اختبارات تفشل أحياناً، وتنجح أحياناً أخرى، بدون سبب واضح. إنها تكسر CI/CD، وتفرض إعادة العمل، وتقوض الثقة في الاختبارات الآلية. قرر الباحثون تكليف هذه المشكلة إلى نماذج اللغة الكبيرة: هل يمكن للشبكة العصبية فهم الكود والعثور على اختبارات مريبة؟ كانت النتائج محبطة.

لماذا اختبارات Flaky عدو أسوأ

الاختبار غير الموثوق ليس مجرد خطأ برمجي. عندما يفشل الاختبار في لحظات عشوائية، يتوقف المهندسون عن الثقة به. يعيدون العمل، يعيدون تشغيل خط الأنابيب، يقضون ساعات في تصحيح الأخطاء. يمكن إعادة إنتاج الخطأ الكلاسيكي؛ اختبار Flaky ينسخ فقط يوم الإثنين الساعة 3:43 صباحاً. هذا يقتل سرعة التطوير.

مصادر اختبارات Flaky متنوعة وغالباً مختبئة:

• حالات التسابق ومشاكل التوقيت
• التبعيات على حالة قاعدة البيانات أو نظام الملفات
• الاختبارات المعزولة بشكل سيء التي تؤثر على بعضها البعض
• الكود غير المتزامن بدون عمليات انتظار مناسبة
• مهل زمنية صارمة لا تتحمل الحمل الزائد على الخادم

كيف اختبر الباحثون نماذج اللغة الكبيرة

أخذ الفريق عدة نماذج لغة كبيرة وطرح سؤالاً بسيطاً: هل هذا الكود الاختباري flaky؟ نظرت النماذج إلى الكود المصدري، حاولت تحديد الأنماط (منطق إعادة المحاولة، sleep، العزل الضعيف)، وقدمت احتمالية المشكلة. على مجموعة بيانات مضبوطة، بدت النتائج ممتازة: حققت النماذج دقة 85%+. كانت الدقة والاستدعاء جيدة، بدت الرسوم البيانية مثل مشاريع التعلم الآلي الناجحة النموذجية. بدا أن المشكلة قد تم حلها.

لكن إليك التناقض: عندما طبق الباحثون نفس النماذج على اختبارات حقيقية من مشاريع أخرى، اختفى التأثير تقريباً. انخفضت الدقة، وارتفعت الإيجابيات الكاذبة. لم تفهم النموذج بوضوح طبيعة السلوك flaky.

لماذا المقاييس لا تساوي الفهم

هذا فخ كلاسيكي في التعلم الآلي، منسي بين قراءة المقالات حول النماذج الجديدة والعمل الفعلي. يمكن للنموذج أن يتعلم الارتباطات في مجموعة البيانات، لكن هذا لا يعني أنه فهم السبب. على سبيل المثال، إذا احتوت جميع اختبارات flaky في مجموعة بيانات التدريب على `Thread.sleep()`، فإن النموذج سيضع علامة على أي اختبار يحتوي على هذه الدالة كمريب — حتى لو كان sleep مستخدماً بشكل صحيح للمزامنة.

بالنسبة لاختبارات flaky، المشكلة حادة: لكل مشروع أنماطه الخاصة من الانتهاكات. ما يتعطل في معمارية الخدمات الصغيرة قد يكون طبيعياً تماماً في تطبيق أحادي الخيط. تم تدريب النماذج على جزء واحد من البيانات ولا ترى السياق البيئي أو إصدارات الإطارات أو خصائص البنية الأساسية.

المقاييس الجيدة على مجموعة الاختبار ضرورية لكنها غير كافية. تحتاج إلى

تحقق حقيقي على أمثلة في الإنتاج.

ماذا يعني هذا

نماذج اللغة الكبيرة أدوات قوية، لكنها ليست سحراً. لمشاكل متخصصة مثل البحث عن اختبارات flaky، تحتاج إما إلى سياق أكثر (سجل الأعطال، بيانات وصفية بيئية، معلومات الحمل) أو نهج هجين (نموذج لغة كبيرة + تحليل ثابت + مراقبة الأعطال في الإنتاج). الدرس بسيط: لا تعتمد على المقاييس وحدها. المهام المحددة تتطلب نهجاً محدداً.