ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

مهندس ضمان جودة يختصر تطوير الاختبارات الآلية من أسبوعين إلى يومين بمساعدة LLM

كتابة الاختبارات الآلية يدويًا لسكربت يضم عشرات الأعلام (flags) تستغرق وقتًا طويلًا، ويسهل أن يفوت المختبر تركيبة خطرة. زوّد مهندس ضمان الجودة في «T1 Innotech» نموذج LLM بتعليمات سكربت مزامنة DAG في Airflow ومصفوفة التعارضات وسجلات الأعطال، فحصل على هيكل للاختبارات الآلية. تقلّص تطوير المجموعة من أسبوعين إلى يومين، وارتفعت التغطية من 60% إلى 95%، وصار عدد السيناريوهات 600 بدلًا من 200. والشرط: تنقية المدخلات من التناقضات أولًا.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
مهندس ضمان جودة يختصر تطوير الاختبارات الآلية من أسبوعين إلى يومين بمساعدة LLM
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1قبل إرسال الطلب أزال المؤلف يدويًا التناقضات والأمثلة القديمة من الوثائق
حقيقة رئيسية #2البرومبت الذي أسند للنموذج دور خبير متمرس أنتج حالات حدّية أكثر من الطلب القصير
حقيقة رئيسية #3اضطر المؤلف إلى تحويل ملف JSON المسطّح إلى بنية شجرية لتقارير Jenkins

لم يعد توليد الاختبارات بمساعدة LLM يثير دهشة أحد. الأكثر إثارة للاهتمام هو شكل ذلك على مهمة حقيقية بوثائق غير مثالية. وصف رومان بولياكوف، مهندس الاختبار في «T1 Innotech»، على موقع Habr حالته العملية: اختبارات آلية لسكربت مزامنة DAG في Airflow. أنجزها في يومين بدلًا من أسبوعين. نعرض أدناه ما فعله بالضبط، والمواضع التي ينهار فيها هذا النهج.

المهمة: تركيبات من الأعلام يسهل إغفالها

يقبل السكربت مجموعة من المفاتيح: --file و--delete و--dry-run و--exclude وغيرها. بعض التركيبات مسموح به، وبعضها متعارض. فمثلًا يجب فحص --file مع --delete، و--dry-run مع --exclude، كلٌّ على حدة. ترميز جميع التركيبات يدويًا يستغرق وقتًا طويلًا، وخطر إغفال تركيبة خطرة كبير.

لم تقتصر الصعوبة على كثرة التركيبات. فالوثائق ناقضت نفسها. في أحد الأقسام يُسمح بالقناع *.py مع --exclude، وفي قسم آخر لا تجوز إلا المسارات المطلقة. ولم تتطابق أمثلة الأوامر في الدليل مع الوصف، وبقيت في السجلات رسائل أخطاء سبق إصلاحها في أحدث إصدار من Airflow.

كيف عمل المؤلف مع النموذج

كانت الخطوة الأولى هي الأقل أتمتة. نظّف بولياكوف البيانات يدويًا: استخلص القواعد المعتمدة، واستبعد الأمثلة القديمة، وجمع مرجعًا موحدًا للأعلام. وبحسب قوله، لولا ذلك لولّد النموذج سيناريوهات متناقضة مثل المواد الأصلية.

ثم بنى الطلب من أربعة أجزاء: نص تعليمات السكربت، ومصفوفة التعارضات، وأمثلة الأوامر، وسجلات التشغيلات الفاشلة. وحدّد صيغة المخرجات منذ البداية: JSON متوافق مع CI/CD. وأسند إلى النموذج دور خبير أول يعرف جميع «التركيبات المحظورة» للأعلام، وطلب منه تغطية كل تركيبة مسموحة وكل تركيبة خطرة. أما الطلب القصير من نوع «ولّد اختبارات للسكربت» فقد أعطى، بحسب ملاحظة المؤلف، نتيجة أكثر سطحية: إذ فوّت النموذج الحالات الحدّية.

أعاد النموذج هيكلًا يضم سيناريوهات إيجابية (--file مع --dry-run بوصفه تشغيلًا تجريبيًا آمنًا)، وسلبية (مفاتيح متعارضة)، وحدّية (مسارات فارغة، وامتدادات غير موجودة في --exclude)، إضافة إلى قوالب مؤقتة لفحص سجل deploy.log.

لا يمكن وصف هذا الناتج بأنه جاهز. فقد استكمل المؤلف السكربت يدويًا:

  • أضاف تحليل السجلات ليفحص رسائل deploy.log لا رموز الإرجاع فحسب؛
  • حاكى أعطال الشبكة بأداة tc: تقييد عرض النطاق وفقدان الحزم؛
  • دمج السيناريوهات الإيجابية المتشابهة لئلا يتضخم زمن التشغيل؛
  • كتب محوّلًا لأن JSON «المسطّح» الذي ولّده النموذج لم يناسب Jenkins، وبنى منه شجرة بالمقاييس success_rate وtotal_time وfailed_scenarios.

سار العمل في دورات: طلب، فهيكل، فتحليل، فاستكمال، فتشغيل، فتحليل سجلات، فتعديل البرومبت. وقلّصت كل دورة الجهد اليدوي، لكنها احتاجت إلى وقت للتحقق.

ما النتيجة وكيف ينبغي النظر إليها

يورد المؤلف النتائج التالية:

  • تطوير الاختبارات: من أسبوعين إلى يومين؛
  • تغطية السيناريوهات: من 60% إلى 95%، مع احتساب الحالات الحدّية والقصوى؛
  • عدد السيناريوهات: 600 مقابل 200 في العمل اليدوي، مع بقاء مدة التشغيل نفسها؛
  • الوقت المخصص لتحليل التقارير: أقل بنسبة 30%؛
  • لم تقع أي أعطال في بيئة الإنتاج بعد التطبيق.

وفي المقال أمثلة أخرى. ففي صفحة «الطرف المقابل» ولّد النموذج خلال خمس دقائق 80 سيناريو، وعدّل الفريق 15% منها. وفي المواصفات الفنية لمشروع مصرفي من 150 صفحة يذكر المؤلف 120 سيناريو بدلًا من 20 سيناريو يدويًا، وبدء أسرع للاختبار بنسبة 30–40%.

يجب قراءة هذه الأرقام بحذر. فهي مشروع واحد وتقرير ذاتي من المؤلف، لا مقارنة خاضعة للرقابة. ولم يُذكر في النص أي نموذج استُخدم، ولا حجم الرموز (tokens) أو الأموال التي استُهلكت في التكرارات. ولا يمكن نسب نتيجة «لا أعطال في الإنتاج» بالكامل إلى الذكاء الاصطناعي، فهناك تغييرات أخرى تؤثر فيها. أما بقية أقسام المقال، مثل الاختبار التكيّفي وتحديد الأولويات، فتستند، بحسب اعتراف المؤلف، إلى خبرة زملاء وعروض لأدوات، لا إلى تطبيق أجراه بنفسه.

استنتاجات عملية

أولًا: جودة المدخلات أهم من براعة البرومبت. الوثائق المتناقضة تُنتج اختبارات متناقضة، لذا ينبغي أولًا ضمّها في مرجع واحد.

ثانيًا: الدور والهدف في الطلب يؤديان مفعولهما. فصياغة «ابحث عن التركيبات المحظورة ولا تعطّل خط الأنابيب» دفعت النموذج إلى البحث عن الحالات السلبية والحدّية بدل تكرار الأمثلة الواردة في التعليمات.

ثالثًا: اطلبوا منذ البداية صيغة مخرجات يفهمها نظام CI لديكم. لكن خصّصوا وقتًا لكتابة محوّل، فبنية إجابة النموذج نادرًا ما تتطابق مع توقعات Jenkins أو أي نظام آخر.

رابعًا: القيود التي يذكرها المؤلف نفسه. فالوثائق التي تتجاوز 50–100 صفحة يُفضَّل تقسيمها إلى كتل أو ربطها بـ RAG، وإلا فقد النموذج منتصف النص. وللسجلات الحساسة يُستحسن اعتماد نماذج محلية. ويبقى ناتج النموذج مسودة: فما بين 10% و20% من السيناريوهات سيظل بحاجة إلى استكمال بشري.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول المهمة: تركيبات من الأعلام يسهل إغفالها؟

يقبل السكربت مجموعة من المفاتيح: --file و--delete و--dry-run و--exclude وغيرها. بعض التركيبات مسموح به، وبعضها متعارض. فمثلًا يجب فحص --file مع --delete، و--dry-run مع --exclude، كلٌّ على حدة. ترميز جميع التركيبات يدويًا يستغرق وقتًا طويلًا، وخطر إغفال تركيبة خطرة كبير. لم تقتصر الصعوبة على كثرة التركيبات. فالوثائق ناقضت نفسها. في أحد الأقسام يُسمح بالقناع .py مع --exclude، وفي قسم آخر لا تجوز إلا المسارات المطلقة.

ما أبرز التفاصيل حول كيف عمل المؤلف مع النموذج؟

كانت الخطوة الأولى هي الأقل أتمتة. نظّف بولياكوف البيانات يدويًا: استخلص القواعد المعتمدة، واستبعد الأمثلة القديمة، وجمع مرجعًا موحدًا للأعلام. وبحسب قوله، لولا ذلك لولّد النموذج سيناريوهات متناقضة مثل المواد الأصلية. ثم بنى الطلب من أربعة أجزاء: نص تعليمات السكربت، ومصفوفة التعارضات، وأمثلة الأوامر، وسجلات التشغيلات الفاشلة. وحدّد صيغة المخرجات منذ البداية: JSON متوافق مع CI/CD. وأسند إلى النموذج دور خبير أول يعرف جميع «التركيبات المحظورة» للأعلام، وطلب منه تغطية كل تركيبة مسموحة وكل تركيبة خطرة.

ما أبرز التفاصيل حول ما النتيجة وكيف ينبغي النظر إليها؟

يورد المؤلف النتائج التالية: تطوير الاختبارات: من أسبوعين إلى يومين؛ تغطية السيناريوهات: من 60% إلى 95%، مع احتساب الحالات الحدّية والقصوى؛ عدد السيناريوهات: 600 مقابل 200 في العمل اليدوي، مع بقاء مدة التشغيل نفسها؛ الوقت المخصص لتحليل التقارير: أقل بنسبة 30%؛ لم تقع أي أعطال في بيئة الإنتاج بعد التطبيق. وفي المقال أمثلة أخرى. ففي صفحة «الطرف المقابل» ولّد النموذج خلال خمس دقائق 80 سيناريو، وعدّل الفريق 15% منها.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…