بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

أداة الاختبار رأت «سعرًا» في عبارة «حتى عام 2027»: 4 من 7 سيناريوهات حمراء كانت خاطئة

وضع الاختبار الآلي لبوت دردشة amoCRM علامة critical على «سعر ذكره البوت»، مع أن البوت كتب «التقديم حتى عام 2027». فقد قرأ التعبير النمطي (regex) السنة على أنها «حتى 2027 روبل». يكفي خطأ واحد من هذا النوع ليتحول التشغيل إلى اللون الأحمر ولا يصل البوت إلى بيئة الإنتاج. وبحلول مساء 15 أكتوبر كانت 4 من 7 سيناريوهات حمراء تفشل بسبب أداة الاختبار نفسها. قبل تعديل الـ prompt، اقرأ الرد كاملًا وحدّد صاحب الخلل: البيئة أم البوت أم أداة الاختبار.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
أداة الاختبار رأت «سعرًا» في عبارة «حتى عام 2027»: 4 من 7 سيناريوهات حمراء كانت خاطئة
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1التحية الجاهزة المنتهية بسؤال سببت 68 مخالفة من نوع «سؤالان في رسالة واحدة»
حقيقة رئيسية #2اجتازت gpt-5-mini بنجاح تام 15 من 19 سيناريو، وgpt-5-nano اجتازت 10
اختبار الدخان (smoke) خلال اليوممن 0–2 سيناريو أخضر من 19 صباحًا إلى 17 من 19 مساءً

تخيّل أنك كتبت اختبارًا آليًا لبوت دردشة وشغّلته قبل الإطلاق، فأصدر تقريرًا أحمر بعلامة critical: «البوت ذكر سعرًا». تفتح المحادثة فتجد عبارة «التقديم حتى عام 2027 واقعي تمامًا». لا وجود لأي سعر هنا: أداة الاختبار فسّرت السنة على أنها مبلغ بالروبل. هذا بالضبط ما حدث في 15 أكتوبر لدى فريق Octery الذي يطوّر بوتات لدردشات amoCRM. احتوى التقرير على ثماني مخالفات من مستوى critical، واحتاج الفريق إلى يوم كامل ليعرف أيّها حقيقي. والخلاصة لكل من يطلق بوتات LLM في بيئة الإنتاج بسيطة: الاختبار الأحمر لا يعني أن البوت سيئ، وعلى الفريق أن يحدد أولًا من المسؤول.

كيف تحولت السنة إلى سعر

يردّ البوت على العملاء المحتملين في Telegram: يلقي التحية، ويستوضح حاجة الشخص، ويطلب بيانات التواصل، ثم يحوّل الصفقة إلى المدير. ويُعدّ الفريق حاليًا مشروعًا تجريبيًا مع شركة استشارات في مجال الهجرة. في هذا المشروع لا يجوز للبوت أن يعد بنتيجة، ولا أن يذكر أسعارًا، ولا أن ينتحل صفة مستشار قانوني، وعليه أن يجيب بـ«نعم» عن السؤال المباشر «هل أنت بوت؟». أما الحديث عن المال فمن اختصاص المدير وحده، ولذلك يُعدّ أي سعر يذكره البوت مخالفة حرجة، ويكفي رد واحد من هذا النوع ليُغلق التشغيل باللون الأحمر.

أداة الاختبار مصمَّمة كصندوق أسود. تكتب للبوت من حساب منفصل كما يفعل أي عميل عادي، وتنتظر الرد، ثم تفحصه وفق القواعد. ولا تنظر داخل البوت ولا داخل amoCRM. عدد السيناريوهات 162: أسئلة قاعدة المعرفة، ومحاولات انتزاع سعر أو ضمان، وأسئلة قانونية، وإغراق المحادثة برسائل متكررة، وألفاظ نابية، وتغيير اللغة في منتصف الحوار، و42 «شخصية» لكل منها قصتها. يردّ البوت في المتوسط خلال 18–19 ثانية، ولذلك يستغرق تشغيل smoke سريع من 19 سيناريو ما بين 36 و45 دقيقة.

الذي «وجد» السعر هو تعبير نمطي (regex)، أي نمط بحث داخل النص: الكلمات «من» و«حتى» و«حوالي» و«نحو» و«في حدود»، يليها رقم من ثلاث خانات فأكثر. وقد انطبق هذا النمط على «حتى 2027». وبالطريقة نفسها التقط عبارتي «نحو 100 منشور في السنة» و«منذ عام 2020». يمكن إعادة إنتاج الخطأ دون اتصال بالإنترنت في دقيقة واحدة، لكن أحدًا لم يتحقق منه قبل التشغيل. والعلاج بسيط: يجب أن تظهر بجوار الرقم عملة أو كلمة مثل «يكلّف» أو «السعر» أو «الميزانية».

خطآن آخران من أداة الاختبار نفسها

يرد البوت على الرسالة الأولى بفقاعتين: تصل التحية فورًا، ويصل رد النموذج بعد نحو خمس ثوانٍ. كانت الأداة تجمّع الرد بنافذة صمت مدتها تسع ثوانٍ، فإذا فكّر النموذج أطول من ذلك انصرفت وفي يدها التحية وحدها. من هنا جاء «رد البوت الفارغ»، وجاءت علامة critical على سيناريو «هل أنتم مستشارون قانونيون؟» الذي زُعم فيه أن البوت لم يوجّه الشخص إلى محامٍ. لقد وجّهه فعلًا، لكن في الفقاعة الثانية التي لم تنتظرها الأداة.

أما الخطأ الثالث فكان كامنًا في المتطلبات نفسها. كانت للشخصيات مواضيع إلزامية: على البوت أن يسأل عن المجال والهدف وعمّا إذا كان لدى العميل محامٍ بالفعل. وفي المقابل، كانت هناك قاعدة منفصلة تمنع إعادة السؤال عمّا قاله العميل سلفًا. فالشخصية التي تكتب في رسالتها الأولى «أعمل مع محامٍ» تضع البوت أمام مأزق: إن سأل فقد أعاد السؤال، وإن لم يسأل فقد أغفل موضوعًا إلزاميًا. ورد موضوع «المجال» في 30 سيناريو، وموضوع «لديه محامٍ بالفعل» في 24، وفي كل منها كان البوت خاسرًا مهما أجاب.

حصيلة اليوم: 14 تشغيلًا، وبقيت 7 سيناريوهات حمراء عند المساء، وفشلت 4 منها بسبب تشدد أداة الاختبار نفسها.

عندما كانت أداة الاختبار محقة

أكثر قاعدة انطلقت خلال اليوم كانت «سؤالان في رسالة واحدة»، إذ سُجّلت 68 مرة. بدا الأمر في البداية ثرثرة من النموذج يمكن علاجها بتعديل الـ prompt. لكن قراءة الحوارات كشفت سببًا آخر: التحية الجاهزة لم يكتبها النموذج، وكانت تنتهي بسؤال «ما الطلب الذي جئتم من أجله؟». وبعدها مباشرة كان النموذج يردّ على رسالة العميل ويطرح سؤاله الخاص. كل جزء منهما يسأل عن شيء واحد، لكن الشخص يتلقى سؤالين متتاليين. كتب الفريق هذا القالب بنفسه ولم يعد قراءته منذ زمن. وحين حُذف السؤال من التحية، اختفت المخالفة.

خلال اليوم ارتفع عدد السيناريوهات الخضراء في smoke من 0–2 من 19 صباحًا إلى 17 من 19 مساءً. وشملت هذه النتيجة تغيير النموذج، وإعادة كتابة قمع الأسئلة، وتعديلات القالب، وتعديلات أداة الاختبار. ولم يمكن فصل مساهمة كل عامل إلا لأن كل فشل حُلّل على حدة.

وقدّمت أداة الاختبار أيضًا مقارنة صادقة بين النماذج. على السيناريوهات الـ19 نفسها، اجتازت gpt-5-nano بنجاح تام 10 سيناريوهات، وgpt-5-mini اجتازت 15. ولم يزد رفع reasoning effort (عمق الاستدلال) لدى mini من low إلى medium عدد السيناريوهات الخضراء. mini أغلى، لكن الفارق في تكلفة الحوار الواحد يقدَّر بالسنتات، فاختاروها للمشروع التجريبي. ولولا أداة الاختبار لجرى الاختيار بحسب الانطباع من محادثتين أو ثلاث.

كيف تُحلَّل النتائج الحمراء

قبل إصلاح أي شيء، يوزّع الكاتب كل فشل على ثلاث سلال:

  • ENV: البيئة لم تستجب، أو انهار خط المعالجة (pipeline)، أو لم يسلّم Telegram الرسالة؛
  • BOT: البوت ردّ، لكن ردّه خاطئ؛
  • TESTER: القاعدة انطلقت على رد سليم.

ما يكشف السلة الثالثة في الغالب أمر واحد: تقرأ الرد كاملًا فلا ترى فيه أي خلل. وبما أن ردود LLM تختلف قليلًا في كل مرة، فمن السهل أن يُحسب عطل أداة الاختبار توليدًا فاشلًا، وأن يُحسب التوليد الفاشل عطلًا في الأداة. والقاعدة العملية: اقرأ نص الرد أولًا، ثم اسم المخالفة. فإذا جاء في التقرير «البوت ذكر سعرًا» وكان في الرد «عام 2027»، فالإصلاح مطلوب في الكود الخاص بك.

تروي القصة تجربة مشروع واحد ومشروع تجريبي واحد، ولا يورد الكاتب تكلفة الحوار بالأرقام. لكن الخلاصة تنطبق على أي فريق: شغّلوا القواعد دون اتصال على ردود حقيقية قبل الإطلاق، ولا تضعوا القواعد الإلزامية والقواعد المانعة في مأزق واحد، وأعيدوا قراءة الأجزاء الجاهزة في البوت بالعناية نفسها التي تقرؤون بها الـ prompt.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف تحولت السنة إلى سعر؟

يردّ البوت على العملاء المحتملين في Telegram: يلقي التحية، ويستوضح حاجة الشخص، ويطلب بيانات التواصل، ثم يحوّل الصفقة إلى المدير. ويُعدّ الفريق حاليًا مشروعًا تجريبيًا مع شركة استشارات في مجال الهجرة. في هذا المشروع لا يجوز للبوت أن يعد بنتيجة، ولا أن يذكر أسعارًا، ولا أن ينتحل صفة مستشار قانوني، وعليه أن يجيب بـ«نعم» عن السؤال المباشر «هل أنت بوت؟». أما الحديث عن المال فمن اختصاص المدير وحده، ولذلك يُعدّ أي سعر يذكره البوت مخالفة حرجة، ويكفي رد واحد من هذا النوع ليُغلق التشغيل باللون الأحمر.

ما أبرز التفاصيل حول خطآن آخران من أداة الاختبار نفسها؟

يرد البوت على الرسالة الأولى بفقاعتين: تصل التحية فورًا، ويصل رد النموذج بعد نحو خمس ثوانٍ. كانت الأداة تجمّع الرد بنافذة صمت مدتها تسع ثوانٍ، فإذا فكّر النموذج أطول من ذلك انصرفت وفي يدها التحية وحدها. من هنا جاء «رد البوت الفارغ»، وجاءت علامة critical على سيناريو «هل أنتم مستشارون قانونيون؟» الذي زُعم فيه أن البوت لم يوجّه الشخص إلى محامٍ. لقد وجّهه فعلًا، لكن في الفقاعة الثانية التي لم تنتظرها الأداة. أما الخطأ الثالث فكان كامنًا في المتطلبات نفسها.

ما أبرز التفاصيل حول عندما كانت أداة الاختبار محقة؟

أكثر قاعدة انطلقت خلال اليوم كانت «سؤالان في رسالة واحدة»، إذ سُجّلت 68 مرة. بدا الأمر في البداية ثرثرة من النموذج يمكن علاجها بتعديل الـ prompt. لكن قراءة الحوارات كشفت سببًا آخر: التحية الجاهزة لم يكتبها النموذج، وكانت تنتهي بسؤال «ما الطلب الذي جئتم من أجله؟». وبعدها مباشرة كان النموذج يردّ على رسالة العميل ويطرح سؤاله الخاص. كل جزء منهما يسأل عن شيء واحد، لكن الشخص يتلقى سؤالين متتاليين. كتب الفريق هذا القالب بنفسه ولم يعد قراءته منذ زمن. وحين حُذف السؤال من التحية، اختفت المخالفة.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…