ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارAPI / منتج · جاهز للعملVercel Blog→ المصدر

وكيل بنسبة نجاح 60% يطلب القهوة بشكل صحيح مرة واحدة على الأقل من خمس بفرصة 99%، وخمس مرات متتالية بفرصة 8%

عندما يطلب وكيل ذكاء اصطناعي القهوة عبر واجهة API الخاصة بك، قد تبدو السجلات كلها خضراء، بينما وصل إلى المستخدم لاتيه ساخن بدلًا من لاتيه مثلج. تنصح Vercel بتشغيل المهمة الواحدة مرات كثيرة وحساب نسبة النجاح. في العرض التجريبي نجح الوكيل في 3 محاولات من 5، أي بنسبة 60%: فرصة طلب صحيح واحد على الأقل خلال خمس محاولات هي 99%، أما فرصة خمسة طلبات صحيحة متتالية فهي 8% فقط. وإذا كان المستخدم يحتاج إلى نتيجة صحيحة كل صباح، فالرقم الثاني هو ما ينبغي النظر إليه.

معالج بواسطة الذكاء الاصطناعي من Vercel Blog؛ بتحرير Hamidun News
وكيل بنسبة نجاح 60% يطلب القهوة بشكل صحيح مرة واحدة على الأقل من خمس بفرصة 99%، وخمس مرات متتالية بفرصة 8%
المصدر: Vercel Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليVercel Blog ↗
رئيس التحرير
Pass@5 = 99%طلب واحد على الأقل من خمسة صحيح؛ وpass^5 = 8%: الطلبات الخمسة كلها صحيحة
حقيقة رئيسية #2الاختبارات الرخيصة التي لا تستخدم LLM هي أساس الهرم، وتأتي فوقها اختبارات E2E المكلفة
حقيقة رئيسية #3يشغّل Harbor، من مطوّري Terminal-Bench، الوكلاء داخل حاويات

تخيّل أنك صنعت API لطلب القهوة، وأن العميل ليس إنسانًا بل وكيل ذكاء اصطناعي. أتمّ الوكيل الطلب، ونجح الاستدعاء، والسجلات كلها خضراء، لكن المستخدم طلب لاتيه مثلجًا فوصله ساخن. هذه الأخطاء الصامتة تحديدًا هي ما يبحثه فريق Vercel. ومثالها الرئيسي: وكيل ينجز المهمة في 3 محاولات من 5، أي بنسبة 60%. وإذا مُنح خمس محاولات، فإن احتمال أن تكون إحداها على الأقل صحيحة نحو 99%. لكنه لا ينفّذ الطلبات الخمسة كلها بشكل صحيح على التوالي إلا في نحو 8% من الحالات تقريبًا. الرقمان صحيحان، لكنهما يجيبان عن سؤالين مختلفين.

الوكيل هو أيضًا مستخدم لمنتجك

إذا كنت تبني API أو CLI أو خادم MCP أو SDK، فقد ظهر لك نوع جديد من العملاء. لم يرَ الوكيل إطلاق منتجك ولا إعلاناته، لكنه يمرّ بالقمع التسويقي نفسه الذي يمرّ به الإنسان: يعثر على المنتج، ويختاره، ويحصل على صلاحية الوصول، ويحاول حل مهمته. وفي كل مرحلة يصل عدد أقل من الوكلاء إلى النهاية. وركّزت Vercel على الخطوة الأخيرة، أي النجاح: هل نفّذ الوكيل ما طُلب منه.

التحقق من ذلك أصعب مما يبدو. تتغير إجابات LLM من تشغيل إلى آخر، ولذلك لا يثبت اختبار يدوي ناجح واحد أن الإصلاح أفاد. المطلوب هو eval: اختبار يُشغَّل مرات كثيرة وتُقيَّم نتيجته قبل التعديل وبعده.

تقسّم Vercel اختبارات البرمجيات الموجّهة للوكلاء بحسب عدد الاستدعاءات الموجّهة إلى النموذج. الاختبارات الحتمية لا تستدعي LLM إطلاقًا. أما One-turn evals فتستخدم استدعاءً واحدًا وتفحص قرارًا واحدًا، مثل الأمر الذي سيشغّله الوكيل أولًا. وتتيح E2E evals للوكيل أن يمرّ بالمهمة كاملة ثم تفحص النتيجة النهائية. ويندرج SWE-bench وTerminal-Bench تحت هذا النوع. وكلما ارتفع المستوى، صار الاختبار أغلى وأبطأ، ولذلك ينبغي أن تشكّل الاختبارات الرخيصة الجزء الأكبر. لكن النجاح لا يمكن التحقق منه إلا في المستوى الأعلى: كل خطوة بمفردها تبدو معقولة، ومع ذلك يخرج الطلب خاطئًا.

قهوة الساعة 8:30: ثلاثة مقاييس بدل مقياس واحد

في المثال، تستقبل خدمة SF Beans طلبات القهوة في سان فرانسيسكو عبر CLI باسم sfbeans. نص الطلب: لاتيه مثلج كبير بالحليب كامل الدسم، قبل الساعة 9:00، بأقل من 8$ شاملة الضريبة والبقشيش. ومن بين أربعة مقاهٍ، لا يناسب إلا Valencia Grind: ففي Fog City Roasters آلة الثلج معطلة، وفي 24th St Beans يبلغ السعر 9.27$ بعد الضريبة والبقشيش، وفي Dolores Drip لن يكون الطلب جاهزًا قبل 9:20.

يُبنى الاختبار على Harbor، وهو إطار مفتوح المصدر من مطوّري Terminal-Bench. يشغّل الإطار الوكلاء داخل حاويات، ويتحقق من النتيجة، ويسجّل جميع الإجراءات. ويفحص التحقق أن الطلب واحد بالضبط، وأن المشروب صحيح، وأن الوقت مناسب، وأن الميزانية لم تُتجاوز.

المقاييس كالتالي:

  • نسبة النجاح: 3 محاولات من 5 تعطي 60%.
  • Pass@k: احتمال نجاح محاولة واحدة على الأقل من k محاولة. وهو في حالة خمس محاولات نحو 99%. يجيب هذا المقياس عن سؤال: هل يجيد الوكيل المهمة أصلًا.
  • Pass^k: احتمال نجاح جميع المحاولات k. وهو في حالة الخمس نحو 8%. يجيب هذا المقياس عن سؤال: هل يمكن الاعتماد على الوكيل في كل مرة.

في جدول توضيحي من Vercel لـ Claude Code مع Opus 5.5، يحصل المستخدم الذي يطلب القهوة كل يوم عمل على طلب خاطئ واحد على الأقل في 92% من الأسابيع. وبما أنه لا مجال لإعادة قهوة الصباح، تعمل SF Beans على تحسين pass^5 تحديدًا. أما بالنسبة إلى وكيل برمجة مزوَّد باختبارات، فالأهم هو pass@k: فهو يرى الأخطاء بنفسه ويحاول مجددًا. وفي مسودة رسالة سيقرؤها الإنسان على أي حال، تكفي نسبة النجاح العادية.

تُحسب الخطوات والوقت والتكلفة للتشغيلات الناجحة فقط: فالتشغيلات الفاشلة أقصر لأن الوكيل تخطّى جزءًا من العمل، كأن لم يستعلم عن السعر. وفي العرض التجريبي يستغرق التشغيل الناجح نحو 9 خطوات و3:50 دقيقة ويكلّف 0.56$. وإذا احتُسبت المحاولات الفاشلة المدفوعة، ترتفع تكلفة النجاح الواحد إلى 0.78$.

من أين تبدأ

لا يمكن تغطية كل ما قد يفعله LLM بالمنتج باختبارات. تنصح Vercel باختيار نتيجة واحدة مهمة للمستخدمين والبحث عنها في المراقبة (observability) وطلبات العملاء وخارطة الطريق. وفي SF Beans تبيّن أن أهم نتيجة هي التذكرة «طلب الوكيل مشروبًا خاطئًا»، ولذلك كان الهدف طلبًا صحيحًا في كل محاولة مع Claude Code وCodex، وهما مصدر الحركة الرئيسية.

تتضمن مجموعة المهام طلبًا نمطيًا، وحالتين حديّتين (مقهى مفضّل لا يقدّم المشروب المطلوب، وطلب جماعي لستة مشروبات بمبلغ 45$)، وحالة يكون التصرف الصحيح فيها ألا يطلب شيئًا وأن يبلّغ بعدم وجود خيارات. وفي الحالة الأخيرة يقرأ التحقق سجل الأوامر الذي لا يستطيع الوكيل الكتابة فيه، ليتأكد من أنه بحث قبل أن يستسلم.

القيد بسيط: عند خمس محاولات، لا تعني نسبة 100% سوى «لم نرَ إخفاقات حتى الآن». وقد تُخفي المتوسطات العامة مهمة تفشل كثيرًا، ولذلك راجع النتائج لكل مهمة على حدة. والترتيب العملي كالتالي: خذ مهمة واحدة مؤلمة، وشغّلها عدة مرات، واختر المقياس الرئيسي بحسب كلفة الخطأ على المستخدم.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول الوكيل هو أيضًا مستخدم لمنتجك؟

إذا كنت تبني API أو CLI أو خادم MCP أو SDK، فقد ظهر لك نوع جديد من العملاء. لم يرَ الوكيل إطلاق منتجك ولا إعلاناته، لكنه يمرّ بالقمع التسويقي نفسه الذي يمرّ به الإنسان: يعثر على المنتج، ويختاره، ويحصل على صلاحية الوصول، ويحاول حل مهمته. وفي كل مرحلة يصل عدد أقل من الوكلاء إلى النهاية. وركّزت Vercel على الخطوة الأخيرة، أي النجاح: هل نفّذ الوكيل ما طُلب منه. التحقق من ذلك أصعب مما يبدو. تتغير إجابات LLM من تشغيل إلى آخر، ولذلك لا يثبت اختبار يدوي ناجح واحد أن الإصلاح أفاد.

ما أبرز التفاصيل حول قهوة الساعة 8:30: ثلاثة مقاييس بدل مقياس واحد؟

في المثال، تستقبل خدمة SF Beans طلبات القهوة في سان فرانسيسكو عبر CLI باسم sfbeans. نص الطلب: لاتيه مثلج كبير بالحليب كامل الدسم، قبل الساعة 9:00، بأقل من 8$ شاملة الضريبة والبقشيش. ومن بين أربعة مقاهٍ، لا يناسب إلا Valencia Grind: ففي Fog City Roasters آلة الثلج معطلة، وفي 24th St Beans يبلغ السعر 9.27$ بعد الضريبة والبقشيش، وفي Dolores Drip لن يكون الطلب جاهزًا قبل 9:20. يُبنى الاختبار على Harbor، وهو إطار مفتوح المصدر من مطوّري Terminal-Bench.

ما أبرز التفاصيل حول من أين تبدأ؟

لا يمكن تغطية كل ما قد يفعله LLM بالمنتج باختبارات. تنصح Vercel باختيار نتيجة واحدة مهمة للمستخدمين والبحث عنها في المراقبة (observability) وطلبات العملاء وخارطة الطريق. وفي SF Beans تبيّن أن أهم نتيجة هي التذكرة «طلب الوكيل مشروبًا خاطئًا»، ولذلك كان الهدف طلبًا صحيحًا في كل محاولة مع Claude Code وCodex، وهما مصدر الحركة الرئيسية.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…