ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارVercel Blog→ المصدر

Vercel: الوكيل طلب القهوة الصحيحة في 60% من المحاولات، لكن خمس مرات متتالية في 8% فقط

قد ينجح الوكيل «بنجاح» في طلب لاتيه ساخن بدلًا من البارد: السجلات سليمة، لكن العميل غير راضٍ. تقترح Vercel تشغيل المهمة الواحدة عدة مرات وحساب نسبة النتائج الصحيحة. في العرض التجريبي نجح Claude Code مع Opus 5.5 في 3 محاولات من 5 (60%): احتمال الحصول على طلب صحيح واحد على الأقل خلال خمس محاولات نحو 99%، أما خمسة طلبات صحيحة متتالية فاحتمالها نحو 8%. وفي حالة طلب القهوة اليومي، الرقم الثاني هو الأهم.

معالج بواسطة الذكاء الاصطناعي من Vercel Blog؛ بتحرير Hamidun News
Vercel: الوكيل طلب القهوة الصحيحة في 60% من المحاولات، لكن خمس مرات متتالية في 8% فقط
المصدر: Vercel Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليVercel Blog ↗
رئيس التحرير
Pass@5 ≈ 99%محاولة واحدة على الأقل من الخمس صحيحة
Pass^5 ≈ 8%المحاولات الخمس المتتالية كلها صحيحة (0.6 مرفوعة إلى القوة الخامسة)
حقيقة رئيسية #3عند الطلب اليومي، تصل قهوة خاطئة في 92% من الأسابيع

تخيّل أنك أطلقت واجهة API لطلب القهوة، وأن عملاءها ليسوا بشرًا بل وكلاء ذكاء اصطناعي. أحدهم يُتمّ طلبًا «ناجحًا» للاتيه ساخن، بينما طلب المستخدم لاتيه بارد. الطلب مرّ، والسجلات خضراء، والمراقبة صامتة، لكن الشخص بقي بلا المشروب الذي يريده.

هذه بالذات هي الإخفاقات التي تقترح Vercel رصدها بواسطة evals: تُعطى المهمة نفسها للوكيل مرات عديدة، ثم تُحسب نسبة المرات التي تكون فيها النتيجة صحيحة. في تشغيل تجريبي، أنجز Claude Code مع نموذج Opus 5.5 الطلب في 3 محاولات من 5، أي بنسبة 60%.

واحتمال الحصول على طلب صحيح واحد على الأقل خلال خمس محاولات نحو 99%، بينما احتمال الحصول على خمسة طلبات صحيحة متتالية نحو 8% فقط. سنشرح لاحقًا من أين تأتي هذه الأرقام، ولماذا يُعدّ الرقم الثاني أهم للمنتج.

ما الفرق بين eval والاختبار العادي

يجيب الاختبار العادي عن سؤال «هل نجح أم لا». أما eval فيجيب عن سؤال «كم مرة ونجح بأي درجة». وهذا ضروري لأن إجابات LLM تتغيّر من تشغيل إلى آخر: فتشغيل يدوي ناجح واحد لا يثبت شيئًا. ولمعرفة ما إذا كان الإصلاح قد أفاد، ينبغي تكرار المهام قبل التعديل وبعده ومقارنة النتائج.

تقسّم Vercel اختبارات البرمجيات القائمة على الوكلاء بحسب عدد استدعاءات النموذج. الاختبارات الحتمية لا تستخدم LLM إطلاقًا: فهي تتحقق مثلًا من أن أمر البحث يُرجع المقاهي المطلوبة فقط، وأن الطلب يخصم المبلغ نفسه الذي ورد في الحساب. أما one-turn eval فيستخدم استدعاءً واحدًا ويختبر قرارًا واحدًا، مثل: أي أمر سيشغّله الوكيل أولًا. وE2E-eval يستخدم عدة استدعاءات: يمرّ الوكيل بالمهمة كاملة، وتُفحص النتيجة النهائية. وكلما زاد عدد الاستدعاءات ارتفعت كلفة الاختبار وطال زمنه، لذلك يجب أن تشكّل المستويات الدنيا الرخيصة الجزء الأكبر من الفحوص. لكن النجاح يعتمد على السلسلة بأكملها (إيجاد المقهى، التصفية بحسب الشروط، إتمام الطلب)، وقد تبدو كل خطوة بمفردها معقولة. لذا يلزم E2E-eval للتحقق من النجاح. ومن الأمثلة المعروفة على ذلك معياران شائعان هما SWE-bench وTerminal-Bench.

مثال القهوة: الهدف والمقاييس

يعتمد العرض التجريبي من Vercel على خدمة خيالية اسمها SF Beans وأمرها sfbeans. طلب العميل: لاتيه كبير بارد بالحليب كامل الدسم، قبل الساعة 9:00، بسعر أقل من $8 شاملًا الضريبة والبقشيش، والمستخدم في حي Mission. من بين أربعة مقاهٍ، ثلاثة لا تناسب: في Fog City Roasters آلة صنع الثلج معطلة، وفي 24th St Beans يبلغ سعر اللاتيه مع الضريبة والبقشيش $9.27، وفي Dolores Drip أبكر موعد استلام هو 9:20. المقهى الوحيد المناسب هو Valencia Grind: $7.42 والجاهزية عند 8:50.

تنصح Vercel بأن يكون الهدف محدّدًا: نتيجة واحدة مهمة للمستخدمين. ويمكن البحث عنها في المراقبة أو في شكاوى العملاء أو في خارطة الطريق. ومعظم وكلاء sfbeans هم Claude Code وCodex، وأكثر الشكاوى تكرارًا هي «الوكيل طلب مشروبًا خاطئًا». ومعيار الجاهزية صارم: أن يكون الطلب صحيحًا في كل محاولة، لا «في الغالب».

المقاييس ثلاثة. Success rate هو نسبة المحاولات الناجحة. وPass@k هو احتمال نجاح محاولة واحدة على الأقل من k محاولة؛ وهو يجيب عن سؤال: هل يستطيع الوكيل أداء هذه المهمة أصلًا. وPass^k هو احتمال نجاح جميع المحاولات الـ k؛ وهو يجيب عن سؤال: هل يمكن الاعتماد على الوكيل في كل مرة. أما الزمن والخطوات والتكلفة فتُحسب للمحاولات الناجحة فقط، لأن المحاولات الفاشلة أقصر: إذ يتخطى الوكيل جزءًا من العمل، كأن لا يطلب السعر النهائي.

في المحاولات الخمس، طلب الوكيل ثلاث مرات من Valencia Grind. ومرة واحدة تخطّى الحساب وطلب من 24th St Beans بسعر $9.27، ومرة أخرى اختار Dolores Drip بموعد استلام 9:20. الحساب كالتالي: pass@5 = 1 − 0.4⁵ ≈ 99%، وpass^5 = 0.6⁵ ≈ 8%. وعند الطلب اليومي، سيحصل الشخص على قهوة خاطئة واحدة على الأقل في 92% من الأسابيع. تستغرق المحاولة الناجحة في المتوسط نحو 9 خطوات و3 دقائق و50 ثانية وتكلّف $0.56، لكن مع احتساب المحاولات الفاشلة المدفوعة تصبح التكلفة $0.78 لكل نجاح.

يحدد ثمنُ الخطأ أيَّ مقياس يوضع في المقدمة. فقهوة الصباح لا يمكن إعادة طلبها، لذلك تنظر sfbeans إلى pass^5. أما الوكيل البرمجي الذي يملك مجموعة اختبارات فيستطيع تصحيح نفسه بناءً على الملاحظات، ويناسبه pass@k. والرسالة التي سيقرؤها الشخص على أي حال قبل إرسالها تُقيَّم بـ success rate العادي.

كيف تُبنى مجموعة المهام وما الذي لا ينبغي توقعه

تتألف المهمة الجيدة من تعليمات، وبيئة ذات بداية متطابقة لكل محاولة، وأداة تحقق (verifier) تفحص الحالة النهائية، ويفضَّل أن تفحص كل قيد على حدة، وحلّ مرجعي اختياري. ويجب أن تضم المجموعة حالة نموذجية، وحالات حدّية، وطلبًا واحدًا على الأقل يكون الصواب فيه ألا يفعل الوكيل شيئًا. في المثال أربع مهام: طلب عادي، و«المقهى المفضل لا يعدّ المشروب المطلوب»، وطلب جماعي لـ 6 مشروبات بقيمة $45 ونقطة استلام واحدة، وطلب مستحيل ينبغي فيه إبلاغ المستخدم بأن لا شيء مناسب.

وفي الأخيرة، تقرأ أداة التحقق سجلّ أوامر لا يستطيع الوكيل الكتابة فيه، لتتأكد من أنه بحث قبل أن يستسلم. ويجري تشغيل ذلك كله عبر Harbor، وهو إطار مفتوح المصدر من مؤلفي Terminal-Bench: فهو يشغّل الوكلاء داخل حاويات، ويتحقق من النتائج، ويسجّل أفعالهم.

وهناك تحفظات صريحة. لا يمكن تغطية كل الأفعال الممكنة لـ LLM مع منتجك، لذا ابدأ بمشكلة واحدة وعدد قليل من المهام. والمتوسطات العامة تخفي المهمة التي تفشل باستمرار، فانظر إلى النتائج لكل مهمة على حدة. وفي حالة خمس محاولات، لا تعني نسبة 100% إلا أن «الأخطاء لم تُرصد بعد»، لا أن الوكيل «لا يخطئ أبدًا». والأرقام في مثال القهوة توضيحية.

الخلاصة العملية: خذ أكثر الشكاوى تكرارًا من الوكلاء، وحوّلها إلى عدة مهام ذات فحص آلي، وشغّل كل مهمة عدة مرات. واختر المقياس بحسب ثمن الخطأ، وفي السيناريوهات المتكررة اعتمد على الموثوقية «في كل مرة».

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما الفرق بين eval والاختبار العادي؟

يجيب الاختبار العادي عن سؤال «هل نجح أم لا». أما eval فيجيب عن سؤال «كم مرة ونجح بأي درجة». وهذا ضروري لأن إجابات LLM تتغيّر من تشغيل إلى آخر: فتشغيل يدوي ناجح واحد لا يثبت شيئًا. ولمعرفة ما إذا كان الإصلاح قد أفاد، ينبغي تكرار المهام قبل التعديل وبعده ومقارنة النتائج. تقسّم Vercel اختبارات البرمجيات القائمة على الوكلاء بحسب عدد استدعاءات النموذج. الاختبارات الحتمية لا تستخدم LLM إطلاقًا: فهي تتحقق مثلًا من أن أمر البحث يُرجع المقاهي المطلوبة فقط، وأن الطلب يخصم المبلغ نفسه الذي ورد في الحساب.

ما أبرز التفاصيل حول مثال القهوة: الهدف والمقاييس؟

يعتمد العرض التجريبي من Vercel على خدمة خيالية اسمها SF Beans وأمرها sfbeans. طلب العميل: لاتيه كبير بارد بالحليب كامل الدسم، قبل الساعة 9:00، بسعر أقل من $8 شاملًا الضريبة والبقشيش، والمستخدم في حي Mission. من بين أربعة مقاهٍ، ثلاثة لا تناسب: في Fog City Roasters آلة صنع الثلج معطلة، وفي 24th St Beans يبلغ سعر اللاتيه مع الضريبة والبقشيش $9.27، وفي Dolores Drip أبكر موعد استلام هو 9:20. المقهى الوحيد المناسب هو Valencia Grind: $7.42 والجاهزية عند 8:50.

ما أبرز التفاصيل حول كيف تُبنى مجموعة المهام وما الذي لا ينبغي توقعه؟

تتألف المهمة الجيدة من تعليمات، وبيئة ذات بداية متطابقة لكل محاولة، وأداة تحقق (verifier) تفحص الحالة النهائية، ويفضَّل أن تفحص كل قيد على حدة، وحلّ مرجعي اختياري. ويجب أن تضم المجموعة حالة نموذجية، وحالات حدّية، وطلبًا واحدًا على الأقل يكون الصواب فيه ألا يفعل الوكيل شيئًا. في المثال أربع مهام: طلب عادي، و«المقهى المفضل لا يعدّ المشروب المطلوب»، وطلب جماعي لـ 6 مشروبات بقيمة $45 ونقطة استلام واحدة، وطلب مستحيل ينبغي فيه إبلاغ المستخدم بأن لا شيء مناسب.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
ما رأيك؟
جارٍ تحميل التعليقات…