ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارAWS Machine Learning Blog→ المصدر

AWS وNVIDIA تعرضان طريقة لتوزيع طلبات وكيل البرمجة بين Claude Opus 5.5 وNemotron

ينفّذ وكيل البرمجة مثل Claude Code في المهمة الواحدة من بضعة طلبات إلى عشرات الطلبات، ولذلك لا يعكس سعر الرمز تكلفة المهمة. وقد نشرت AWS قالبًا تختار فيه مكتبة NVIDIA Switchyard داخل بوابة LiteLLM في كل خطوة بين Claude Opus 5.5 القوية ونموذج Nemotron 3 Super 120B الأرخص. وتُحتسب الجدوى بقسمة تكلفة جميع عمليات التشغيل على عدد عمليات التشغيل التي اجتازت الاختبارات، وبهذا يتضح ما إذا كان النموذج الأرخص يعوّض كلفته. يكتفي الموجّه من نوع Stage بالنظر إلى آخر 3 نتائج للأدوات ثم يختار بين نموذجين. أما الطلب الجديد الذي لا يملك سجلًّا فيذهب مباشرة إلى Nemotron 3 Super الأرخص. وتصف NVIDIA الإصدار Switchyard-server 0.3.0 بأنه نسخة تجريبية للتقييم، ولا يصلح للإنتاج.

معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
AWS وNVIDIA تعرضان طريقة لتوزيع طلبات وكيل البرمجة بين Claude Opus 5.5 وNemotron
المصدر: AWS Machine Learning Blog. كولاج: Hamidun News.
استمع للمقال

تخيّل أنك طلبت من وكيل برمجة إصلاح خلل ما. يقرأ الوكيل الملفات، ويعدّل الشيفرة، ويشغّل الاختبارات، ثم يعدّل مجددًا، وهكذا في حلقة متكررة حتى يعمل كل شيء. وقد تستهلك مهمة كهذه عدة استدعاءات للنموذج، وقد تستهلك عشرات الاستدعاءات. وأنت تدفع ثمن المهمة بأكملها لا ثمن استدعاء واحد، ولهذا فإن سعر الرمز لا يكشف تقريبًا شيئًا عن النفقات الفعلية. نشرت AWS في مدونتها مثالًا على كيفية توزيع طلبات الوكيل بين نموذجين على Amazon Bedrock: Claude Opus 5.5 القوي، وNVIDIA Nemotron 3 Super 120B الأرخص. كما يبيّن المثال كيف يمكن التحقق مما إذا كانت هذه الصيغة مجدية اقتصاديًا.

لماذا يجب احتساب المهام المحلولة لا الرموز

تعتمد التكلفة النهائية على ثلاثة عوامل: عدد خطوات النموذج اللازمة للمهمة، وحجم السجل الذي يُعاد إرساله في كل خطوة، وعدد المرات التي تُعاد فيها المهمة أو لا تكتمل أصلًا. وتُدفع كلفة كل محاولة، بما فيها المحاولات الفاشلة. ويقترح المؤلفون مقياسًا بسيطًا: تكلفة جميع عمليات التشغيل مقسومة على عدد عمليات التشغيل التي اجتازت فيها الاختبارات. وقد يتبيّن بسهولة أن النموذج الرخيص ذا نسبة النجاح المنخفضة أغلى من النموذج القوي الذي ينجز المهمة من المحاولة الأولى.

كيف يعمل التوجيه

NVIDIA NeMo Switchyard مكتبة مفتوحة المصدر تقرّر أي نموذج سيعالج الطلب التالي للوكيل. وعند ربطها مع LiteLLM، وهي بوابة مفتوحة المصدر للنماذج اللغوية الكبيرة، تتوفر استراتيجيتان. تنظر Stage إلى أحدث نتائج الأدوات في سجل المحادثة وتختار بين مرشحين: نموذج قادر، أو نموذج كفؤ وأرخص. أما Random فتوزّع الحركة وفق أوزان محددة، وهذا مناسب لمقارنات A/B: ففي المثال يقسم الملف الحركة بنسبة 50 إلى 50.

في القالب، النموذج «القادر» هو Claude Opus 5.5 والنموذج «الكفؤ» هو Nemotron 3 Super 120B. والترتيب في ملف الإعداد مهم: فالأول يُعدّ القوي والثاني الأرخص. ويعني الإعداد efficient_first أنه عند غموض الإشارات يُختار النموذج الأرخص. والطلب الجديد لا يحتوي بعد على نتائج أدوات، ولذلك يُرسل أولًا إلى Nemotron. ونافذة التحليل تساوي آخر ثلاث نتائج. ولا يُستدعى نموذج حَكَم للاختيار، ولذلك يجب على الوكيل أن يرسل سجل المحادثة كاملًا، وإلا لن يجد Stage ما يقرأه. أما الاستراتيجيات التي تحتاج إلى استدعاءات وسيطة لنموذج مصنِّف، مثل Task وComposite، فلا يدعمها هذا التكامل.

ويصف ملف الإعداد أيضًا مجموعتين منفردتين: Claude فقط وNemotron فقط. وهما تُستخدمان كمجموعتي ضبط، لمقارنة التوجيه بكل نموذج على حدة ضمن النشر نفسه.

ما الذي يحتويه القالب وما التحفظات

يرفع القالب المبني على AWS CDK بوابة LiteLLM مع إضافة Switchyard المدمجة في حاوية واحدة على ECS Fargate داخل شبكات فرعية خاصة. وتمر الطلبات عبر موازن حمل يعمل بـ HTTPS مع شهادة ACM وجدار AWS WAF وتقييد بنطاق عناوين IP الخاص بك. ولا يسمح الموازن إلا بثلاثة مسارات: /v1/chat/completions و/v1/models و/health/liveliness. أما لوحة الإدارة ووثائق LiteLLM فلا يمكن الوصول إليهما من الخارج. وتتصل البوابة بـ Bedrock عبر Converse API ونقطة نهاية VPC واجهية، ولذلك تبقى الحركة داخل شبكة AWS. ويولّد Secrets Manager مفتاح البوابة، وتُحفظ السجلات في CloudWatch لمدة 30 يومًا. ويمكن معرفة النموذج الذي أجاب من الترويسة x-litellm-model-name، بينما يظل الحقل model في متن الاستجابة switchyard.

أما القيود فهي التالية. تصف NVIDIA الإصدار switchyard-server 0.3.0 بأنه مكوّن تجريبي للتقييم، والتكامل مع LiteLLM تجريبي، وقد يتغير الإعداد بين الإصدارات. وتصنّف AWS الشيفرة نفسها نموذجًا للحسابات غير الإنتاجية. لا تضع مفاتيح AWS في litellm.yaml: فالملف ينسخ بالكامل إلى تعريف المهمة وإلى قالب CloudFormation بنص مكشوف. والبادئة global. في Claude تعني ملفًا عالميًا عابرًا للمناطق، وقد تُعالج الطلبات في مناطق أخرى. وإذا كان مكان المعالجة مهمًا، فاختر ملفًا جغرافيًا أو نموذجًا في منطقتك. وقد جرى التحقق من زوج النموذجين في US East (N. Virginia)، أما التوفر في المناطق الأخرى فيجب التحقق منه على حدة.

الخلاصة العملية

يفيد المثال الفرق التي تشغّل وكلاء البرمجة بالفعل وتريد اختبار فرضية مفادها أن جزءًا من الخطوات يمكن إسناده إلى نموذج رخيص دون خسارة في نسبة المهام المحلولة. وتتضمن الحزمة مشغّلات لاختبارات الأداء تحتسب تكلفة المهمة المحلولة للمجموعة الموجَّهة وللمجموعات المنفردة الضابطة. ولا توجد في الجزء المتاح من المقالة أرقام نهائية للتوفير، ولذلك يجب قياس النتيجة على مهامك الخاصة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول لماذا يجب احتساب المهام المحلولة لا الرموز؟

تعتمد التكلفة النهائية على ثلاثة عوامل: عدد خطوات النموذج اللازمة للمهمة، وحجم السجل الذي يُعاد إرساله في كل خطوة، وعدد المرات التي تُعاد فيها المهمة أو لا تكتمل أصلًا. وتُدفع كلفة كل محاولة، بما فيها المحاولات الفاشلة. ويقترح المؤلفون مقياسًا بسيطًا: تكلفة جميع عمليات التشغيل مقسومة على عدد عمليات التشغيل التي اجتازت فيها الاختبارات. وقد يتبيّن بسهولة أن النموذج الرخيص ذا نسبة النجاح المنخفضة أغلى من النموذج القوي الذي ينجز المهمة من المحاولة الأولى.

ما أبرز التفاصيل حول كيف يعمل التوجيه؟

NVIDIA NeMo Switchyard مكتبة مفتوحة المصدر تقرّر أي نموذج سيعالج الطلب التالي للوكيل. وعند ربطها مع LiteLLM، وهي بوابة مفتوحة المصدر للنماذج اللغوية الكبيرة، تتوفر استراتيجيتان. تنظر Stage إلى أحدث نتائج الأدوات في سجل المحادثة وتختار بين مرشحين: نموذج قادر، أو نموذج كفؤ وأرخص. أما Random فتوزّع الحركة وفق أوزان محددة، وهذا مناسب لمقارنات A/B: ففي المثال يقسم الملف الحركة بنسبة 50 إلى 50. في القالب، النموذج «القادر» هو Claude Opus 5.5 والنموذج «الكفؤ» هو Nemotron 3 Super 120B.

ما أبرز التفاصيل حول ما الذي يحتويه القالب وما التحفظات؟

يرفع القالب المبني على AWS CDK بوابة LiteLLM مع إضافة Switchyard المدمجة في حاوية واحدة على ECS Fargate داخل شبكات فرعية خاصة. وتمر الطلبات عبر موازن حمل يعمل بـ HTTPS مع شهادة ACM وجدار AWS WAF وتقييد بنطاق عناوين IP الخاص بك. ولا يسمح الموازن إلا بثلاثة مسارات: /v1/chat/completions و/v1/models و/health/liveliness. أما لوحة الإدارة ووثائق LiteLLM فلا يمكن الوصول إليهما من الخارج. وتتصل البوابة بـ Bedrock عبر Converse API ونقطة نهاية VPC واجهية، ولذلك تبقى الحركة داخل شبكة AWS.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
ما رأيك؟
جارٍ تحميل التعليقات…