Airbnb تغيّر نموذج وكلاء البرمجة، وإنفاق كبار المستخدمين ينخفض 7 أضعاف
تختار Airbnb نماذج وكلاء البرمجة بحسب تكلفة المهمة كاملةً، لا بحسب نتائج المعايير. تفوّق النموذج A في الاختبارات بأكثر من 3 نقاط، لكن تكلفة كل طلب في بيئة الإنتاج تضاعفت ثلاث مرات، وارتفع عدد الطلبات ثلاثة أضعاف أيضًا. ثم نُقل المستخدمون الأكثر استهلاكًا إلى نموذج تقل تكلفة المهمة عليه 6 أضعاف، فانخفض إنفاقهم 7 أضعاف. الخلاصة: قارِنوا نتائج الاختبارات بالفاتورة الفعلية بعد الإطلاق.
معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
تخيّلوا أنكم استبدلتم في فريقكم نموذج وكيل البرمجة بالنموذج الذي يبدو الأفضل في الاختبارات، وبعد أسابيع قليلة تصلكم من قسم المحاسبة فاتورة تفوق المتوقع بأضعاف. هذا بالضبط ما حدث في Airbnb. سجّل النموذج A في المهام الداخلية أكثر من ثلاث نقاط فوق المتصدّر السابق، بسعر مماثل تقريبًا. لكن في بيئة الإنتاج تضاعفت تكلفة كل طلب ثلاث مرات، وبدأ المهندسون يرسلون طلبات تزيد ثلاثة أضعاف. وحين نُقل المستخدمون الأكثر استهلاكًا إلى نموذج آخر، انخفض إنفاقهم على النموذج الرئيسي بنحو 7 أضعاف. وروت الشركة في مدونة AWS كيف يمكن تجنّب هذا الفخ على Amazon Bedrock: لا يُحتسب سعر المليون رمز، بل تكلفة المهمة كاملةً (cost per task)، أي كلفة جميع الرموز التي أنفقها الوكيل ليوصل مهمة واحدة إلى نتيجتها.
لماذا لا تجيب المعايير عن السؤال الأهم
يستخدم آلاف الموظفين كل أسبوع أداة AirChat الداخلية لتشغيل وكلاء البرمجة. وتمر جميع الطلبات عبر بوابة LLM مبنية فوق Bedrock. خلال خمسة أسابيع صدرت ثمانية نماذج جديدة، وبحلول منتصف أكتوبر كان نحو ثلثي الطلبات يُوجَّه إليها. ويغيّر كل نموذج في آن واحد عدد رموز الخرج والسعر وزمن الاستجابة والحمل على الحصص، أما الرسوم البيانية في إعلان الإطلاق فلا تُظهر كيف سيتعامل النموذج مع عمل مهندسيكم أنتم تحديدًا.
لذلك لدى Airbnb نظامان. قبل الإطلاق، تقيس الشركة على مهامها الخاصة الدرجة وتكلفة المهمة لكل نموذج ولكل مستوى من reasoning effort، وهو الإعداد الذي يحدد مقدار «تفكير» النموذج قبل الإجابة. وبعد الإطلاق، تراقب ما تغيّر في بيئة الإنتاج.
يرسل الوكيل طلبات كثيرة لمهمة واحدة، وفي كل طلب يعيد النموذج قراءة السياق المتراكم من جديد. لذا تُحتسب أربعة أنواع من الرموز: الدخل العادي، والقراءة من الذاكرة المؤقتة (cache)، والكتابة فيها، والخرج. ويشمل المتوسط المحاولات الفاشلة أيضًا. ففي أحد النماذج، أعطى الانتقال من effort منخفض (low) إلى مرتفع (high) زيادة قدرها 0.8 نقطة، مقابل تكلفة مهمة أعلى 2.5 مرة. وبناءً على هذه البيانات تُحدَّد سقوف effort التي تفرضها البوابة فعليًا.
ويجري التقييم بسرعة: في يوم صدور النموذج يطلق طلب واحد حملة اختبار على سبع مجموعات من المهام، وبحلول الصباح تكون لدى النموذج درجة وتكلفة. وكل مهمة عبارة عن مجلد يضم تعليمات وملف Dockerfile وسكربتًا للتحقق وحلًّا مرجعيًا. وينصح المؤلفون بالبدء بإطار العمل المفتوح Harbor. وأصعب ما في الأمر كتابة معيار التقييم (rubric): فالمهام الطويلة تمر بعدة جولات مع مراجع محاكى، ويقيّم نموذج حَكَم العمل وفق ثمانية معايير. وإذا اضطر المراجع إلى انتشال الوكيل أكثر من مرة، فإن الحد الأقصى للنتيجة النهائية 25 نقطة من 100.
حين تحوّل التقييم الجيد إلى فاتورة
أُطلق النموذج A مع تقييد effort عند مستوى high، وطُلب من المستخدمين استخدام low أو medium. وبعد أسابيع قليلة تبيّن أن الإنفاق لكل مستخدم أعلى بأضعاف. لم تشكّل رموز الخرج سوى عُشر تكلفة الطلب، بينما ذهب الجزء الأكبر من المال إلى السياق المخزَّن مؤقتًا الذي كان يُعاد قراءته مرارًا. فالنموذج قادر على العمل مستقلًا لفترات طويلة، وراح الناس يشغّلون جلسات ذاتية طويلة.
ثم صدر نموذج حقق على المهام نفسها درجات أعلى بتكلفة مهمة أقل بنحو 6 مرات. ونُقل مستخدمو النموذج A إليه بتغيير الإعدادات فقط. وخلال أول أسبوع كامل بقي عدد الطلبات على حاله، بينما انخفض إنفاق المجموعة على النموذج الرئيسي بنحو 7 أضعاف.
المراقبة والحصص ونسبة النفقات إلى أصحابها
إذا ارتفع زمن الاستجابة، تنظر Airbnb في ثلاثة مقاييس: TimeToFirstToken وOutputTokenCount والسرعة المستنتجة للتوليد (OTPS = OutputTokenCount / (InvocationLatency − TimeToFirstToken) × 1000). في المثال المذكور ارتفع زمن الاستجابة 40% بينما بقيت السرعة كما هي: فقد عدّل أحدهم موجّه النظام (system prompt)، فصارت الإجابات أطول بنسبة 50%. وينصح المؤلفون بتسجيل تغيير الموجّه والنموذج على لوحة المراقبة بوصفهما عمليات نشر (deploys).
أما الحصص فالالتباس فيها من نوع آخر. تحجز Bedrock لكل طلب رموز الدخل غير المخزَّنة مؤقتًا، وعمليات الكتابة في الذاكرة المؤقتة، وقيمة max_tokens. أما القراءات من الذاكرة المؤقتة فلا تدخل في الحصة، ولذلك قد يكون الطلب رخيصًا بالنسبة إلى الحصة ومكلفًا بالنسبة إلى الفاتورة. في المثال الذي بحصة 1 مليون رمز في الدقيقة و300 طلب في الدقيقة، أظهرت لوحة المراقبة نحو 30%، لكن مع احتساب معامل 5:1 لرموز الخرج بلغت النسبة الفعلية نحو 77%. وبلغ الحجز لكل طلب 4696 رمزًا، مع أن الإجابات كانت تكفيها نحو 800 رمز عند p99. وخفض max_tokens إلى 1024 قلّص الحجز إلى 1624 رمزًا، أي بنحو 65%، فصارت الحصة تستوعب طلبات أكثر. وتُرصد الإجابات المقطوعة عبر stopReason.
وتحتفظ Airbnb لكل نموذج كبير بنموذج مكافئ بحسب نتائج التقييم، يمكن إعادة توزيع الحركة إليه بتغيير الإعدادات. وللنماذج ذات الحالة Legacy تضبط تنبيهًا على LegacyModelInvocations. وتُحتسب النفقات بحسب الفرق عبر وسوم أدوار IAM وapplication inference profiles، أما بيانات الطلب الوصفية فتذهب إلى السجلات فقط ولا تدخل في الفاتورة.
ما الذي يمكن الاستفادة منه
- احتسبوا تكلفة المهمة كاملةً، لا سعر المليون رمز.
- بعد الإطلاق، قارنوا نتيجة التقييم بحصة الذاكرة المؤقتة وبعدد الطلبات لكل شخص.
- قيّدوا max_tokens وeffort، واحتفظوا بنموذج احتياطي.
قيد: الأسعار مأخوذة من قائمة الأسعار العلنية لا من الخصومات الفعلية، كما أنكم تحتاجون إلى مجموعة مهام خاصة بكم مع مقيّم (grader) موثوق.
- 18 نوفمبر 2026AWS تدمج Dynamo في HyperPod: نموذج Qwen3-235B يولّد 207 رموز/ثانية لكل GPU بدلاً من 101
- 18 نوفمبر 2026نموذج Jev الجديد يستجيب في 150 مللي ثانية مقابل 1,89 ثانية لدى GPT-6 Astra
- 18 نوفمبر 2026AWS تعرض كيفية تمرير وكلاء Bedrock إلى واجهات API الخاصة عبر جدار حماية مركزي
- 18 نوفمبر 2026Duco تقلّص سياق الوكلاء بنسبة 90% وتسرّع نقل عمليات المطابقة المصرفية 10 أضعاف
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول لماذا لا تجيب المعايير عن السؤال الأهم؟
يستخدم آلاف الموظفين كل أسبوع أداة AirChat الداخلية لتشغيل وكلاء البرمجة. وتمر جميع الطلبات عبر بوابة LLM مبنية فوق Bedrock. خلال خمسة أسابيع صدرت ثمانية نماذج جديدة، وبحلول منتصف أكتوبر كان نحو ثلثي الطلبات يُوجَّه إليها. ويغيّر كل نموذج في آن واحد عدد رموز الخرج والسعر وزمن الاستجابة والحمل على الحصص، أما الرسوم البيانية في إعلان الإطلاق فلا تُظهر كيف سيتعامل النموذج مع عمل مهندسيكم أنتم تحديدًا. لذلك لدى Airbnb نظامان.
ما أبرز التفاصيل حول حين تحوّل التقييم الجيد إلى فاتورة؟
أُطلق النموذج A مع تقييد effort عند مستوى high، وطُلب من المستخدمين استخدام low أو medium. وبعد أسابيع قليلة تبيّن أن الإنفاق لكل مستخدم أعلى بأضعاف. لم تشكّل رموز الخرج سوى عُشر تكلفة الطلب، بينما ذهب الجزء الأكبر من المال إلى السياق المخزَّن مؤقتًا الذي كان يُعاد قراءته مرارًا. فالنموذج قادر على العمل مستقلًا لفترات طويلة، وراح الناس يشغّلون جلسات ذاتية طويلة. ثم صدر نموذج حقق على المهام نفسها درجات أعلى بتكلفة مهمة أقل بنحو 6 مرات. ونُقل مستخدمو النموذج A إليه بتغيير الإعدادات فقط.
ما أبرز التفاصيل حول المراقبة والحصص ونسبة النفقات إلى أصحابها؟
إذا ارتفع زمن الاستجابة، تنظر Airbnb في ثلاثة مقاييس: TimeToFirstToken وOutputTokenCount والسرعة المستنتجة للتوليد (OTPS = OutputTokenCount / (InvocationLatency − TimeToFirstToken) × 1000). في المثال المذكور ارتفع زمن الاستجابة 40% بينما بقيت السرعة كما هي: فقد عدّل أحدهم موجّه النظام (system prompt)، فصارت الإجابات أطول بنسبة 50%. وينصح المؤلفون بتسجيل تغيير الموجّه والنموذج على لوحة المراقبة بوصفهما عمليات نشر (deploys). أما الحصص فالالتباس فيها من نوع آخر.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.