ثنائي Opus وDeepSeek Flash حلّ 67% من المهام مقابل 81% لـ Opus وحده، وكلّف أكثر

تبدو الفكرة الشائعة منطقية: نموذج غالٍ مثل Opus يخطّط للعمل ويتحقق من النتيجة، ونموذج رخيص، مثل DeepSeek أو Qwen، يكتب الكود. يُفترض أن تبقى الجودة قريبة من مستواها السابق، وأن تنخفض الفاتورة. اختبر إبراهيم بادرتدينوف ذلك عمليًا وحصل على نتيجة معاكسة: حلّ الثنائي Opus وDeepSeek Flash نسبة 67% من المهام بتكلفة $1,29 للمهمة، بينما حقّق Opus وحده 81% بتكلفة $1,20.

كيف جُمعت مجموعة الاختبار

كان المؤلف يبني مجموعاته سابقًا من جلسات عمله الفعلية، لكن المهام فيها تبيّنت سهلة أكثر من اللازم، وعلى مثل هذه المهام يبدو أي ثنائي نماذج جيدًا. هذه المرة اختار 12 مهمة صعبة من معايير قياس (benchmarks) مفتوحة، هي الأقرب إلى عمله اليومي، ومعظمها من مستوى hard ML وSWE (هندسة البرمجيات). أجرى عدة جولات تشغيل وعدّل المهام نفسها يدويًا.

وهذا اكتشاف مستقل: فبحسب المؤلف، أكثر من نصف المهام في معايير القياس غير نزيهة. فالاختبارات إما أسقطت حلولًا صحيحة، وإما مرّرت حلولًا ضعيفة. وإذا قورنت النماذج دون هذا التنقيح، فسيكون جزء من الفروق في التصنيفات مجرد ضجيج صادر عن الفحوص نفسها. نُشرت المهام في Harbor، لذلك يستطيع أي شخص تشغيلها على إعداداته الخاصة. أما جدول النتائج الكامل والنقاشات فمتاحان في سلسلة على X ومنشور على Reddit.

شُغّل في المجموع نحو سبع إعدادات، منها المخطط المذكور في ورقة DeepSeek عن super agent وتركيبات مختلفة من النماذج.

لماذا لم يوفّر النموذج المنفّذ الرخيص المال

السبب الرئيسي هو كاش الموجّه (prompt cache)، فالأموال تذهب في معظمها إليه. وأثناء كتابة النموذج الرخيص للكود، ينتهي الكاش لدى Opus. وحين تعود السيطرة إلى Opus، يجب بناء السياق من جديد، وتكلفة ذلك أعلى من تكلفة عمل النموذج الرخيص كله. وهكذا تلتهم إعادة بناء الكاش الوفر الذي تحقق في توكنات التوليد. والخلاصة عملية لمطوّري خطوط الوكلاء (agentic pipelines): ينبغي حساب السلسلة كاملة، لا سعر توكن النموذج المنفّذ وحده، بما فيها فترات توقف سياق النموذج الغالي.

نجح أسلوب آخر مستوحى من ورقة DeepSeek. لم يُمنع Opus من كتابة الكود، بل أُبلغ ببساطة بأن توكناته أغلى 20 مرة. جاءت النتيجة نفسها، وانخفضت التكلفة تقريبًا إلى النصف: $0,71 للمهمة. أي أن النموذج يقرّر بنفسه حجم ما يفوّضه وما يكتبه بنفسه، ويوزّع الجهد أفضل من مخطط الأدوار الصارم.

النماذج الرخيصة تفوّقت وحدها على الثنائيات

أكثر النتائج مفاجأة أن النماذج الرخيصة تفوّقت على جميع الثنائيات دون أي تنسيق بينها. حلّ Terra نسبة 78% من المهام، وSol نسبة 75%، وكلاهما بتكلفة $0,17 للمهمة. هذا أرخص سبع مرات من Opus وحده، مع فارق في النتيجة لا يتجاوز بضع نقاط مئوية. ولم يكشف المنشور ما الذي يقف وراء الاسمين Terra وSol، ولذلك لا يمكن مقارنتهما بنماذج عامة محددة.

واختُبر دور المراجع بشكل منفصل. ففي خط المراجعة يفحص المراجع الفروقات (diffs)، وإذا وجد مشكلة طلب من النموذج المنفّذ إعادة العمل. أبدى Sol أداءً ممتازًا في هذا الدور، أما Opus فأداؤه متوسط. فالنموذج الغالي لا يضمن رقابة أفضل: المراجعة مهارة قائمة بذاتها، ولا يلزم أن تطابق المستوى العام للنموذج.

القيود والخلاصة العملية

العيّنة صغيرة: 12 مهمة فقط، ولذلك قد يكون فارق بضع نقاط مئوية مجرد ضجيج إحصائي. وقد اختيرت المهام وفق ملف مهندس واحد، هو hard ML وSWE، وقد تختلف الصورة في تطوير الويب أو إعادة الهيكلة الروتينية. ولا يعرض المنشور سوى نتائج الثنائي مع DeepSeek Flash، ولم تُذكر أرقام Qwen في دور المنفّذ.

ومع ذلك، فالمعالم واضحة. قبل بناء مخطط «عقل غالٍ وأيدٍ رخيصة»، ينبغي قياس التكلفة الكاملة مع احتساب الكاش. وإذا كان التوفير مطلوبًا، فجرّب إبلاغ النموذج الغالي بسعر توكناته، وانظر في تشغيل النماذج الرخيصة منفردة، فقد حققت على هذه المجموعة أفضل نسبة بين السعر والجودة. أما في المراجعة، فمن المنطقي اختبار مرشحين أكثر تواضعًا إلى جانب النموذج الرائد.