النماذج المحلية خسرت أمام Opus وCodex: 0,21 نقطة على MacBook مقابل 1,00 لـ Codex

هل يمكن الاحتفاظ بـ«نظام وكلاء ليوم القيامة» يعمل دون اشتراك ودون قواعد يفرضها طرف آخر؟ اختبر ذلك عمليًا مؤلف دراسة على Habr، وهو مطوّر مشروع open-daimon. أعطى المؤلف المهمة نفسها لنماذج سحابية، ولجهاز MacBook Pro بمعالج Apple M5، ولحاسوب محمول للألعاب بمعالج رسوميات RTX 5080، ولجهاز NVIDIA DGX Spark. بقيت السحابة متقدمة بفارق كبير: سجّل Codex 1,00، وOpus 5.5 سجّل 0,96، أما أفضل نتيجة على MacBook فكانت 0,21. تنبيه مهم: ينقطع النص في الجزء المنشور عند وصف آخر تشغيل للنموذج الكثيف على Spark، ولذلك لا نرى الخلاصات النهائية للمؤلف.

لماذا احتاج المؤلف إلى نماذج محلية وكيف صُمّمت المهمة

يعرض المؤلف دوافعه بشكل مباشر. فشروط Anthropic للمستخدمين الأفراد تمنع سكان المنطقة الاقتصادية الأوروبية وسويسرا من الاستخدام التجاري لـ Claude.ai وPro وMax، وبالتالي فإن العمل في Claude Code عبر اشتراك Max يخالف القواعد من الناحية الرسمية. ويشير أيضًا إلى حالات رفض فيها Claude المساعدة في الحصول على صلاحيات root على تلفزيون LG يملكه المستخدم، وإلى باحث حُظر حسابه بعد تحليل البرنامج الثابت (firmware) عبر ChatGPT (والأخيرة مجرد رواية الباحث نفسه، ولم تعلّق OpenAI عليها). يضاف إلى ذلك اختفاء أوزان «منزوعة الرقابة» من Hugging Face، والتحقق من جواز السفر عبر Persona منذ أبريل.

بُني الاختبار على مستودع minibank: نحو 700 سطر بلغة Python، ودفتر أستاذ متعدد العملات، وملف DECISIONS.md يضم قرارات الفريق. جاء الطلب بصيغة مدير: كشف الحساب لا يطابق الرصيد، افهم السبب، أصلح الخطأ، وتحقق مما إذا كان الخلل نفسه يتكرر في مكان آخر. والفخاخ سبعة: محوّل طُعم يحمل docstring تقول «استخدمه في كل مكان»، وسعر صرف جرى تصحيحه بأثر رجعي، وحدّ الشهر بتوقيت UTC، وعمولة مسجلة في سطر مستقل، وتصدير CSV بتوقيت بصيغة ISO، ومحوّل قديم يُمنع تعديله، واختبار يثبّت أرقامًا خاطئة.

جرى التقييم دون علم الوكيل: 20 اختبارًا مخفيًا تمنح النصف، وسبعة شروط «دقيقة» تمنح 15%، وتسعة إصلاحات خاطئة بوضوح كان على اختبارات الوكيل نفسه أن تكشفها تمنح الربع، والقواعد تمنح 10%. وأُعيد حساب المقياس بحيث يعني الصفر «لم يتغير شيء»، وتعني القيمة السالبة «كسر أكثر مما أصلح». الحد الزمني 20 دقيقة.

ماذا أظهرت السحابة والحواسيب المحمولة وDGX Spark

المرجع السحابي: أنهى Codex (GPT-6.1 Sol، medium) المهمة في 101 ثانية بتكلفة نحو $0,14 للتشغيل، وOpus 5.5 في 91 ثانية بتكلفة $0,30، وClaude Fable 5.1 في 288 ثانية بتكلفة $1,79. قرأ الثلاثة جميعًا DECISIONS.md، وتجاوزوا الطُعم، وحدّثوا الاختبار «الخائن». ولم يظهر الفرق إلا في اختباراتهم الخاصة: اكتشف Codex 9 تعديلات خاطئة من أصل 9، وOpus وFable اكتشف كل منهما 8. وأظهرت عمليات التشغيل المتكررة أن هذا مجرد تشويش: فقد سجّل Opus وFable أحيانًا 0,92 أيضًا.

MacBook Pro M5 بذاكرة 32 ГБ: يعطي Qwen3 Coder 30B A3B (MoE، 4 بت) سرعة 52 رمز/ثانية وprefill بسرعة 743 رمز/ثانية، لكنه استبدل المحوّل واستمر في إعادة احتساب التحويل، فكان تقييمه 0. أما Qwen3.8 27B (5,4 رمز/ثانية) فقرأ DECISIONS.md، لكنه لم يجرِ أي تعديل خلال 20 دقيقة. وكان Gemma 4 12B الأفضل: 0,21 خلال 575 ثانية، إذ أخذ المبلغ المرحَّل بدل إعادة الاحتساب، لكنه أغفل UTC ووقت ISO والعمولة. وتحققت هذه النتيجة في ثلاث تشغيلات فقط من عشر، وفي تشغيل آخر كانت −0,17. ولم تقلّص إعدادات أخذ العينات (sampling) هذا التفاوت.

الحاسوب المحمول للألعاب بمعالج RTX 5080 (ذاكرة فيديو 16 ГБ) مع Qwen3.6-35B-A3B: ارتفعت السرعة عند سياق 42 ألف رمز من 9,5 إلى 94 رمز/ثانية بعد توزيع يدوي للطبقات في LM Studio. فجميع الطبقات الـ40 على بطاقة الرسوميات، وأوزان الخبراء على CPU لـ40% من الطبقات، وKV-cache بصيغة q8_0. ويعزو المؤلف التراجع السابق إلى أن LM Studio كانت تنقل الطبقات كاملة إلى المعالج مع آلية الانتباه. غير أن السرعة لم تضف جودة: فقد سجّلت الأداة الخفيفة pi نتيجة 0,31 خلال 285 ثانية، وسجّل OpenCode نتيجة 0,14 ولم يلتزم بالحد الزمني. يرسل OpenCode نحو 15 ألف رمز في الخطوة الأولى مقابل 2 200 لدى pi، كما أفرط نموذجه في الاستدلال فأنتج 55 ألف رمز مقابل 11 ألفًا.

على DGX Spark (شريحة GB10، ذاكرة مشتركة 128 ГБ، وvLLM، وNVFP4 — صيغة 4 بت بدعم عتادي في الشريحة) حصل Qwen3.6-35B-A3B المقطَّر على نمط Opus على 0,25: 12 اختبارًا من 20 اختبارًا مخفيًا و3 شروط من 7 شروط دقيقة. وأغفل هذا النموذج أشهر UTC ووقت ISO والعمولة في جميع التشغيلات الخمسة على جهازين وخادمين وأداتين. أما النموذج الكثيف ThinkingCap-Qwen3.8-27B فترك diff فارغًا عند حد 10 دقائق، مع أنه سمّى الخطأ الرئيسي بشكل صحيح في استدلاله؛ وبدون حد زمني أمضى 987 ثانية وحصل على 0,92.

الخلاصة العملية

يشترط المؤلف أن المهمة واحدة وبلغة Python، وأن عدد التشغيلات عادةً واحد أو اثنان، ولذلك لا يميّز هذا الاختبار بين النماذج المحلية المتشابهة. لكن الفجوة بين السحابة والنماذج المحلية السريعة لا يمكن تفسيرها بالتشويش. ويظهر عمليًا أمران. الأداة الخفيفة والضبط اليدوي للتفريغ (offload) يسرّعان الوكيل المحلي أضعافًا، لكن حجم النموذج هو ما يحدد الجودة. والنتيجة المحلية الوحيدة التي بلغت مستوى السحابة، وهي نموذج 27B الكثيف على Spark، استغرقت قرابة 16,5 دقيقة بدلًا من دقيقة ونصف.