ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

نموذج Gemma 4 نفسه كتب باكند بنسبة 80% في opencode وبنسبة 41% فقط في OpenHands

هل يمكن تسليم نموذج محلي باكند حقيقياً بقاعدة بيانات وطابور رسائل وقواعد مشروع؟ شغّل المؤلف 4 نماذج مفتوحة عبر هارنسين (harness، أي برنامج غلاف يمنح الوكيل طرفية ومحرراً): 8 ثنائيات بواقع 3 تشغيلات لكل منها، أي 24 تشغيلاً في المجموع. اجتازت Gemma 4 في opencode نحو 80% من الفحوص، بينما اجتازت Gemma نفسها في OpenHands 41% فقط. لذلك ينبغي اختيار الثنائية «النموذج + الهارنس» لا النموذج وحده.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
نموذج Gemma 4 نفسه كتب باكند بنسبة 80% في opencode وبنسبة 41% فقط في OpenHands
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
Gemma في opencode72 دقيقة و145 ألف توكن، مقابل 227 دقيقة و596 ألف توكن لـQwen
حقيقة رئيسية #2أفضل تشغيل لـQwen حقق 96% وتعثّر في اللينتر فقط
حقيقة رئيسية #3فحص «قاعدة البيانات صامتة، و/ready يردّ بـ503» اجتازه تشغيلان فقط من أصل 24

تُطرح النماذج المحلية ذات الأوزان المفتوحة بديلاً عن النماذج السحابية بصورة متزايدة: فالشيفرة لا تغادر الجهة، والتكلفة لا تتوقف على تعرفة الآخرين. لكن هل يمكن إعطاء نموذج كهذا مهمة حقيقية لا مجرد دالة تجريبية، أي باكند كاملاً بقاعدة بيانات وطابور رسائل وقواعد مشروع، والحصول على شيفرة تعمل وتلتزم بهذه القواعد في آن واحد؟ اختبر المؤلف ذلك على أربعة نماذج وهارنسين. الهارنس (harness) برنامج غلاف حول النموذج: يمنح الوكيل طرفية ومحرر ملفات، ويراقب سير العمل.

نفّذت كل ثنائية من الثنائيات الثماني «نموذج + هارنس» المهمة ثلاث مرات، أي 24 تشغيلاً في المجموع. النسبة الواردة في العنوان هي حصة الفحوص المجتازة (سلوك الخدمة والتزام قواعد المشروع) بمتوسط على خمس خطوات، وتُعتمد للثنائية الواحدة قيمة وسيط التشغيلات الثلاثة. خلاصة المؤلف المختصرة: كاد الأمر ينجح.

حققت أفضل الثنائيات 80% و79%، لكن لم تنجح أي ثنائية دون ملاحظة واحدة على الأقل.

ما الذي جرى اختباره وكيف

المهمة واحدة: كتابة خدمة بـFastAPI مع PostgreSQL وRabbitMQ من الصفر. قُسّمت المهمة إلى خمس خطوات، كما كان سيفعل قائد فريق: الهيكل، وواجهة API، وقواعد المجال، وقاعدة البيانات، وعامل الطابور (worker). ينفّذ الوكيل كل خطوة في جلسة جديدة ويكمل شيفرته من الخطوة السابقة، ولهذا تتراكم الأخطاء: إذا كانت الخدمة معطلة في الخطوة الثانية، تبدأ الثالثة من شيفرة معطلة. تقع قواعد المشروع في ملف AGENTS.md، وتصف معمارية نظيفة بعناصر من DDD.

جرى التقييم على ثلاث طبقات. الأولى 68 اختباراً مخفياً تستهدف الخدمة عبر HTTP وRabbitMQ، ولا يراها الوكيل. الثانية 8 فحوص عامة للقواعد: اللينتر، والأنواع، وحدود الطبقات، واختبارات الوكيل الخاصة الخضراء، وملفات الإعداد التي لم تُمَس. الثالثة قاضٍ هو LLM من نوع Claude Fable يقيّم 22 معياراً معمارياً، ويُحتسب تقييمه برقم منفصل. إذا لم يُجتز فحص إلزامي (مثلاً لا تُطبَّق الترحيلات على قاعدة فارغة)، أو لم يلتزم الوكيل بمهلة ساعتين للخطوة، تحصل الخطوة على صفر.

فحص المؤلف الاختبارات نفسها أيضاً: كتب Claude Code الحل المرجعي، وأُعدّت إلى جانبه 23 نسخة معطوبة منه. في البداية لم تكن الاختبارات تلتقط كل شيء: في الخطوة الأولى اجتازت 3 نسخ من أصل 6 نسخ معطوبة، ونالت نسخة يردّ فيها /ready خلال 62 ثانية بدل 5 الدرجة الكاملة. فأُكملت الاختبارات. وقورن القاضي بقاضٍ ثانٍ هو GPT-5.6-Sol: تطابقت التقييمات تماماً في 27 حالة من 30.

من نجح وكيف

النماذج: Qwen3.8–27B وGemma 4 31B وNemotron 3 Super (نموذج MoE، منها 12 مليار معامل نشط من أصل 120 مليار) وDevstral 2 (123 مليار معامل). الهارنسان: opencode الطرفي، ومنصة OpenHands الأثقل التي تضم كاشف حلقات التكرار.

  • Gemma على opencode — 80% (التشتت 76–96%). يستغرق التشغيل 72 دقيقة و145 ألف توكن. وتجتاز 81% من الفحوص في التشغيلات الثلاثة كلها. أما على OpenHands فحقق النموذج نفسه 41%، ولا تتقاطع نطاقات تشغيلاته.
  • Qwen على opencode — 79% (78–96%). يعدّ المؤلف فارق نقطة مئوية واحدة، مع هذا التشتت، تعادلاً. اجتاز أفضل تشغيل كل فحوص السلوك وتعثّر في اللينتر فقط، فحقق 96%، ومع خطاف pre-commit الذي يشغّل اللينتر تلقائياً وصل أحد التشغيلات إلى 99%. لكن التشغيل يستغرق 227 دقيقة و596 ألف توكن، أي ثلاثة أضعاف الوقت وأربعة أضعاف التوكنات تقريباً مقارنة بـGemma. منح القاضي Qwen 87% مقابل 77% لـGemma، غير أن الثنائيتين متساويتان في الاختبارات. ويجتاز Qwen 69% من الفحوص في التشغيلات الثلاثة جميعها.
  • Qwen على OpenHands — 59%؛ وجميع الخطوات الأربع التي حصلت على صفر كانت بسبب حد الوقت.
  • أما بقية الثنائيات فوسيطاتها بين 41% و55%، ولا يمكن ترتيبها فيما بينها. يستهلك Devstral على opencode 114–188 ألف توكن فقط في التشغيل، لكن الخدمة عنده غير عاملة في الخطوتين 4–5 في التشغيلات الثلاثة كلها.

أين تعثّر الوكلاء

أصعب فحص: تتوقف قاعدة البيانات عن الاستجابة وتبقى الاتصالات مفتوحة، وعلى /ready أن يعيد 503 خلال 10 ثوانٍ. اجتاز الفحص تشغيلان فقط من 24؛ ومن 22 إخفاقاً كان 17 منها تعليقاً. وفي 15 منها تكاد الشيفرة تكون واحدة: مؤقّت asyncio حول اتصال من المجمّع (pool). يبدو الحل صحيحاً، لكن الخروج من الكتلة ينتظر مع ذلك ردّ الخادم. وحده Qwen على opencode لم يصدّق ذلك واختبره على PostgreSQL مزيّف يقبل الاتصال ويصمت (نحو 130 خطوة من 169)، ثم انتقل إلى asyncpg الخام مع terminate(). أما الناجح الثاني فكان ينشئ engine جديداً مع كل طلب، مخالفاً قاعدة «engine واحد لكل عملية»، والاختبار لا يرى ذلك.

أفسدت Gemma على OpenHands الملفات: أمر cat مع heredoc بلا علامات اقتباس (<<EOF) ضاعف النص في 17 استدعاءً من 24، أما مع علامات الاقتباس (<<'EOF') فلم يحدث ذلك ولا مرة من 9. أما Qwen وNemotron على الهارنس نفسه فيكتبان دائماً مع علامات الاقتباس: 0 إخفاق من 97. فسدت 5 ملفات في تشغيلين من ثلاثة. لاحظ الوكيل الفساد، لكنه كرر الأمر نفسه 4 مرات، فقطع كاشف حلقات التكرار الجلسة. لم يبحث المؤلف في سبب تصرف الطرفية هكذا: فهذا ارتباط (correlation) لا أكثر.

تبيّن أن قاعدة الهارنس أقوى من قاعدة المشروع. اشترطت المهمة إنهاء الخطوة بـcommit، لكن بعد ضغط التاريخ الطويل بقي الشرط في الملخص فقط، بينما يأمر موجّه النظام (system prompt) في opencode بعدم إجراء commit دون طلب صريح. وفي 13 خطوة من هذا النوع لم يستدعِ الوكيل git commit ولا مرة. ونقل القاعدة إلى AGENTS.md أفاد في حالة واحدة فقط من 6. وفي أحد تشغيلات Gemma أفسد الوكيل بنفسه تاريخ git، فلم يبقَ للقاضي أي لقطات من الشيفرة.

ما العمل عملياً

  • قيّموا الثنائية «النموذج + الهارنس»، لا النموذج وحده.
  • أوكلوا القواعد الإلزامية إلى الأدوات (اللينتر، الخطافات) لا إلى نص الموجّه.
  • لا تقبلوا الاختبارات الخضراء دليلاً: تحققوا مما إذا كانت تلتقط شيفرة معطوبة عمداً.
القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما الذي جرى اختباره وكيف؟

المهمة واحدة: كتابة خدمة بـFastAPI مع PostgreSQL وRabbitMQ من الصفر. قُسّمت المهمة إلى خمس خطوات، كما كان سيفعل قائد فريق: الهيكل، وواجهة API، وقواعد المجال، وقاعدة البيانات، وعامل الطابور (worker). ينفّذ الوكيل كل خطوة في جلسة جديدة ويكمل شيفرته من الخطوة السابقة، ولهذا تتراكم الأخطاء: إذا كانت الخدمة معطلة في الخطوة الثانية، تبدأ الثالثة من شيفرة معطلة. تقع قواعد المشروع في ملف AGENTS.md، وتصف معمارية نظيفة بعناصر من DDD. جرى التقييم على ثلاث طبقات.

ما أبرز التفاصيل حول من نجح وكيف؟

النماذج: Qwen3.8–27B وGemma 4 31B وNemotron 3 Super (نموذج MoE، منها 12 مليار معامل نشط من أصل 120 مليار) وDevstral 2 (123 مليار معامل). الهارنسان: opencode الطرفي، ومنصة OpenHands الأثقل التي تضم كاشف حلقات التكرار. Gemma على opencode — 80% (التشتت 76–96%). يستغرق التشغيل 72 دقيقة و145 ألف توكن. وتجتاز 81% من الفحوص في التشغيلات الثلاثة كلها. أما على OpenHands فحقق النموذج نفسه 41%، ولا تتقاطع نطاقات تشغيلاته. Qwen على opencode — 79% (78–96%). يعدّ المؤلف فارق نقطة مئوية واحدة، مع هذا التشتت، تعادلاً.

ما أبرز التفاصيل حول أين تعثّر الوكلاء؟

أصعب فحص: تتوقف قاعدة البيانات عن الاستجابة وتبقى الاتصالات مفتوحة، وعلى /ready أن يعيد 503 خلال 10 ثوانٍ. اجتاز الفحص تشغيلان فقط من 24؛ ومن 22 إخفاقاً كان 17 منها تعليقاً. وفي 15 منها تكاد الشيفرة تكون واحدة: مؤقّت asyncio حول اتصال من المجمّع (pool). يبدو الحل صحيحاً، لكن الخروج من الكتلة ينتظر مع ذلك ردّ الخادم. وحده Qwen على opencode لم يصدّق ذلك واختبره على PostgreSQL مزيّف يقبل الاتصال ويصمت (نحو 130 خطوة من 169)، ثم انتقل إلى asyncpg الخام مع terminate().

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…