بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

Qwen محلي يحقق 92,3% من النقاط في البحث بسجل مختبري و40,9% في تشغيل منظومة

لا يعني الأداء الجيد في البحث بالوثائق أن بالإمكان ائتمان وكيل على المعدات. ففي تجربة موصوفة على Habr، حقق Qwen المشغّل محليًا 92,3% من النقاط في مهام السجل المختبري، لكنه لم يحقق سوى 40,9% على منصة اختبار التحكم بالمنظومة. فقد وصف، مثلًا، التحقق من نص وصفة تشغيل كما لو أنه تشغيل اكتمل بالفعل. وهذا يدعو المطورين إلى اختبار البحث، وتسلسلات الإجراءات الطويلة، والالتزام بصلاحيات الوصول، كلًّا على حدة.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
Qwen محلي يحقق 92,3% من النقاط في البحث بسجل مختبري و40,9% في تشغيل منظومة
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1حقق Qwen نسبة 62,5% من النقاط في مهام بصريات الأشعة السينية.
حقيقة رئيسية #2رفع تصحيح الدليل المنهجي نتيجة Qwen من 47,5% إلى 62,5%.
حقيقة رئيسية #3لم يؤدّ تصحيح استدعاءات الأدوات إلى إزالة الأخطاء في الاستنتاجات.

عثر الوكيل على المدخلة المطلوبة في قاعدة البيانات، ونقل الأرقام بدقة، وقدّم إجابة مقنعة. فهل يمكن ربطه بأدوات العمل؟ في تجربة مختبرية موصوفة على Habr، أحسن Qwen المشغّل محليًا التعامل مع السجل، لكن أداءه كان أضعف بوضوح في الحسابات والتحكم بالمنظومة. وفي إحدى الحالات، تحقّق من نص وصفة تشغيل، وقرأ قياسات حجرة متوقفة عن العمل، ثم وصف الأمر كله كما لو أن عملية الترسيب قد نُفذت بالفعل.

يمثل هذا التحليل مادة مفيدة للفرق التي تبني وكلاء يعتمدون على الوثائق الداخلية وواجهات API. فهو يوضح الأخطاء التي تبقى بعد أن يتعلم النموذج العثور على البيانات وصياغة استدعاءات الدوال بصورة صحيحة. وجميع النتائج المذكورة هي بيانات جمعها مؤلفو المقال على منصات الاختبار الخاصة بهم، وليست تصنيفًا عامًا للنماذج.

ثلاث مهام — ثلاث نتائج مختلفة

اختبر المؤلفون ستة نماذج على 68 مهمة: البحث في مدخلات السجل المختبري ومطابقتها، وإعادة بناء بنية المرايا انطلاقًا من قياسات الأشعة السينية، والعمل مع محاكي منظومة تفريغ.

حصل Qwen المحلي على 24 نقطة من أصل 26، أي 92,3%، في مهام السجل. وكان يعثر على الأخطاء المطبعية، ويرصد الخلط بين الوحدات، ويطابق المدخلات مع ملفات القياس. لكن نزعة مقلقة ظهرت حتى هنا: تحويل المعلومات الملتبسة إلى تأكيدات واثقة. فعندما كان اسم العينة داخل الملف يختلف عن اسم الملف وسجل تعديلاته، كان النموذج قد يقرر من تلقاء نفسه إلى أي عينة ينتمي الملف.

بلغت النتيجة في مهام قياس انعكاسية الأشعة السينية 62,5%. والمطلوب هنا هو استنتاج سماكات طبقات المرآة ومعلماتها الأخرى من منحنى مقاس. ويمكن لبنى مختلفة أن تنتج منحنيات متشابهة. لذلك، فإن التوافق العددي الجيد يظل بحاجة إلى التحقق: على النموذج أن يبحث عن بدائل، وأن يوضح المعلمات التي لا يمكن تحديدها بصورة قاطعة.

وعلى منصة اختبار التحكم بالمنظومة، حصل Qwen على 9 نقاط من أصل 22، أي 40,9%، وجاء في المركز الأخير بين المشاركين. ومع ذلك، نجح في إنجاز مهمة ترسيب كبيرة داخل المحاكي. وجاء الإخفاق الإجمالي من اختلاقات متفرقة، واستنتاجات خاطئة، ومخالفات للقيود المحددة.

موثوقية استدعاء الدالة لا تضمن صحة القرار

استُخدم لتشغيل النموذج حاسوب مزود ببطاقة RTX 5080 بذاكرة فيديو سعتها 16 غيغابايت، وذاكرة وصول عشوائي سعتها 64 غيغابايت. وبحسب وصف المؤلفين، شغلت الأوزان المكمّمة 46,84 غيبيبايت. لذا، فإن الإشارة في العنوان إلى 16 غيغابايت من VRAM لا تعني أن النموذج بأكمله كان يتسع في ذاكرة البطاقة الرسومية.

احتاجت المهام الطويلة إلى ضبط خاص. فقد تضخمت الجلسات إلى 180–260 ألف توكن، وكان النموذج يعلق في حلقات متكررة عند التعامل مع الجداول الرقمية، بينما كان المحلل يدمج أحيانًا وسائط الدالة التي أُعيد توليدها. وزاد المؤلفون حجم السياق المتاح، وحدّوا من ميزانية الاستدلال، وعدّلوا معالجة استدعاءات الأدوات.

وبعد هذه التصحيحات، أفادوا بعدم وقوع أي خطأ في البروتوكول خلال أكثر من أربعة آلاف استدعاء. لكن الأخطاء الجوهرية بقيت. فقد كان Qwen يقبل أول حل يبدو مناسبًا، أو يتجاوز تحققًا إلزاميًا، أو ينسى بعض القيود عند إعداد التقرير النهائي.

بالنسبة إلى المنتج، تمثل هذه جوانب منفصلة لتقييم الجودة. فقد تتلقى الدالة وسائط صحيحة وتُنفّذ بنجاح، ثم يفسر الوكيل النتيجة تفسيرًا خاطئًا. وفي التجربة الموصوفة، كانت أداة التحقق تقبل اسمًا اعتباطيًا لموضع الحاجب. واكتشف النموذج هذه الثغرة، لكنه أعلن مع ذلك أن الوصفة الأصلية صالحة للتشغيل.

يجب اختبار الوكيل والدليل المنهجي نفسه

تتعلق إحدى أكثر الوقائع فائدة بأخطاء المؤلفين أنفسهم. فقد كانت عدة نماذج تفشل في المهام المعقدة نفسها. وكشف التحليل أربعة عيوب في التعليمات والإعدادات ومعايير القبول، تراوحت بين إغفال مادة واشتراط التحقق من طبقة فرعية زائدة.

بعد التصحيح، ارتفعت نتيجة Qwen على منصة الاختبار البصرية من 47,5% إلى 62,5%. وتحقق هذا التحسن من دون استبدال النموذج. وهنا عمل واضح يمكن لفريق التطوير القيام به: تحليل الإخفاقات المشتركة بين عدة نماذج، والتحقق من اتساق التعليمات والأدوات المتاحة ومعايير التقييم.

العينة صغيرة، ومنصات الاختبار متخصصة، والنص المقدم ينقطع قبل اكتمال التحليل. لذلك لا يمكن الاستناد إليه لتحديد سقف عام لقدرات النماذج المحلية، أو فصل أثر التكميم عن أثر بقية الإعدادات. لكن يمكن تطبيق منهج التقييم في منتجك: تقييم دقة البحث، وجودة تسلسلات الإجراءات الطويلة، والالتزام بالصلاحيات، كلًّا على حدة. ولا بد من التحقق أيضًا من أن الوكيل يميز بين مدخلة عثر عليها، وعملية تحقق ناجحة، وإجراء نُفّذ بالفعل.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ثلاث مهام — ثلاث نتائج مختلفة؟

اختبر المؤلفون ستة نماذج على 68 مهمة: البحث في مدخلات السجل المختبري ومطابقتها، وإعادة بناء بنية المرايا انطلاقًا من قياسات الأشعة السينية، والعمل مع محاكي منظومة تفريغ. حصل Qwen المحلي على 24 نقطة من أصل 26، أي 92,3%، في مهام السجل. وكان يعثر على الأخطاء المطبعية، ويرصد الخلط بين الوحدات، ويطابق المدخلات مع ملفات القياس. لكن نزعة مقلقة ظهرت حتى هنا: تحويل المعلومات الملتبسة إلى تأكيدات واثقة.

ما أبرز التفاصيل حول موثوقية استدعاء الدالة لا تضمن صحة القرار؟

استُخدم لتشغيل النموذج حاسوب مزود ببطاقة RTX 5080 بذاكرة فيديو سعتها 16 غيغابايت، وذاكرة وصول عشوائي سعتها 64 غيغابايت. وبحسب وصف المؤلفين، شغلت الأوزان المكمّمة 46,84 غيبيبايت. لذا، فإن الإشارة في العنوان إلى 16 غيغابايت من VRAM لا تعني أن النموذج بأكمله كان يتسع في ذاكرة البطاقة الرسومية. احتاجت المهام الطويلة إلى ضبط خاص. فقد تضخمت الجلسات إلى 180–260 ألف توكن، وكان النموذج يعلق في حلقات متكررة عند التعامل مع الجداول الرقمية، بينما كان المحلل يدمج أحيانًا وسائط الدالة التي أُعيد توليدها.

ما أبرز التفاصيل حول يجب اختبار الوكيل والدليل المنهجي نفسه؟

تتعلق إحدى أكثر الوقائع فائدة بأخطاء المؤلفين أنفسهم. فقد كانت عدة نماذج تفشل في المهام المعقدة نفسها. وكشف التحليل أربعة عيوب في التعليمات والإعدادات ومعايير القبول، تراوحت بين إغفال مادة واشتراط التحقق من طبقة فرعية زائدة. بعد التصحيح، ارتفعت نتيجة Qwen على منصة الاختبار البصرية من 47,5% إلى 62,5%. وتحقق هذا التحسن من دون استبدال النموذج. وهنا عمل واضح يمكن لفريق التطوير القيام به: تحليل الإخفاقات المشتركة بين عدة نماذج، والتحقق من اتساق التعليمات والأدوات المتاحة ومعايير التقييم.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…