كيف تتعامل 15 نموذج ذكاء اصطناعي مع البحث عن أفضل محلّل XML لنظام iOS: نتائج الاختبار المرجعي

أجرى مطوّر تجربة غير معتادة: أدخل المهمة نفسها إلى 15 نموذجاً شائعاً للذكاء اصطناعي، ثم قارن نتائجها باختباره المرجعي اليدوي لمحلّلات XML على نظام iOS.

ما المهمة؟

قبل ستة أشهر نشر المؤلف نتائج بحثه الخاص عن محلّل XML الأسرع لأنظمة iOS وtvOS وmacOS. كان عملاً دقيقاً ومضنياً: ساعات من تحليل مستودعات GitHub يدوياً، والتحقق من الشعبية (500 نجمة على الأقل)، ومن دعم لغتَي Objective-C وSwift، ومن إمكانية الدمج عبر CocoaPods أو SwiftPM. وبعد ثلاث ساعات من العمل الشاق (وعدة فناجين من القهوة) خرج بتصنيف متكامل لأفضل المحلّلات.

هل يستطيع الذكاء الاصطناعي إنجاز المهمة أسرع؟

ثم خطرت له فكرة طبيعية: لماذا نهدر 3 ساعات إذا كان الإنترنت يَعِد بأن الذكاء الاصطناعي ينجز المهمة في 5 دقائق؟ بل هناك احتمال حقيقي بأن خطأً تسلّل إلى اختباره اليدوي، كسوء تفسير للشيفرة أو إغفال تفصيل في الخصائص. وإن كان الأمر كذلك، فقد تتوصل نماذج الذكاء الاصطناعي، بما تملكه من كميات هائلة من المعرفة، إلى نتيجة أدق.

كان القرار بديهياً: إدخال المهمة نفسها إلى 15 نموذجاً مختلفاً للذكاء الاصطناعي (من OpenAI وAnthropic وGoogle وMeta* وXai وPerplexity وغيرها)، وجمع نتائجها ومقارنتها بصدق ببعضها وبالاختبار المرجعي الأصلي. تجربة عادلة.

النتائج خيّبت الآمال

جاءت النتائج بعيدة عن التوقعات. فخلافاً لكل التوقعات، لم يتفوّق GPT 5.5 Pro على البقية، بل احتل المركز الأخير. وقد شكّل ذلك صدمة فورية: فالنموذج الرائد من OpenAI خسر في جميع فئات التحليل، من تحديد المستودعات الشائعة إلى تقييم أداء المحلّلات.

أما Claude Opus 4.7، المعروف بعمق تحليله وقدرته على الاحتفاظ بالسياق، فلم يتمكن بدوره من انتزاع المركز الأول، مع أن نتائجه جاءت فوق المتوسط. وبدلاً من ذلك، تصدّرت المشهد على نحو غير متوقع نماذج أكثر تخصصاً وأصغر حجماً، كانت أقدر على التعامل مع التفاصيل العملية للمهمة.

يقرّ المؤلف بصراحة بأنه ربما وقع خطأ فعلاً في اختباره اليدوي، وأنه في هذه الحالة لم يختر المحلّل الأمثل تماماً. لكن حتى لو كان الأمر كذلك، فالنتيجة تكشف نمطاً لافتاً: فحجم نموذج الذكاء الاصطناعي وجودته التي يدّعيها لا يضمنان دائماً النجاح في مهمة عملية محددة.

ماذا يعني ذلك؟

تذكّر هذه التجربة المطوّرين بأن الذكاء الاصطناعي أدوات لها نقاط قوتها وضعفها. وفي المهام التقنية المتخصصة، لا ينبغي الاكتفاء بالنظر إلى شعبية النموذج، بل يجدر التحقق من أدائه الفعلي في حالتك الخاصة. وأحياناً، قد تحتاج المهمة التي يَعِد النموذج بإنجازها في 5 دقائق إلى مراجعتك الدقيقة وتحققك.

*اعتُبرت Meta منظمة متطرفة وحُظر نشاطها في الاتحاد الروسي.