مراجعة MIT للتكنولوجيا: لماذا لا تعد الاختبارات القياسية للذكاء الاصطناعي تظهر القيمة الحقيقية

تكتب مجلة MIT Technology Review أن المعايير التقليدية للذكاء الاصطناعي تفشل بشكل متزايد في إظهار كيفية تصرف الأنظمة في العمل الحقيقي. يمكن للنموذج أن يفوز باختبار معزول ويظل يبطئ الفريق عندما يتم دمجه في عملية حية.

لماذا تختلف الاختبارات

لعقود من الزمن، تم قياس التقدم في الذكاء الاصطناعي من خلال منافسة "الآلة ضد الإنسان". النهج مناسب: إعطاء النموذج الشطرنج ومسائل الرياضيات والبرمجة أو المقالات، ثم مقارنة نتائجه بأداء فرد واحد. هذه الاختبارات سهلة التوحيد وتحويلها إلى تصنيفات واستخدامها في التسويق. لذلك نمت صناعة كاملة حول معايير الاختبار بأرقام مثيرة وجداول مرتبة وعمليات مقارنة—أشياء تبدو رائعة في العروض التقديمية.

المشكلة هي أن الذكاء الاصطناعي لا يُستخدم بالطريقة التي يُختبر بها تقريباً. في العمل الحقيقي، النظام لا يوجد في فراغ: يتم دمجه في الفرق والعمليات والقوانين والمواعيد النهائية والمعايير الداخلية. تظهر قيمته ليس في إجابة واحدة، بل في سلسلة من التفاعلات على مدى أسابيع وشهور. لذلك فإن الدرجة العالية في مهمة معزولة لا تخبرنا بعد ما إذا كان النموذج سيسرع العمل أو يقلل الأخطاء أو يكون مفيداً للمنظمة.

حيث يفشل التقييم

توفر المقالة مثالاً دلالياً من الطب. هناك أنظمة لتحليل الصور التي تقرأ الصور بشكل أسرع وأكثر دقة من أطباء الأشعة ذوي الخبرة في الاختبارات. على الورق، يبدو هذا وكأنه وصفة جاهزة لنمو الإنتاجية.

لكن في المستشفى، نادراً ما يتخذ قرار متخصص واحد في لحظة واحدة. حول حالة واحدة، قد يعمل أطباء الأشعة والأورام والفيزيائيون والممرضات وأعضاء فريق آخرون، وتتغير خطة العلاج مع ظهور بيانات جديدة. عندما تدخل هذه الأدوات الحلقة الحقيقية، يتضح أن الموظفين يحتاجون إلى وقت إضافي لتفسير إجابات النموذج ومقارنتها بمعايير التقارير المحلية والتحقق من الامتثال للمتطلبات التنظيمية.

نتيجة لذلك، فإن النظام الذي وعد بالتسريع في الاختبارات يخلق أحياناً تأخيرات في الممارسة. علاوة على ذلك، يمكنه تعزيز "التثبيت" المبكر على إجابة معقولة لكن غير كاملة، وزيادة الحمل المعرفي، وتحويل الأخطاء أبعد في السلسلة. وهكذا ينشأ "مقبرة الذكاء الاصطناعي"—منتجات بتقييمات عالية لا تتجذر في العمل الحقيقي.

ما الذي يقترحونه بدلاً من ذلك

بدلاً من الاختبارات الضيقة، يقترح المؤلف معايير HAIC—Human-AI, Context-Specific Evaluation. هذا نهج يقيّم ليس فقط النموذج نفسه، بل كيفية تصرفه ضمن فريق محدد وعملية وبيئة تنظيمية معينة. الهدف هو اقتراب التقييم من الاستخدام الحقيقي وليس من عرض معملي.

• تحويل التركيز من مهمة فردية إلى عمل الفريق والعملية برمتها
• قياس التأثير ليس في تنفيذ اختبار واحد، بل على المدى الطويل
• الاعتبار المهم ليس فقط السرعة والدقة، بل التنسيق وجودة الحل التعاوني وظهور الأخطاء
• النظر ليس فقط إلى إجابة النموذج، بل إلى العواقب قبل وبعد تطبيقه

يصف المؤلف أمثلة مبكرة على هذا النهج. في نظام مستشفى بريطاني، لم تُصاغ المسألة كـ "هل أصبح التشخيص أكثر دقة؟"، بل كـ "هل يغير الذكاء الاصطناعي جودة النقاش الجماعي والتفاعل بين المتخصصين؟". في القطاع الإنساني، تمت ملاحظة نظام مماثل لمدة 18 شهراً وتم تتبع المدى الذي يسهل على الناس فيه ملاحظة وتصحيح أخطاء النموذج بشكل منفصل. يسمح مثل هذا الأفق الطويل بتصميم آليات حماية لسياق محدد، بدلاً من الأمل في أن تضمن درجة عالية في الاختبار بحد ذاتها السلامة والفائدة.

ما معنى هذا

تصل الصناعة تدريجياً إلى حد المقاييس القديمة: فهي تُظهر بشكل جيد ما يمكن للنموذج القيام به بمفرده، لكنها تُظهر بشكل سيء ما يحدث عندما يصبح جزءاً من منظمة حية. بالنسبة للأعمال التجارية والحكومة، هذا إشارة للنظر ليس فقط إلى جداول المرتبة، بل ما إذا كان الذكاء الاصطناعي يساعد الفرق على العمل بطريقة أكثر استدامة وسرعة وأماناً في ظروف حقيقية.