اختبار جديد يفحص ما إذا كانت صور الذكاء الاصطناعي تخضع لقوانين الفيزياء

قد تحصد الصورة المولَّدة درجات عالية في الجماليات والتوافق مع الأمر النصي وتفضيلات البشر، ومع ذلك تظهر فيها يد بمفصل زائد، أو كرسي مندمج في الطاولة، أو ظل يسقط عكس اتجاه الضوء. ويسمّي الباحثون، الذين تنقل عنهم الصحيفة الصينية Jiqizhixin أخبار عملهم، هذا الأمر نقطة عمياء في تقييم نماذج text-to-image، ويقترحون اختبارًا مستقلًا لـ«الاتساق مع العالم». ويُفترض بهذا الاختبار أن يُظهر ما إذا كانت الصورة تخضع لقيود العالم الحقيقي. ولا يظهر في الجزء المتاح من المنشور اسم المقياس (benchmark)، ولا قائمة النماذج التي جرى اختبارها، ولا الدرجات النهائية. لذلك يعرض هذا التقرير طرح المشكلة نفسه، لا النتائج.

أين تفشل المقاييس المعتادة

تتألف المجموعة القياسية لتقييم توليد الصور عادةً من ثلاثة أجزاء: تقييم جمالي، وقياس التوافق مع الطلب النصي، ونموذج يحاكي ذائقة الإنسان. وتنظر الأجزاء الثلاثة إلى الصورة ككل. فما يعنيها هو: هل الصورة جميلة، وهل تتناول الموضوع المطلوب، وهل ستعجب الناس.

وفي ظل هذا النهج تضيع المخالفات الفيزيائية الصغيرة بسهولة. فالتكوين العام جيد، والإضاءة لطيفة، والأجسام الواردة في الأمر النصي موجودة. وتمنح المقاييس الصورة درجة عالية. أما المشاهد، حين يدقق النظر، فيلاحظ أن الشوكة تخترق الطبق، وأن لشخص في الخلفية ثلاث أرجل. ويصوغ مؤلفو العمل السؤال بوضوح: هل تتوافق الأجسام وتفاعلاتها وعلاقاتها المكانية مع قيود العالم الحقيقي؟ وبحسب تقديرهم، ينقص هذا السؤال قياس منهجي، ولذلك يصعب مقارنة المشكلة كميًا بين النماذج.

ما الذي يقترح الاختبار فحصه

بحسب الوصف، يُقصد بـ«الاتساق مع العالم» ثلاث طبقات في الصورة:

• الأجسام. هل تحافظ على شكل وبنية معقولين، بما في ذلك التشريح: فقد ذُكرت الأطراف المشوهة بين الأخطاء النموذجية.
• التفاعلات. هل تتجنب الأشياء اختراق بعضها، وهل تتلامس بصورة صحيحة.
• العلاقات المكانية. هل يتوافق موضع الأجسام وحجمها وتداخلها مع طريقة بناء المشهد الحقيقي.
• الظواهر الفيزيائية. هل خُرقت قوانين بديهية يلاحظها المشاهد بالحدس.

والفكرة الرئيسة أن هذا محور تقييم مستقل عن الجمال وعن اتباع الأمر النصي. فقد يكون النموذج قويًا في أول محورين وضعيفًا في الثالث. ولا يمكن رؤية هذه الفجوة إلا بقياس المحاور الثلاثة معًا.

كيف يُستخدم ذلك عمليًا

بالنسبة إلى الفرق التي تختار نماذج توليدية أو تعيد تدريبها، الخلاصة بسيطة: درجة إجمالية واحدة لا تكفي. فإذا كانت الصور تُستخدم في الإعلان أو التجارة الإلكترونية أو توضيح المواد التحريرية أو مجموعات البيانات الاصطناعية، تتحول العيوب الفيزيائية إلى خطر مباشر. فالمشتري يلاحظها، وفي بيانات التدريب ترسخ بوصفها أمرًا طبيعيًا.

ومن المفيد في سير العمل أن تُضاف إلى المقاييس الآلية مراجعة يدوية انتقائية على الأقل وفق الطبقات المذكورة: التشريح، وتلامس الأجسام، وهندسة المشهد. وعندما يصدر هذا المقياس للعموم، يجدر تشغيله على نماذجكم ومقارنة نتائجه بالتصنيفات المعتادة. فإذا تغير ترتيب النماذج، فهذا يعني أن المقاييس السابقة لم تكن تقيس كل ما هو مهم.

وينبغي كذلك انتظار النص الكامل للدراسة. فحتى الآن لا يُعرف كيف صُمم الترميز (annotation)، ولا إن كان التقييم آليًا، ولا مدى توافقه مع آراء البشر. وعلى ذلك يتوقف ما إذا كان الاختبار سيصبح معيارًا عمليًا أم سيبقى مجموعة أمثلة أكاديمية.