باحثون ينشرون مجموعة بيانات من 100 ألف مقال مصوّر واختبارًا من 7 مقاييس

عندما يتلقى نموذج ذكاء اصطناعي طلبًا مثل «اشرح كيف أطبخ الريزوتو»، فالإجابة الجيدة لا تقتصر على النص وحده. فهي تحتاج إلى خطوات وصور توضح شكل الأرز في كل مرحلة. تُسمّى هذه النماذج نماذج متعددة الوسائط موحَّدة: فهي تستطيع الكتابة والرسم معًا. لكن التناوب بين النص والصور داخل إجابة واحدة (تسميه الورقة البحثية interleaved generation) لم يختبره أحد تقريبًا بصورة منهجية. أصدر باحثون من جامعة نانجينغ وMeituan وImperial College London وجامعة نانيانغ التكنولوجية مشروع IntReal. هو مجموعة بيانات من 100 000 مثال حقيقي تضم 538 452 صورة، مع اختبار معياري بسبعة مقاييس تبيّن بالتحديد أين يضعف النموذج.

من أين جاءت البيانات ولماذا استُبعد 90%

جمع المؤلفون أكثر من مليون مثال خام من سبعة مصادر تسمح بالجمع العام وإعادة التوزيع. ثم صنّفوا المواد في أربع فئات بحسب دور النص والصور:

• التخطيط: قرارات مبنية على أهداف وقيود محددة، مثل مسار رحلة سياحية مع خرائط وصور؛ • المعرفة: مقالات موسوعية تربط فيها الصورةُ المفهومَ المجرد بشيء حقيقي؛ • التعليمات: أدلة الطبخ وغيرها من الأدلة التي تُظهر فيها الصور الحالات الوسيطة؛ • القصص: سرد تصنع فيه الصور الشخصيات والمشاهد (استُلهمت الفكرة من مشروع SEED-Story).

بعد ذلك جرى التنقية على أربع مراحل. في البداية استُبعدت الصور ذات النسب غير المعقولة والدقة المنخفضة والصيغ غير المدعومة. ثم أزال نموذج تقييم الجودة RALI الصور الرديئة، فيما رصدت مصنِّفات مضبوطة بدقة على أساس SigLIP2 العلامات المائية والوجوه. وحذف نموذج DINOv3 الصور المتطابقة تقريبًا داخل المثال الواحد. وفي المرحلة الثالثة، كتب النموذج اللغوي Qwen3.5-397B-A17B تعليقات للصور وعدّل النص المحيط بها. وللنص الأصلي الأولوية على النص المولَّد، حتى لا تضيع الحقائق. وفي المرحلة الرابعة، صاغ لكل مثال طلبًا وسلسلة استدلال، بحيث يمكن استخدام البيانات مباشرة في الضبط الدقيق.

يؤدي عيب واحد في مثال طويل إلى استبعاد المثال كله. ولذلك بقي في النهاية نحو 10% مما جُمع، وسُوِّيت الفئات من حيث الحجم.

سبعة مقاييس بدل تقييم واحد «إجمالي»

عادةً يُعرض الرد الطويل المصحوب بصور على نموذج واحد متعدد الوسائط يعمل حَكَمًا. ويرى المؤلفون أن هذا لا يتيح معرفة موضع خطأ النموذج، وأن الحَكَم العام ليس كفئًا دائمًا في التفاصيل. أما في IntReal فلكل مهارة خبيرها الخاص.

يُبنى الاختبار على 600 مثال من مجموعة البيانات، بواقع 150 لكل فئة. ويمرّ النموذج في كل مثال بوضعين. في الأول يولّد الإجابة كاملة من الصفر. وفي الثاني يُعطى سياقًا حقيقيًا من نص وصور ويُطلب منه رسم الصورة التالية. ويستهلك تقييم نموذج واحد أكثر من 6 000 صورة مولَّدة محاطة بالنص، ولذلك جُعلت المجموعة مضغوطة عن قصد.

المقاييس السبعة:

• ثراء النص: يقارن نموذج لغوي الإجابةَ بالنص الحقيقي زوجيًا؛ • الدقة الواقعية: يبحث النموذج نفسه عن الأخطاء والتناقضات والثغرات المنطقية؛ • جمالية الصور: نموذج لتقييم جودة الصور؛ • التكرار: تشابه ميزات DINO بين الصور المتجاورة، وإذا كان مرتفعًا جدًا فهذا يعني أن النموذج «رسم الشيء نفسه»؛ • عدد الصور: يجب أن ينتج النموذج عدد الرسوم التوضيحية نفسه الموجود في العينة الحقيقية؛ • الاتساق مع السياق: يتحقق نموذج متعدد الوسائط من استيفاء المتطلبات البصرية المستخلصة مسبقًا من النص والصور السابقة؛ • ثبات الكائن: التشابه مع المرجع وفق DINO، كي لا تتغير شخصية القصة أو مكوّن الوصفة من إطار إلى آخر. يُحتسب للقصص والتعليمات فقط.

وعن التحقق من الاختبار نفسه: أقصى ارتباط سبيرمان زوجي بين المقاييس أقل من 0,42، أي أنها تقيس أشياء مختلفة. أما التطابق مع تقييم البشر فيبلغ 83,3%. وعند تغيير النماذج الخبيرة تتّسق النتائج بارتباط أعلى من 0,9.

ماذا أظهرت التجارب

قارن المؤلفون أربع عائلات من النماذج. إحداها لا يستطيع نقطة التحقق (checkpoint) المفتوحة الخاصة بها التناوب بين النص والصور من تلقاء نفسه، ولذلك لم تُقيَّم إلا بعد ضبطها الدقيق على IntReal-100K. والثانية قادرة على ذلك، لكنها لم تُصدر أساليب للضبط الدقيق، فاعتُمدت كما هي. أما الثالثة، SenseNova-U1، فتدعم السيناريوهين، ولها نسختان: 8B-MoT وA3B-MoT. فرع التوليد في كلتيهما 8 مليارات معامل، أما وحدة الفهم فهي إما 8 مليارات معامل، وإما 30 مليارًا بمعمارية مزيج الخبراء. والنموذج الرابع مغلق، ومتاح عبر API.

حسّن الضبط الدقيق الخاضع للإشراف على IntReal-100K توليدَ النص لدى SenseNova-U1، لكنه أضعف جزءًا من مؤشرات الصور. وهذه مشكلة قديمة في هذه النماذج: فالنص والصور يشدّان الأوزان في اتجاهين مختلفين.

وجاء الحل من جهة غير متوقعة. فقد طبّق المؤلفون Flow-GRPO، وهي طريقة تعلم معزز للنماذج التوليدية، على مهمة «ارسم الصورة التالية بحسب السياق» فقط. وكانت مقاييس IntReal هي المكافأة. أعاد ذلك جودة الصور المفقودة، وحصل النموذج على أفضل درجة إجمالية بين النماذج المفتوحة في الاختبار.

الخلاصة العملية للمهندسين: ليس من الضروري تدريب النص والصور معًا في كل مرحلة. فيمكن تحسين وسيط واحد والحصول على مكسب في الإجابات المختلطة. وبالنسبة إلى الفرق التي تبني مساعدي ذكاء اصطناعي للأدلة التعليمية والأدلة السياحية والمواد التدريبية، يوفّر IntReal مجموعة بيانات جاهزة واختبارًا تشخيصيًا لمعرفة الموضع الدقيق الذي ينكسر فيه النموذج.