البيانات الجدولية والصور: لماذا يُعدّ اختيار المُرمِّز أمرًا حاسمًا

قيّم باحثون للمرة الأولى وبصورة منهجية النماذج الجدولية بوصفها مُرمِّزات في مهام التعلّم متعدد الوسائط، حيث يتعين على الشبكة العصبية فهم الجداول والصور في آن واحد. وتبيّن أن النهج التقليدي، أي استخدام MLP بسيط للجداول، ليس الخيار الأمثل.

لماذا لا يكفي MLP للبيانات الجدولية؟

يتطلب التعلّم متعدد الوسائط مُرمِّزًا مستقلًا لكل نوع من البيانات. فإذا كان النموذج يعمل مع الصور والجداول معًا، فهو بحاجة إلى شبكات متخصصة لمعالجة كل منهما. وقد اعتاد الباحثون منذ زمن طويل استخدام شبكات CNN القوية أو Vision Transformers للصور، ونماذج اللغة للنصوص. أما بالنسبة إلى البيانات الجدولية، فقد اكتفى معظم الباحثين بـ MLP بسيط.

تُعدّ البيانات الجدولية (الجداول في قواعد البيانات، وملفات CSV، والجداول الإلكترونية) مجالًا إشكاليًا معروفًا في التعلّم العميق، ويصفها البعض بأنها «القفل الأخير الذي لم يُفتح في تعلّم الآلة». وتوجد نماذج أفضل للعمل مع الجداول، مثل المعماريات المتخصصة القائمة على الانتباه (attention) والتعلّم في السياق (in-context learning)، لكنها نادرًا ما تُستخدم مُرمِّزات في السياق متعدد الوسائط.

• قُيّمت النماذج الجدولية الحديثة (state-of-the-art) للمرة الأولى بوصفها مُرمِّزات في المهام متعددة الوسائط
• يُعدّ MLP البسيط المعيار الفعلي في كثير من الدراسات، لكنه بعيد عن الأمثل
• تُعدّ نماذج In-Context Learning من الأفضل جودةً في البيانات الجدولية

ما المشكلة التي تخلقها أفضل النماذج؟

تكمن الصعوبة الرئيسية في أن أفضل النماذج الجدولية، ولا سيما القائمة على In-Context Learning، تتطلب معرفة المتغير الهدف (التسمية) لمعالجة المثال بشكل صحيح. وهذا يخلق مفارقة عملية: كيف يمكن ترميز أمثلة التدريب (التي تتوافر لها تسميات أثناء التدريب) وأمثلة الاختبار (التي لا تتوافر لها تسميات) بالطريقة نفسها؟

تعمل نماذج In-Context Learning عبر الاطلاع على عدة أمثلة مرفقة بتسميات لفهم المهمة. وعند استخدام نموذج كهذا مُرمِّزًا للصور والجداول معًا، ينشأ عدم تطابق: ففي مرحلة التدريب يرى النموذج التسميات، وفي مرحلة الاختبار لا يراها. وقد طوّر مؤلفو الدراسة أساليب لحل هذه المشكلة، فكيّفوا عدة عائلات من نماذج In-Context Learning لتعمل بصورة متسقة في التدريب والاختبار على حدّ سواء.

ماذا يعني ذلك للمهندسين؟

تؤكد الدراسة أن اختيار المُرمِّز كثيرًا ما يكون عاملًا حاسمًا لا يُعطى حقه في التعلّم متعدد الوسائط. ويمكن أن يؤدي استخدام نماذج جدولية أقوى بدلًا من MLP البسيط إلى تحسين جودة النظام بأكمله بشكل ملحوظ.

وهذا مهم للتطبيقات الواقعية التي تُدمج فيها البيانات الجدولية غالبًا مع وسائط أخرى: بيانات العميل في جدول مع صورة المنتج في التجارة الإلكترونية، وجدول معلمات الجهاز مع تصوّر مرئي لحالته في الصناعة، وجدول بيانات المريض مع الصور الطبية في الرعاية الصحية.

ماذا يعني هذا

تُظهر النتائج أن البيانات الجدولية تصبح أكثر قدرة على المنافسة في الأنظمة متعددة الوسائط عند حسن اختيار المُرمِّز. ويمكن لمهندسي ML تحقيق نتائج أفضل إذا توقفوا عن التوفير على حساب جودة الجزء الجدولي من المعمارية. ويكتسب ذلك أهمية خاصة في التطبيقات التي تكون فيها الجداول والمعلومات الجدولية حيوية: التكنولوجيا المالية، والطب، والخدمات اللوجستية، والتمويل. وتفتح الدراسة الطريق نحو تصميم أكثر تأنيًا للنماذج متعددة الوسائط.