OMNI: مشفّر مدمج واحد يجمع معارف 10 نماذج للباثولوجيا الرقمية

نشر فريق من الباحثين على arXiv ورقة Scaling Multi-Teacher Distillation for Digital Pathology. تبيّن الورقة كيف يمكن ضغط معارف عشرة نماذج foundation متقدمة في الباثولوجيا الرقمية داخل مشفّر مدمج واحد. وتحمل النتيجة اسم OMNI. وبحسب المؤلفين، فإن هذه النماذج الطالبة أكفأ من النماذج المعلّمة الكبيرة بما يصل إلى 10 أضعاف. ومع ذلك فهي تضاهيها في الجودة، بل تتفوق عليها في جزء كبير من المهام. وشمل التقييم أكثر من 10 نماذج foundation و39 مهمة على مستوى الرقع المنفردة (tiles) والشرائح الكاملة.

أين ينهار التقطير متعدد المعلّمين

ظهر في الباثولوجيا الرقمية مؤخرًا عدد كبير من نماذج foundation القوية. دُرّب كل نموذج على بياناته الخاصة ووفق وصفته الخاصة، ولكل منها نقاط قوته. وتفرض فكرة التقطير متعدد المعلّمين (MTD) نفسها بسهولة: يمكن جمع عدة معلّمين ونقل معارفهم إلى شبكة طالبة واحدة. عندها لا تكون هناك حاجة إلى تشغيل عشرات المشفّرات الثقيلة على صور بحجم جيجابكسل.

لكن الواقع أقل إشراقًا. يبيّن المؤلفون أن MTD القياسي لا يستجيب جيدًا لزيادة عدد المعلّمين. فإضافة الخبراء مجدية حتى حدّ معيّن فقط، وبعده لا يحصل النموذج الطالب على مكسب متناسب. وتشخيص الورقة هو أن مفتاح التوسع يكمن في تعلّم تمثيلات خاصة بكل معلّم. فإذا دُمج جميع المعلّمين في فضاء مشترك واحد، تتلاشى الفروق بينهم، وفي هذه الفروق تحديدًا تكمن قيمة المجموعة.

أربعة حلول بدل حل واحد

لكي يحافظ النموذج الطالب على خصوصية كل معلّم، يغيّر المؤلفون البنية ودالة الخسارة معًا. يُضاف لكل معلّم رمز (token) قابل للتدريب، ما يمنح الشبكة «نقطة دخول» مستقلة لكل خبير. وقد ضُبط نمط الانتباه خصيصًا ليلائم هذا التصميم. كما أُضيفت إلى المشفّر طبقات mixture-of-experts إضافية توزّع الحسابات على فروع متخصصة. وتفصل دالة الخسارة التبايُنية تمثيلات المعلّمين المختلفين عن بعضها بدرجة أكبر.

ونتيجة لذلك تتوسع الطريقة بصورة أفضل مع زيادة عدد المعلّمين، وهذا بالضبط ما عجز عنه MTD الأساسي.

ما الذي جرى اختباره وما الذي أُطلق

أبرز معطيات العمل:

• استُخدمت 10 نماذج foundation متقدمة بوصفها معلّمة؛
• قُيّمت أكثر من 10 نماذج foundation في المقارنة؛
• 39 مهمة، تشمل مستوى الرقع والشرائح الكاملة؛
• النماذج الطالبة أكفأ من المعلّمة الكبيرة بما يصل إلى 10x؛
• الجودة بمستوى المعلّمين، وأعلى منهم في بعض المهام.

وفي ضوء هذه النتائج يطلق المؤلفون مجموعة OMNI، وهي مجموعة من نماذج foundation الفعّالة المدرَّبة على معارف عشرة معلّمين. كما حلّلوا التمثيلات المتعلَّمة على حدة، فتبيّن أنها متكاملة، أي أنها تحمل معلومات مختلفة. ويفسّر المؤلفون بذلك سهولة تجميعها في مرحلة downstream.

ما الذي ينبغي تغييره في الممارسة

بالنسبة إلى الفرق التي تبني خطوط معالجة في الباثولوجيا، يتعلق الاستنتاج العملي الرئيسي بالتكلفة. فتحليل الشرائح يعتمد بدرجة كبيرة على الحسابات: تُقسَّم الشريحة الواحدة إلى عدد هائل من الرقع، وتمرَّر كل رقعة عبر المشفّر. والنموذج الأكفأ بعشرة أضعاف مع جودة مماثلة يخفّض تكلفة الاستدلال (inference) مباشرة، ويتيح تشغيل المعالجة على عتاد أكثر تواضعًا.

الاستنتاج الثاني منهجي. إذا كنتم تقطّرون من عدة نماذج، فلا ينبغي دمجها في متجه هدف واحد. ومن المرجّح أن تفيد الرموز المنفصلة وطبقات MoE والفصل التبايُني خارج الباثولوجيا أيضًا، في أي مجال تتوافر فيه نماذج متخصصة قوية متعددة. لكن هذا افتراض فحسب حتى الآن، ولم تختبره الورقة.

ينبغي أخذ القيود بالحسبان. فالمعلومات مبنية على الملخص (abstract) الخاص بالنسخة الأولية من الورقة، ويجب الرجوع إلى العمل نفسه للاطلاع على المقاييس التفصيلية لكل مهمة. أما شروط ترخيص أوزان OMNI والنتائج على بياناتكم فيلزم التحقق منها بشكل منفصل. وللاستخدام السريري لا تكفي الدقة على المعايير (benchmarks) وحدها، إذ يلزم التحقق على بيانات مختبر بعينه والالتزام بالإجراءات التنظيمية.