Утечка в OOD-бенчмарках: как загрязнённый класс обрушил AUROC детектора до 0.326
Препринт на arXiv показал, как утечка в OOD-бенчмарке обрушивает оценку детектора аномалий: AUROC упал до 0.326 — ниже случайного угадывания — только потому, что «чужой» класс на самом деле был в обучающей выборке модели. После удаления класса и переобучения 35 моделей показатель вырос до 0.911. Авторы предлагают диагностический «отпечаток» на такую утечку.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.LG؛ بتحرير Hamidun News
كشف باحثون في ورقة أولية (preprint) على arXiv (arXiv:2607.19393، يوليو 2026) أن طريقة شائعة لبناء معايير OOD يمكن أن تشوّه النتائج: حصل كاشف الشذوذ على AUROC بقيمة 0.326 — أقل من مستوى التخمين العشوائي البالغ 0.5 — لمجرد أن الفئة "الغريبة" كانت في الواقع موجودة ضمن مجموعة تدريب النموذج.
لماذا كان الكاشف أسوأ من رمية عملة
نشأت قيمة AUROC البالغة 0.326 بسبب تسرّب في المعيار: الفئة الموسومة بأنها OOD ("خارج التوزيع") كانت من بين الفئات التي دُرِّب النموذج عليها بالفعل. انتهى الأمر بأمثلتها داخل مجموعة in-distribution، وعُوقب الكاشف لأنه تعرّف عليها بشكل صحيح باعتبارها مألوفة. بعد إزالة هذه الفئة وإعادة تدريب 35 نموذجًا على مجالين، ارتفع المؤشر إلى 0.911 — من انهيار دون مستوى الصدفة إلى نتيجة شبه ممتازة. المقياس نفسه لم يتغيّر — ما تغيّر هو فقط نظافة المعيار.
ما هو بصمة التسرّب
بصمة التسرّب (leak fingerprint) هي زوج من الإشارات يستخدمه المؤلفون للتمييز بين معيار ملوّث ومعيار نظيف. يفضح التلوّثُ نفسَه عندما يفصل مصنّف supervised أمثلة OOD بشكل شبه مثالي (AUROC≈1)، بينما ينهار كاشف unsupervised في الوقت نفسه إلى ما دون 0.65. هذا التباين هو بالضبط العلامة على أن الفئة "الغريبة" مألوفة للنموذج في الواقع.
أبرز حقائق الدراسة:
- ارتفع AUROC من 0.326 إلى 0.911 بعد إزالة الفئة المتسرّبة وإعادة تدريب 35 نموذجًا على مجالين
- بصمة التسرّب: قابلية فك الترميز supervised بقيمة AUROC≈1 مقترنة بكشف unsupervised أقل من 0.65
- التحقق على 52 إعدادًا (20 بها تسرّب، و32 نظيفة) — ResNet-50 وViT-B/16 على CIFAR-10/100
- دقة التشخيص: حساسية 18/20 ونوعية 31/32 في فضاء التضمينات (embeddings)
- عملت الضوابط مع استبعاد مجموعة التدريب بشكل مثالي — 20/20
إلى أي مدى تنتشر المشكلة
المعايير القياسية عبر مجموعات البيانات المختلفة نظيفة في معظمها — وهذه هي الخلاصة العملية الرئيسية. كشفت مراجعة لـ24 زوجًا قياسيًا من near/far OOD عن تسرّب في زوج واحد بالضبط (زوج CIFAR-100 مقابل CIFAR-10 المعروف بصعوبته)، ولم يظهر أي تسرّب في أي زوج من نوع far-OOD، وهو ما يؤكد دقة التشخيص من حيث النوعية.
في ظل البروتوكول المصحَّح، تبيّن أن أسلوب الاضطرابات (perturbation) عديم الفائدة: يستعيد قارئ supervised إشارة OOD بقيمة AUROC تتراوح بين 0.87 و1.00، لكن لا يفعل ذلك أي كاشف unsupervised، والأسلوب نفسه لا يتفوّق على مسافة ماهالانوبيس (Mahalanobis) المعتادة.
"إشارات الاضطراب قابلة لفك الترميز، لكنها غير قابلة للكشف" — هكذا يصوغ
مؤلفو الورقة الأولية على arXiv الخلاصة الرئيسية.
ماذا يعني هذا
هذه النتيجة تحذير للباحثين في تعلّم الآلة: قيمة AUROC منخفضة بشكل غير طبيعي (أقل من 0.5) قد لا تشير إلى كاشف سيّئ، بل إلى معيار ملوّث. لا يقترح المؤلفون طريقة جديدة لكشف OOD، بل بروتوكولًا مصحَّحًا واختبارًا جاهزًا للتسرّب — وتحقيقًا للشفافية، يسحبون ارتباطًا خاطئًا سابقًا.
أسئلة شائعة
ما هو كشف OOD؟
كشف OOD (out-of-distribution) هو التعرّف على بيانات لا تشبه تلك التي دُرِّب عليها النموذج. وهو ضروري حتى لا يعطي النموذج إجابات واثقة عند مواجهة مدخلات غير مألوفة أو شاذة.
لماذا كانت قيمة AUROC أقل من 0.5؟
نشأت قيمة AUROC البالغة 0.326، الأقل من مستوى الصدفة 0.5، بسبب التسرّب: كانت الفئة "الغريبة" موجودة في مجموعة التدريب، لذا عُوقب الكاشف على اتخاذه القرار الصحيح. وبعد إزالة التسرّب، ارتفع المقياس إلى 0.911.
هل يؤثر هذا في المعايير القياسية؟
في الغالب لا. كشفت مراجعة 24 زوجًا قياسيًا من near/far OOD عن تسرّب في زوج واحد فقط — CIFAR-100 مقابل CIFAR-10 — بينما اعتُبر المخطط المعتاد لبناء المعايير عبر مجموعات البيانات نظيفًا.
هل تريد التوقف عن قراءة الذكاء الاصطناعي والبدء باستخدامه؟
AI News هو موجز منسق لأخبار الذكاء الاصطناعي. تعلمك Hamidun Academy استخدام الذكاء الاصطناعي في عملك.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.