تسرّب في معايير OOD: كيف أسقط صنف ملوَّث قيمة AUROC لكاشف الشذوذ إلى 0.326
أظهرت ورقة بحثية أولية على arXiv كيف يُفسد التسرّب في معيار OOD تقييم كاشف الشذوذ: فقد هبطت قيمة AUROC إلى 0.326، أي أدنى من التخمين العشوائي، لمجرد أن الصنف «الغريب» كان في الواقع ضمن بيانات تدريب النموذج. وبعد حذف الصنف وإعادة تدريب 35 نموذجًا، ارتفع المقياس إلى 0.911. ويقترح المؤلفون «بصمة» تشخيصية لهذا النوع من التسرّب.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.LG؛ بتحرير Hamidun News
بيّن باحثون في ورقة أولية على arXiv (arXiv:2607.19393، يوليو 2026) أن الطريقة الشائعة لبناء معايير OOD قد تشوّه النتائج: فقد سجّل كاشف الشذوذ قيمة AUROC بلغت 0.326، أي أقل من مستوى التخمين العشوائي البالغ 0.5، لمجرد أن الصنف «الغريب» كان في الواقع موجودًا ضمن بيانات تدريب النموذج.
لماذا كان الكاشف أسوأ من رمي العملة؟
نشأت قيمة AUROC البالغة 0.326 عن تسرّب في المعيار: فالصنف الموسوم بأنه OOD («خارج التوزيع») كان من بين الأصناف التي تدرّب عليها النموذج بالفعل. وقد دخلت أمثلته ضمن عيّنة in-distribution، فعوقب الكاشف لأنه تعرّف عليها بشكل صحيح بوصفها مألوفة. وبعد حذف هذا الصنف وإعادة تدريب 35 نموذجًا في مجالين، ارتفع المقياس إلى 0.911، أي من إخفاق دون مستوى العشوائية إلى نتيجة شبه ممتازة. لم يتغيّر المقياس نفسه؛ الذي تغيّر هو نقاء المعيار فقط.
ما هي بصمة التسرّب؟
بصمة التسرّب (leak fingerprint) هي زوج من المؤشرات يميّز به المؤلفون المعيار الملوَّث عن النظيف. ويكشف التلوث عن نفسه حين يفصل مصنِّف supervised أمثلة OOD بشكل شبه مثالي (AUROC ≈ 1)، بينما يخفق كاشف unsupervised فتنخفض قيمته عن 0.65. وهذا التباين هو علامة على أن الصنف «الغريب» مألوف في الواقع للنموذج.
أبرز حقائق الدراسة:
- ارتفعت قيمة AUROC من 0.326 إلى 0.911 بعد حذف الصنف المتسرّب وإعادة تدريب 35 نموذجًا في مجالين
- بصمة التسرّب: supervised decodability بقيمة AUROC ≈ 1 مقترنة بـ unsupervised detection أقل من 0.65
- التحقق على 52 إعدادًا (20 مع تسرّب و32 نظيفًا) — ResNet-50 وViT-B/16 على CIFAR-10/100
- دقة التشخيص: حساسية 18/20 ونوعية 31/32 في فضاء embeddings
- نجحت ضوابط استبعاد بيانات التدريب بشكل تام — 20/20
ما مدى انتشار المشكلة؟
معظم المعايير القياسية عبر مجموعات البيانات نظيفة، وهذا هو الاستنتاج العملي الرئيسي. فقد كشف تدقيق 24 زوجًا قياسيًا من near/far OOD عن تسرّب في زوج واحد بالضبط (وهو CIFAR-100 مقابل CIFAR-10 الصعب بطبيعته)، ولم يكشف عن أي تسرّب في أي زوج من far-OOD، ما يؤكد نوعية التشخيص.
وفي ظل البروتوكول المصحَّح، تبيّن أن طريقة الاضطرابات (perturbation) لا جدوى منها: إذ يستعيد القارئ supervised إشارة OOD بقيمة AUROC تتراوح بين 0.87 و1.00، لكن أيًّا من كواشف unsupervised لا يفعل ذلك، كما أن الطريقة نفسها لا تتفوق على مسافة ماهالانوبيس المعتادة.
«إشارات الاضطرابات قابلة للفك لكنها غير قابلة للكشف»، بهذه العبارة
يلخّص مؤلفو الورقة على arXiv الاستنتاج الرئيسي.
ماذا يعني هذا؟
تشكّل النتيجة تحذيرًا لباحثي ML: فقيمة AUROC المنخفضة بشكل شاذ (أقل من 0.5) قد لا تدل على كاشف سيئ، بل على معيار ملوَّث. ولا يقترح المؤلفون طريقة جديدة لاكتشاف OOD، بل بروتوكولًا مصحَّحًا واختبارًا جاهزًا للكشف عن التسرّب، ومن باب الشفافية يسحبون ارتباطًا خاطئًا سابقًا.
أسئلة شائعة
ما هو اكتشاف OOD؟
اكتشاف OOD (out-of-distribution) هو التعرّف على بيانات لا تشبه تلك التي تدرّب عليها النموذج. وتكمن أهميته في منع النموذج من تقديم إجابات واثقة عند مواجهة مدخلات غير مألوفة أو شاذة.
لماذا كانت قيمة AUROC أقل من 0.5؟
نشأت قيمة AUROC البالغة 0.326، وهي أدنى من مستوى العشوائية 0.5، عن تسرّب: فالصنف «الغريب» كان ضمن بيانات التدريب، ولذلك عوقب الكاشف على قراره الصحيح. وبعد إزالة التسرّب ارتفع المقياس إلى 0.911.
هل يؤثر ذلك في المعايير القياسية؟
في الغالب لا. فقد عثر تدقيق 24 زوجًا قياسيًا من near/far OOD على تسرّب في زوج واحد فقط — CIFAR-100 مقابل CIFAR-10 — وعُدّت الطريقة المعتادة لبناء المعايير عبر مجموعات البيانات نظيفة.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.