KDnuggets: خمس طرق لاكتشاف القيم الشاذة تتفق على 32 فقط من أصل 816 عينة نبيذ
قارن KDnuggets بين خمس طرق شائعة لاكتشاف القيم الشاذة على مجموعة بيانات حقيقية تضم 6497 نبيذًا برتغاليًا. من بين 816 عينة اعتبرتها خوارزمية واحدة على الأقل شاذة، لم تتفق الطرق الأساسية الأربع جميعها في آن واحد إلا على 32 عينة. الدرس العملي صارم: خوارزمية واحدة قد تضلّل المحلل بسهولة، بينما تظهر الإشارة الأكثر موثوقية حيث تتقاطع مناهج مختلفة.
معالج بواسطة الذكاء الاصطناعي من KDnuggets؛ بتحرير Hamidun News
اختبر KDnuggets خمس طرق شائعة لاكتشاف القيم الشاذة على مجموعة بيانات حقيقية للنبيذ، وخرج بنتيجة تناقض البديهيات الواردة في الكتب الدراسية. فمن بين 816 عينة صنّفتها خوارزمية واحدة على الأقل على أنها شاذة، لم تتفق الطرق الأساسية جميعها إلا على 32 عينة فقط.
لماذا تختلف الطرق فيما بينها
اعتمدت التجربة على مجموعة بيانات Wine Quality Dataset المفتوحة من UCI: 6497 نبيذًا برتغاليًا من نوع Vinho Verde، بينها 1599 أحمر و4898 أبيض، مع 11 خاصية فيزيائية كيميائية وتقييمات المتذوقين. وهذه تفصيلة مهمة، إذ إن البيانات لم تكن «مثالية كما في الكتب»: فقد أظهرت ست خصائص من أصل أحد عشر التواءً ملحوظًا في التوزيع، ما يعني أن الافتراضات الكلاسيكية حول التوزيع الطبيعي لا تصمد هنا.
ظهرت المشكلة الأولى قبل مقارنة الخوارزميات أصلًا. فإذا اعتُبرت العينة شاذة بمجرد أن تكون إحدى خصائصها الـ11 متطرفة، ترتفع نسبة الإنذارات أكثر من اللازم. في هذا الوضع صنّفت طريقة IQR نحو 23% من الأنبذة على أنها شاذة، وطريقة Z-Score نحو 26%. ويفسّر الباحثون ذلك بأثر الاختبارات المتعددة: فحتى لو كانت كل خاصية على حدة نادرًا ما تنتج قيمة متطرفة عشوائيًا، فإن فحص 11 عمودًا يرفع بشدة احتمال رصد «شذوذ» في موضع ما. لذلك اعتمد التحليل قاعدة أكثر صرامة: تُعدّ العينة مشبوهة فقط إذا كانت خاصيتان على الأقل متطرفتين في وقت واحد.
ماذا أظهر الاختبار
بعد هذا التعديل، قارن الباحثون خمسة مناهج: Robust Z-Score وIQR وIsolation Forest وLocal Outlier Factor وElliptic Envelope. وجاء التشابه بين النتائج ضعيفًا: إذ تراوح معامل جاكارد بين أزواج الطرق ما بين 0,10 و0,30. بعبارة أخرى، نظرت أدوات مختلفة إلى مجموعة البيانات نفسها ورأت «غرائب» مختلفة.
ومن بين 816 نبيذًا اعتبرته طريقة واحدة على الأقل شاذًا، لم تدخل القائمة المشتركة للطرق الأساسية الأربع جميعها سوى 32 عينة. وقد صنّفت ثلاث طرق على الأقل 143 نبيذًا إضافيًا. أما الباقي فمنطقة خلافية: عينات بدت غير معتادة من وجهة نظر خوارزمية واحدة أو اثنتين فقط.
«السؤال ليس: أي طريقة هي الأفضل، بل: أي نوع من الغرابة تبحث عنه».
- Robust Z-Score يرصد الانحرافات الحادة في الخصائص المفردة.
- IQR يلتقط القيم المتطرفة جيدًا دون افتراض توزيع طبيعي.
- Isolation Forest يقيّم العينة بالنظر إلى مجموعة الخصائص كلها دفعة واحدة.
- LOF يقيس مدى شذوذ النقطة عن محيطها المحلي.
- Elliptic Envelope يعتمد على الطبيعية متعددة المتغيرات، ولذلك جاء أداؤه هنا أضعف.
ويذكّر المؤلفون كذلك بفخ في طرق تعلّم الآلة. فقد استخدم كلٌّ من Isolation Forest وLOF في هذا الاختبار القيمة contamination=0.05، أي أن النموذج أُلزم مسبقًا بتصنيف 5% من العينات على أنها شاذة. وهذه ليست «حقيقة مكتشفة» بل حصة مفروضة بصرامة. لذا فإن تساوي نسبة الإنذارات بين خوارزميات من هذه الفئة لا يعني تساوي جودتها.
القرارات التي أحدثت الفرق
أثّرت ثلاثة قرارات هندسية بقوة في النتيجة النهائية. أولًا، استُخدمت النسخة المتينة (robust) من Z-Score القائمة على الوسيط والانحراف المطلق الوسيط (median absolute deviation) بدلًا من النسخة المعتادة، لأن النسخة القياسية شديدة التأثر بالقيم الشاذة نفسها، ولم تصنّف في هذه البيانات سوى 0,8% من الصفوف مقابل 3,5% للنسخة الأكثر ثباتًا. ثانيًا، جرى تحجيم (scaling) النبيذ الأحمر والأبيض كلٌّ على حدة، لأن لهما مستويات أساسية مختلفة للمؤشرات الكيميائية، ودمجهما دون تعديل يولّد شذوذًا زائفًا. ثالثًا، لم يُدرج Elliptic Envelope في «تصويت الثقة» النهائي. فهذه الطريقة تفترض توزيعًا طبيعيًا متعدد المتغيرات، وهذا الشرط لم يتحقق في Wine Quality Dataset: إذ بلغ التواء إحدى الخصائص 5,4، وتجاوز التواء عدة خصائص أخرى 1.
واستبعاد هذه الطريقة من الإجماع ليس تجميلًا هنا، بل مثال على الانضباط التحليلي السليم: إذا انتُهكت الفرضيات المسبقة، فلا ينبغي للأداة أن تحدد الخلاصة النهائية.
كما قارن المؤلفون القيم الشاذة بتقييمات التذوق التي تتراوح بين 3 و9 درجات. وتبيّن أن العينات ذات الجودة المتطرفة، سواء الجيدة جدًا أو السيئة جدًا، دخلت قائمة الشذوذ بالإجماع بمعدل يقارب الضعف. وهذا لا يثبت أن الخوارزميات «فهمت الطعم»، لكنه يوفر فحصًا مفيدًا للتحقق (sanity check): فالانحرافات الكيميائية تظهر فعلًا بوتيرة أعلى حيث يشذّ النبيذ أيضًا بحسب تقييم الخبراء.
ماذا يعني ذلك
الخلاصة الرئيسية لممارسي علم البيانات وتعلّم الآلة بسيطة: القيمة الشاذة ليست كيانًا موضوعيًا، بل نتيجة للتعريف المختار. وإذا كان المطلوب سير عمل دون بيانات مرجعية موسومة، فمن الأجدى ألا يُوثق بخوارزمية واحدة، بل يُبنى إجماع من عدة طرق، ثم يُقرَّر بالتعاون مع الخبرة في المجال ما يُحذف وما يُحتفظ به بوصفه إشارة نادرة لكنها قيّمة.
- 11 يوليو 2026تقليم LLM هيكلياً دون فقدان الدقة: اختبار الطريقة على Llama-3-8B وVicuna
- 2 مايو 2026وكلاء الذكاء الاصطناعي للأتمتة: أين تجد الحلول الجاهزة
- 30 مايو 2026الذكاء الاصطناعي للأتمتة: 7 مشاريع عملية لعام 2026
- 23 يوليو 2026Google وKaggle تطلقان دورة مجانية مدتها 5 أيام في وكلاء الذكاء الاصطناعي (Agentic AI)
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول لماذا تختلف الطرق فيما بينها؟
اعتمدت التجربة على مجموعة بيانات Wine Quality Dataset المفتوحة من UCI: 6497 نبيذًا برتغاليًا من نوع Vinho Verde، بينها 1599 أحمر و4898 أبيض، مع 11 خاصية فيزيائية كيميائية وتقييمات المتذوقين. وهذه تفصيلة مهمة، إذ إن البيانات لم تكن «مثالية كما في الكتب»: فقد أظهرت ست خصائص من أصل أحد عشر التواءً ملحوظًا في التوزيع، ما يعني أن الافتراضات الكلاسيكية حول التوزيع الطبيعي لا تصمد هنا. ظهرت المشكلة الأولى قبل مقارنة الخوارزميات أصلًا.
ما أبرز التفاصيل حول ماذا أظهر الاختبار؟
بعد هذا التعديل، قارن الباحثون خمسة مناهج: Robust Z-Score وIQR وIsolation Forest وLocal Outlier Factor وElliptic Envelope. وجاء التشابه بين النتائج ضعيفًا: إذ تراوح معامل جاكارد بين أزواج الطرق ما بين 0,10 و0,30. بعبارة أخرى، نظرت أدوات مختلفة إلى مجموعة البيانات نفسها ورأت «غرائب» مختلفة. ومن بين 816 نبيذًا اعتبرته طريقة واحدة على الأقل شاذًا، لم تدخل القائمة المشتركة للطرق الأساسية الأربع جميعها سوى 32 عينة. وقد صنّفت ثلاث طرق على الأقل 143 نبيذًا إضافيًا.
ما أبرز التفاصيل حول القرارات التي أحدثت الفرق؟
أثّرت ثلاثة قرارات هندسية بقوة في النتيجة النهائية. أولًا، استُخدمت النسخة المتينة (robust) من Z-Score القائمة على الوسيط والانحراف المطلق الوسيط (median absolute deviation) بدلًا من النسخة المعتادة، لأن النسخة القياسية شديدة التأثر بالقيم الشاذة نفسها، ولم تصنّف في هذه البيانات سوى 0,8% من الصفوف مقابل 3,5% للنسخة الأكثر ثباتًا. ثانيًا، جرى تحجيم (scaling) النبيذ الأحمر والأبيض كلٌّ على حدة، لأن لهما مستويات أساسية مختلفة للمؤشرات الكيميائية، ودمجهما دون تعديل يولّد شذوذًا زائفًا.
Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews
Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.