ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارAPI / منتج · جاهز للعملTechCrunch→ المصدر

OpenAI تطلق أداة لرصد مواد CSAM: عدد الصور المحالة إلى المشرفين للمراجعة اليدوية أقل بنسبة 48%

أطلقت OpenAI أداة لرصد مواد CSAM، وهو الاسم المختصر لمواد الاعتداء الجنسي على الأطفال، بما فيها المولَّدة بالذكاء الاصطناعي. يمنح النموذج كل صورة جديدة درجة تقييم، بينما يتخذ المشرف القرار النهائي. وفي اختبارات أُجريت مع شركاء، وضع النموذج علامة على صور أقل بنسبة 48% مع رصد العدد نفسه من المخالفات الحقيقية، فبلغ المراجعة اليدوية عدد أقل من الصور غير الضارة. وبالنسبة إلى المنصات التي تتيح تحميل الصور، يعني ذلك توفيرًا في وقت المشرفين.

معالج بواسطة الذكاء الاصطناعي من TechCrunch؛ بتحرير Hamidun News
OpenAI تطلق أداة لرصد مواد CSAM: عدد الصور المحالة إلى المشرفين للمراجعة اليدوية أقل بنسبة 48%
المصدر: TechCrunch. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليTechCrunch ↗
رئيس التحرير
حقيقة رئيسية #1الصور التي يضع عليها النموذج علامة تكون مخالفات حقيقية بمعدل الضعف تقريبًا
حقيقة رئيسية #2سيعرض ChatGPT تحذيرًا ويحظر الحساب لمدة 24 ساعة
حقيقة رئيسية #3الوصول إلى API مجاني، لكنه متاح حتى الآن لشركات مختارة فقط

تواجه أي منصة يحمّل فيها المستخدمون الصور أو يولّدونها بالذكاء الاصطناعي مواد CSAM عاجلًا أم آجلًا، وهو الاسم المختصر لمواد الاعتداء الجنسي على الأطفال. وقد زادت النماذج التوليدية المشكلة حدّة، إذ صار بالإمكان الآن إنشاء هذه الصور وليس توزيعها فحسب. أعلنت OpenAI حزمة إجراءات في أربعة اتجاهات: مصنِّف جديد للصور، وتحذيرات في ChatGPT، ودليل للمطورين، وأدوات للشرطة.

الرقم الرئيسي في الحزمة هو 48%. ففي اختبارات أولية مع شركاء، وضع المصنِّف علامة على صور أقل بنسبة 48% مقارنة بالنهج السابق، وظل عدد المخالفات الحقيقية المرصودة كما هو. بعبارة أبسط: تصل إلى المشرف صور بريئة أقل يتعين عليه فحصها بنفسه، ولا تضيع الحالات الحقيقية.

المصنِّف: عمل يدوي زائد أقل

يبحث النموذج الجديد عن السمات البصرية للاعتداء في الصور، بما فيها تلك التي أنشأها الذكاء الاصطناعي. ويعمل كذلك مع صور لم يصادفها من قبل، أي إنه لا يقتصر على مطابقة الملفات بقاعدة بيانات للملفات المعروفة مسبقًا. وفي المخرجات يتلقى المشرف درجة تقييم. وهي لا تصدر حكمًا، بل ترشده إلى ما ينبغي النظر فيه أولًا وإلى كيفية التصرف لاحقًا.

طورت OpenAI الأداة بالتعاون مع المركز الوطني للأطفال المفقودين والمستغَلّين (NCMEC). وتتيح الشركة الوصول عبر API مجانًا، لكنه حتى الآن لمؤسسات مختارة فقط. وتعمل على التوزيع بالتعاون مع Tech Coalition وROOST.

الرقم الثاني من الاختبارات: الصور التي يضع عليها المصنِّف علامة تكون مخالفات حقيقية بمعدل الضعف تقريبًا. وبالنسبة إلى المشرفين، هذه مسألة تتعلق أيضًا بالعبء النفسي: فكل صورة مشبوهة زائدة يضطر إنسان إلى النظر إليها.

تحذيرات في ChatGPT وتعليمات للمطورين

كان ChatGPT يحظر CSAM والطلبات المرتبطة به من قبل. أما الآن، فعند محاولة من هذا النوع سيعرض روبوت الدردشة تحذيرًا ويوجّه الشخص إلى مساعدة متخصصة بهدف وقف السلوك الضار. وبعد ذلك يُحظر الحساب لمدة 24 ساعة. وعند تكرار المخالفات قد يُحذف نهائيًا.

أعدّت OpenAI نصوص التحذيرات بالتعاون مع منظمتي Protect Children وLucy Faithfull Foundation ومع الباحث جويل سكانلان من جامعة تسمانيا. وقد قيّم سكانلان بصورة مستقلة تجربة تجريبية لرسائل يُفترض أن تردع الناس عن مثل هذه الطلبات.

ونشرت الشركة بشكل منفصل دليلًا للمطورين الذين يبنون على أدواتها. يشرح الدليل كيفية منع CSAM ورصده، وكيفية مساعدة المستخدمين على الإبلاغ عنه. وبحسب OpenAI، ساعد الدليل في الاختبارات الأولية عددًا من المطورين على دمج أدوات حماية الأطفال والتسجيل لتقديم البلاغات إلى NCMEC.

وتضيف الشركة إلى المسؤولين عن إنفاذ القانون العاملين في قضايا سلامة الأطفال وظائف ذكاء اصطناعي: إضافات برمجية وأدوات تحقيق وتحليل لمجموعات البيانات المعقدة. ويدير المسؤولون عن البرنامج صلاحيات الوصول. ويُعرض على المحققين تدريب ودليل ميداني للعمل مع الذكاء الاصطناعي.

السياق والقيود

يأتي الإعلان في ظل ضغوط على الشركة. فقد رُفعت دعاوى ضد OpenAI تتهم التقنية بإلحاق الضرر بالمستخدمين، وخاصة الأطفال. وصنّفت منظمة Common Sense Media منتجات OpenAI الموجهة للمراهقين على أنها «خطر غير مقبول». واستُخدمت روبوتات دردشة أخرى، ومنها Grok، لإنشاء صور جنسية دون موافقة أصحابها، بما في ذلك صور لأطفال. وخلال الأشهر الـ12 الأخيرة أصدرت OpenAI بالفعل خطة للسلامة، وحدّثت قواعد المحتوى، وأعادت تدريب النماذج، وأطلقت نسخة من ChatGPT للمراهقين.

ثمة تحفظات لا بد من ذكرها. فنسبتا 48% و«الضعف» مأخوذتان من اختبارات أولية مع شركاء، وتصدر حتى الآن عن الشركة نفسها. ولا يتضمن المصدر أي تحقق مستقل. كما لن يحصل الجميع على الوصول إلى المصنِّف: فهو يُمنح لشركات مختارة. وتظل الدرجة مجرد توجيه، والقرار النهائي يتخذه الإنسان.

والخلاصة بالنسبة إلى فرق المنتجات بسيطة. إذا كانت الخدمة تتيح تحميل الصور أو توليدها، فينبغي التفكير مسبقًا في السلسلة كاملة: تقييم آلي، ثم مراجعة يدوية، ثم بلاغ إلى المنظمة المختصة. ويمكن اعتماد دليل OpenAI نقطة انطلاق. وإذا كانت شركتكم تعمل في الإشراف على المحتوى، فمن المفيد الاستفسار عن إمكانية الوصول إلى المصنِّف عبر Tech Coalition أو ROOST.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول المصنِّف: عمل يدوي زائد أقل؟

يبحث النموذج الجديد عن السمات البصرية للاعتداء في الصور، بما فيها تلك التي أنشأها الذكاء الاصطناعي. ويعمل كذلك مع صور لم يصادفها من قبل، أي إنه لا يقتصر على مطابقة الملفات بقاعدة بيانات للملفات المعروفة مسبقًا. وفي المخرجات يتلقى المشرف درجة تقييم. وهي لا تصدر حكمًا، بل ترشده إلى ما ينبغي النظر فيه أولًا وإلى كيفية التصرف لاحقًا. طورت OpenAI الأداة بالتعاون مع المركز الوطني للأطفال المفقودين والمستغَلّين (NCMEC). وتتيح الشركة الوصول عبر API مجانًا، لكنه حتى الآن لمؤسسات مختارة فقط.

ما أبرز التفاصيل حول تحذيرات في ChatGPT وتعليمات للمطورين؟

كان ChatGPT يحظر CSAM والطلبات المرتبطة به من قبل. أما الآن، فعند محاولة من هذا النوع سيعرض روبوت الدردشة تحذيرًا ويوجّه الشخص إلى مساعدة متخصصة بهدف وقف السلوك الضار. وبعد ذلك يُحظر الحساب لمدة 24 ساعة. وعند تكرار المخالفات قد يُحذف نهائيًا. أعدّت OpenAI نصوص التحذيرات بالتعاون مع منظمتي Protect Children وLucy Faithfull Foundation ومع الباحث جويل سكانلان من جامعة تسمانيا. وقد قيّم سكانلان بصورة مستقلة تجربة تجريبية لرسائل يُفترض أن تردع الناس عن مثل هذه الطلبات.

ما أبرز التفاصيل حول السياق والقيود؟

يأتي الإعلان في ظل ضغوط على الشركة. فقد رُفعت دعاوى ضد OpenAI تتهم التقنية بإلحاق الضرر بالمستخدمين، وخاصة الأطفال. وصنّفت منظمة Common Sense Media منتجات OpenAI الموجهة للمراهقين على أنها «خطر غير مقبول». واستُخدمت روبوتات دردشة أخرى، ومنها Grok، لإنشاء صور جنسية دون موافقة أصحابها، بما في ذلك صور لأطفال. وخلال الأشهر الـ12 الأخيرة أصدرت OpenAI بالفعل خطة للسلامة، وحدّثت قواعد المحتوى، وأعادت تدريب النماذج، وأطلقت نسخة من ChatGPT للمراهقين. ثمة تحفظات لا بد من ذكرها.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…