Обучают ли ИИ-лаборатории модели под тест «пеликан на велосипеде»: разбор pelicanmaxxing
Исследователь Дилан Кастильо проверил популярную гипотезу: не обучают ли AI-лаборатории модели специально хорошо рисовать пеликана на велосипеде — ненаучный бенчмарк Саймона Уиллисона. Он прогнал 48 промптов (8 животных × 6 видов транспорта) трижды через 7 моделей и оценил итог ещё двумя. Вывод: следов такой подгонки нет. Ближе всех подошла GLM-5.2, но эффект мал и статистически незначим.
معالج بواسطة الذكاء الاصطناعي من Simon Willison؛ بتحرير Hamidun News
في 22 يوليو 2026، نشر المطوّر ديلان كاستيلو (Dylan Castillo) دراسة تختبر فرضية "pelicanmaxxing" — هل تدرّب مختبرات الذكاء الاصطناعي نماذجها عمدًا لترسم بشكل جميل بجعة (pelican) على دراجة من أجل اختبار سايمون ويليسون (Simon Willison) غير العلمي. شغّل كاستيلو 48 موجّهًا (prompt) ثلاث مرات عبر 7 نماذج ولم يعثر على أي أثر لمثل هذا التخصيص.
ما هو معيار "البجعة على الدراجة"
معيار "البجعة على الدراجة" هو اختبار شخصي وغير رسمي لسايمون ويليسون، يطلب فيه من كل نموذج لغوي جديد توليد رسم SVG لبجعة تمتطي دراجة. يصف ويليسون نفسه هذا الاختبار بأنه "غير علمي تمامًا"، لكن على مدى بضع سنوات أصبح الاختبار معروفًا جدًا في المجتمع لدرجة أن الشك ثار: ربما بدأت المختبرات في تحسين نماذجها خصيصًا لهذا الاختبار كي تبدو متفوقة. حصلت هذه الظاهرة على اسم ساخر هو pelicanmaxxing (وفي نص كاستيلو — pelimaxxing).
كيف صُمّمت التجربة
بنى كاستيلو شبكة من 8 حيوانات و6 أنواع من وسائل النقل — أي 48 توليفة من الموجّهات (prompts) — وشغّل كل واحدة منها ثلاث مرات عبر 7 نماذج مختلفة. تتيح هذه المصفوفة مقارنة ما إذا كانت النماذج ترسم زوج "البجعة + الدراجة" بشكل أفضل بصورة شاذة مقارنة بأي توليفة أخرى مثل "فلامينغو على سكوتر" أو "مالك الحزين في قارب".
- تاريخ النشر: 22 يوليو 2026
- 8 حيوانات × 6 وسائل نقل = 48 موجّهًا، تم تشغيل كل واحد 3 مرات
- تم اختبار 7 نماذج: GPT-5.6 Terra وClaude Sonnet 5 وGemini 3.5 Flash وGrok 4.5 وQwen 3.7-Max وGLM-5.2 وDeepSeek V4 Pro
- قام نموذجان منفصلان بتقييم النتائج — GPT-5.6 Luna وGemini 3.1 Flash-Lite
- لاستعراض كل التوليدات، جمع المؤلف شبكة تفاعلية مزوّدة بمرشّحات (فلاتر)
هل وُجدت آثار للتخصيص؟
لم يعثر كاستيلو على أي أثر لظاهرة pelicanmaxxing في أي من خطوط التحقق الخمسة. لا تبدو البجعات على الدراجات أفضل من المشاهد الأخرى، ولا تُرسم البجعات بعناية أكبر من الحيوانات الأخرى، ولا تُرسم الدراجات بعناية أكبر من وسائل النقل الأخرى، ولا تظهر التوليفة نفسها بشكل أفضل مما تتنبأ به مهارات النموذج الفردية، حتى بعد تصحيح درجة الصعوبة. أظهر الفحص الخامس أن المشاهد لا تبدو محفوظة عن ظهر قلب.
كان النموذج GLM-5.2 الأقرب إلى الشذوذ: فقد سُجّل له أكبر تحسّن في الجودة تحديدًا في خانة "البجعة + الدراجة"، ولفتت أول عينة له انتباه المؤلف. لكن، وفقًا لبيانات كاستيلو، يبقى هذا التأثير صغيرًا وغير ذي دلالة إحصائية.
"كان GLM-5.2 الأقرب من الجميع: فله أكبر تحسّن تحديدًا في خانة 'البجعة
على الدراجة'. لكن التأثير صغير وغير ذي دلالة إحصائية، لذا لن أعطيه وزنًا كبيرًا" — ديلان كاستيلو، مؤلف الدراسة.
ما الذي يعنيه هذا
وصف سايمون ويليسون، الذي أثار معياره كل هذا النقاش، عمل كاستيلو بأنه "ممتاز"، وأشار إلى أنه هو نفسه كان يفحص النماذج سابقًا بشكل انتقائي فقط، دون هذا القدر من المنهجية. تطمئن نتيجة الدراسة المتشككين: فلا توجد حتى الآن بيانات تثبت أن المختبرات "تغش" من أجل اختبار فيروسي محدد — إذ ترسم النماذج البجعة على الدراجة بالضبط بالقدر الذي تسمح به مهاراتها العامة في التوليد.
أسئلة شائعة
ما هو pelicanmaxxing؟
هو افتراض أن مختبرات الذكاء الاصطناعي تدرّب نماذجها عمدًا لتجتاز بنجاح تحديدًا اختبار "البجعة على الدراجة" الخاص بسايمون ويليسون. ولم تعثر دراسة ديلان كاستيلو الصادرة في 22 يوليو 2026 على ما يؤكد ذلك.
ما هي النماذج التي حققت أفضل نتيجة؟
في مصفوفة الـ48 موجّهًا، كان GLM-5.2 الأقرب إلى نتيجة "مثيرة للشبهة" — إذ حقق أكبر تحسّن في زوج "البجعة + الدراجة". لكن التأثير غير ذي دلالة إحصائية، لذا لا يعتبره المؤلف دليلًا على التخصيص.
هل تحتاج إلى ذكاء اصطناعي يعمل داخل شركتك — وليس فقط في موجز الأخبار؟
أبني ذكاءً اصطناعياً جاهزاً للإنتاج للشركات — أنظمة CRM مخصّصة، أدوات داخلية، وكلاء مستقلون، أتمتة سير العمل. ملك لك، مصمّم وفق عمليتك، دون رسوم لكل مستخدم. من إعداد جمال خميدون، مدير المنتجات في AlpinaGPT (منصة ذكاء اصطناعي، أكثر من 6000 مستخدم).
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.