The Verge→ المصدر

Google AI Overviews تخلط بين نتائج البحث وتعليمات المساعد

واجهت خدمة Google AI Overviews خللاً غريباً في سلوكها. عند البحث عن كلمة "disregard" (بمعنى التجاهل)، بدلاً من عرض الملخص الذي يعتمد على الذكاء الاصطناعي،…

معالج بواسطة الذكاء الاصطناعي من The Verge؛ بتحرير Hamidun News
Google AI Overviews تخلط بين نتائج البحث وتعليمات المساعد
المصدر: The Verge. كولاج: Hamidun News.
◐ استمع للمقال

واجهت خدمة Google AI Overviews مشكلة غير متوقعة. عند البحث عن كلمة "disregard"، بدلاً من ملخص الذكاء الاصطناعي المعتاد، يعرض النظام رد مساعد عادي متجاهلاً تماماً جوهر طلب المستخدم.

كيف يظهر الخلل

عندما يبحث المستخدمون عن كلمة "disregard" (بمعنى تجاهل)، تظهر في قسم AI Overview إجابة من قبيل:

Got it! Let me know if you need help with anything else.

أو:

No problem at all! How can I help you today?

بدلاً من عرض النتائج ذات الصلة وشرح معنى الكلمة، تقوم AI Overviews ببساطة بـ "إنهاء الحوار"، كما لو أن المستخدم أرسل أمراً إلى المساعد. لا توجد نتائج، لا توجد روابط - فقط هذا الرد. المشكلة قابلة للتكرار بشكل مستقر.

ما الذي يحدث في النموذج

يبدو أن نموذج Google يفسر كلمة "disregard" كأمر موجه لنفسه - حرفياً كتعليمة لتجاهل الطلب. هذه حالة كلاسيكية من حقن التعليمات البرمجية (prompt injection)، لكن من خلال واجهة البحث: بدلاً من البحث عن المعلومات، ينتقل الذكاء الاصطناعي إلى وضع المساعد ويستجيب للكلمة نفسها كتعليمة. يذكرنا هذا بحوادث قديمة مع نماذج اللغة الكبيرة (LLM)، حيث يمكن لرموز معينة أو عبارات أن تكسر السلوك المتوقع للنظام. كلمة "disregard" حرفياً تجعل الذكاء الاصطناعي "يتجاهل" مهمته الأساسية (تلخيص نتائج البحث) والانتقال إلى وضع "مستعد للمساعدة".

لماذا هذا ذو دلالة

يكشف الخلل عن ثغرة أساسية في تصميم AI Overviews. لا يفصل النظام بشكل كامل بين استعلامات المعلومات والتعليمات:

  • كلمات معينة تؤدي إلى تبديل السياق في النموذج
  • نية المستخدم والأوامر الموجهة للمساعد تختلط في نظام واحد
  • قامت Google بتوسيع نطاق AI Overviews دون اختبار شامل للحالات الحدية
  • مع مليارات المستخدمين، يمكن لأي نص أن يكسر النموذج

ماذا يعني هذا

يوضح الحادث المخاطر المرتبطة بدمج نماذج اللغة الكبيرة (LLM) بسرعة كبيرة في الأنظمة الحساسة مثل محرك البحث. عندما يدخل مليارات الأشخاص أي نص، تقترب احتمالية العثور على حالة حدية تكسر النموذج من التأكيد. بالنسبة إلى Google، هذا إشارة: إعادة صياغة التحقق من بيانات الإدخال، وإضافة مرشحات والتأكد من أن AI Overviews يمكنها التمييز بين الاستعلام المعلوماتي والتعليمات الموجهة للنظام. توقعوا إصلاحاً سريعاً ونهجاً أكثر تحفظاً لتوسيع الميزات.

ZK
Hamidun News
أخبار الذكاء الاصطناعي بدون ضوضاء. اختيار تحريري يومي من أكثر من 400 مصدر. منتج من جمال حميدون، رئيس الذكاء الاصطناعي في Alpina Digital.

هل تريد التوقف عن قراءة الذكاء الاصطناعي والبدء باستخدامه؟

AI News هو موجز منسق لأخبار الذكاء الاصطناعي. تعلمك Hamidun Academy استخدام الذكاء الاصطناعي في عملك.

ما رأيك؟
جارٍ تحميل التعليقات…