سياق المحادثة يغيّر قوائم أنظمة CRM لدى الشبكات العصبية بأكثر من النصف

اسأل الشبكة العصبية عن نظام CRM الذي ينبغي اختياره لشركة روسية، وستحصل على قائمة من المنتجات المألوفة. أضف قبل السؤال نفسه جملتين عن حجم قسم المبيعات أو عن صفقة طويلة، فتتغير القائمة بوضوح. وإذا سُمّيت علامة تجارية بعينها مسبقاً، فمن المرجح كثيراً أن تظهر في الإجابة النهائية أيضاً.

يبدو هذا بديهياً إلى أن تبدأ الشركات بقياس «ظهورها في الذكاء الاصطناعي» برقم واحد. عندها كثيراً ما تدخل الإجابات التي جاءت بلا تلميح والإجابات التي جاءت بعد مناقشة العلامة التجارية في تقرير واحد. وتوضح تجربة أندريه كروجكوف، رئيس Pragmatix Digital، لماذا يشوّه هذا الخلط النتيجة.

سؤال واحد وخمس مقدمات مختلفة

شارك في التجربة ChatGPT وPerplexity وAlice AI. وُجّه إلى كل نظام السؤال نفسه: أي أنظمة CRM كان سيأخذها بالحسبان لشركة في روسيا. ولم يتغير سوى مقدمة المحادثة.

في السيناريو الضابط طُرح السؤال مباشرة. وفي المحادثات الأخرى وُصفت قبله شركة B2B صغيرة، أو دورة صفقة طويلة، أو ذُكر BPMSoft، أو نوقشت أولاً أنظمة CRM التي اقترحتها الشبكة العصبية نفسها. وكُرر كل سيناريو ثلاث مرات لكل نظام، فبلغ المجموع 45 محادثة.

ولمقارنة القوائم استخدم الباحث معامل جاكار: نسبة المنتجات المشتركة من بين جميع أنظمة CRM الفريدة في إجابتين. وإذا تطابقت القائمتان تماماً، تكون النتيجة 100%.

بلا مقدمة كانت إجابات النظام الواحد مستقرة نسبياً: بلغ تشابه القوائم الضابطة الثلاث 83% لدى ChatGPT و91% لدى Perplexity و67% لدى Alice. لكن بعد وصف الشركة تغيّرت التركيبة بوضوح أكبر. ففي سيناريو الفريق الصغير انخفض التشابه مع الضابط إلى 48% لدى ChatGPT و23% لدى Perplexity و51% لدى Alice. أما وصف الصفقة الطويلة فأعطى 62% و59% و46% على التوالي.

ومثال بسيط: لم يغيّر المستخدم سؤال CRM نفسه، بل ذكر سابقاً أن في قسم المبيعات ثمانية أشخاص وأن التطبيق المعقّد غير مرغوب. وكان ذلك كافياً ليعيد ChatGPT وPerplexity ترتيب القائمة بدرجة أكبر من التشتت المعتاد بين الإجابات المتكررة.

ذكر العلامة التجارية يغيّر معنى المقياس

ظهرت أوضح نتيجة في سيناريو BPMSoft. فقد قال المستخدم أولاً إن زميلاً ذكر هذا المنتج، ثم طلب النظر إلى السوق على نطاق أوسع، وبعد ذلك فقط طرح السؤال العام عن CRM.

دخل BPMSoft في جميع القوائم النهائية التسع: ثلاث إجابات لكل شبكة عصبية. وفي ChatGPT جاء المنتج أولاً في الترتيب في الحالات الثلاث، مع أن هذا المركز كان في الإجابات الضابطة من نصيب Bitrix24. وارتفع تكرار ظهور BPMSoft من حالتين إلى ثلاث لدى ChatGPT ومن حالة واحدة إلى ثلاث لدى Alice، ولم يتغير لدى Perplexity.

لكن لا يمكن اعتبار ذلك دليلاً على ظهور ذاتي مرتفع للعلامة التجارية. فالاسم كان موجوداً أصلاً في السياق، وفي إحدى المحادثات شرح ChatGPT ما هو BPMSoft وناقش سوق BPM وlow-code. لقد قاست التجربة استجابة المحادثة كلها، لا السؤال الأخير وحده.

ومن هنا يأتي فصل مهم. المقياس الأول يجيب عن سؤال: هل سيسمّي النموذج المنتج بلا تلميح عند طلب عام؟ والثاني يبيّن هل سيُبقي على منتج سبق ذكره في توصيته النهائية. هاتان مهمتان مختلفتان، ودمجهما في مؤشر واحد أمر خطير.

كيف تُجرى هذه الفحوص

لإجراء قياس GEO عملي ينبغي تثبيت السيناريو والنموذج ووضع البحث والصياغات وقواعد الترميز وعدد التكرارات مسبقاً. ويجب حفظ المحادثة كاملة، فالإجابات الوسيطة تؤثر أيضاً في المخرجات اللاحقة. وينبغي اختبار محادثة جديدة بلا سجل ومحادثة سبق فيها ذكر العلامة التجارية كلاً على حدة.

وللتجربة حدودها. فقد أُجري لكل سيناريو ثلاث تشغيلات فقط، جميعها في يوم واحد. ولم يُفحص التشتت بين الأيام، ولم يُفصل أثر مضمون المتطلبات عن أثر طريقة عرضها. بل اختلف وضع البحث على الويب في إحدى تشغيلات ChatGPT. لذلك تُظهر الأرقام اتجاه الأثر لا حجمه المستقر.

والخلاصة العملية لفرق المنتج والتسويق بسيطة: السياق جزء من الاختبار وليس خلفية له. وإن لم يُحفظ مع الإجابة، يتحول تقرير ظهور العلامة التجارية إلى خليط من توصيات ذاتية وتلميحات من المستخدم وتشتت عشوائي للنموذج.