محرر مرّر 30 مقابلة عبر Claude: الاقتباسات صحيحة، لكن النموذج لا يصدر حكم «لا تشاهد»

أنشأ أندريه كارباثي خلال عطلة نهاية أسبوع مشروع HackerTube: واجهة تضم 6,454 فيديو ظل أعضاء Hacker News يوصي بعضهم بعضًا بها على مدى سنوات. وقرر مؤسس Pressfeed ورئيس تحرير مجلة «Signal» بناء منتج مختلف اعتمادًا على البيانات نفسها: ليس رابطًا إلى الفيديو، بل بطاقة باللغة الروسية يمكن قراءتها خلال دقيقة، وتجيب عن سؤال ما إذا كان فتح الفيديو يستحق العناء. تتوافر البيانات بموجب ترخيص ODC-By، ويُرحب بإنشاء نسخ متفرعة منها.

المهمة مألوفة لكل من بنى خط معالجة قائمًا على نموذج لغوي كبير: ينتج النموذج نصًا جذابًا، لكن لا يمكن التحقق آليًا إلا من جزء منه. وأكثر ما يفيد في هذه التجربة هو تحديد موضع الحد الفاصل بين ما يمكن التحقق منه وما لا يمكن التحقق منه.

كيف يعمل خط المعالجة

من أصل 6,454 فيديو، أبقى المؤلف على المقابلات والبودكاست، فبلغ العدد 435. وبعد حذف الأخبار اليومية سريعة الزوال ومقاطع الفيديو التي لم تفعل سوى الإشارة إليها، بقي 310 مقاطع، اختير منها 30 يدويًا. يعمل كل شيء محليًا باستخدام Python، من دون قوائم انتظار أو قواعد بيانات. يجلب yt-dlp الترجمات النصية، ثم تُقسّم إلى كتل مدة كل منها نحو دقيقة مع أكواد زمنية. تُرسل هذه الكتل، إلى جانب تعليقات Hacker News، إلى Claude Sonnet، ليعيد ملف JSON يتضمن اسم المتحدث، والأفكار الرئيسية الثلاث، واقتباسًا، وحكمًا. بعد ذلك يتحقق الكود من ادعاءات النموذج، وتبني Python صفحات ثابتة لخادم nginx.

ما الذي تحقّق منه الكود، وما الذي عجز عن التحقق منه

القاعدة الأساسية هي أن النموذج لا يستطيع الاكتفاء بالقول إن صاحب المقابلة نطق بعبارة ما. يبحث الكود عن الاقتباس الإنجليزي داخل النص المفرغ. إذا تطابق حرفًا بحرف، يحصل على حالة «دقيق». وإذا عُثر على مقطع شديد الشبه، بنسبة تطابق لا تقل عن 0.85، يحصل على حالة «تقريبي». وإذا لم يُعثر على شيء، يحصل النموذج على محاولة ثانية، ثم لا يُعرض الاقتباس ببساطة. من أصل 30 اقتباسًا، تطابق 26 اقتباسًا حرفيًا و4 تقريبًا، ولم تكن هناك حاجة إلى استبعاد أي اقتباس. تعمل الأكواد الزمنية بالطريقة نفسها: لا يُقبل إلا رقم كتلة موجودة فعلًا في النص المفرغ.

لكن لا يمكن التحقق من بقية النص بهذه الطريقة، وقد كشفت المراجعة اليدوية عن ثلاثة أنواع من المشكلات.

الأولى: حقيقة مختلقة. نسب النموذج إلى كريس ساكا إفلاسًا شخصيًا، مع أنه يقول في النص المفرغ عكس ذلك: رفض إعلان الإفلاس وسدد الدين بنفسه. ظهرت كلمات «دين» و«ملايين» و«مسؤولية» متقاربة، فأكمل النموذج القصة بالطريقة التي تنتهي بها قصص كهذه عادةً.

الثانية: التوقيت. وُصفت محادثة كارباثي مع ليكس فريدمان بأنها صدرت «عندما كان ChatGPT قد ظهر للتو»، مع أن الفيديو رُفع في 29 أكتوبر 2022، أي قبل إطلاقه بشهر.

الثالثة، وهي الأكثر شيوعًا: عبارات تفضيل منمقة لا يمكن التحقق منها، مثل «المقابلة الطويلة الوحيدة» أو «لم يُوثق في أي مكان آخر». وُجدت خمس عبارات من هذا النوع على الأقل في 30 بطاقة. ويستحق استنتاج المؤلف أن يُحفظ: ما ينبغي الشك فيه ليس القصص الغريبة، بل التعميمات المصقولة بسلاسة. بدت قصة مصادرة حاسوب الشطرنج الخاص بكين تومسون جنونية، لكنها اتضح أنها صحيحة.

النموذج لا يعرف كيف يقول «لا تشاهد»

لكل بطاقة حكم: مشاهدة الفيديو كاملًا، أو مشاهدة مقطع منه، أو الاكتفاء بالبطاقة. في الجولة الأولى، أعطى النموذج 0 أحكام من نوع «كاملًا»، و25 من نوع «مقطع»، و5 من نوع «البطاقة تكفي»؛ وكانت الأحكام الخمسة الأخيرة كلها لمقاطع أقصر من خمس دقائق. بعد تشديد الموجّه — بألا يتجاوز المقطع 25 دقيقة، وأن يُستخدم حكم «يكفي» لنحو فيديو واحد من كل ثلاثة، مع إعادة التوليد عند مخالفة ذلك — أصبحت النتيجة أسوأ: اختفى حكم «البطاقة تكفي» تمامًا، بينما بقيت مقاطع مدتها ساعة حتى بعد الطلب الثاني. وضع إنسان الأحكام الأربعة النهائية من نوع «يكفي» لفيديوهات غيتس وهينتون وهوتز وساكا. ويشير المؤلف بصراحة إلى أن أحدًا لم يُعد مشاهدة الفيديوهات كاملة.

كم يكلف ذلك

مع تفعيل الاستدلال، يستهلك النموذج من 10,000 إلى 20,000 توكن خرج، ويستغرق من دقيقتين إلى 5 دقائق لكل بطاقة، لكن لم يُختبر بهذه الطريقة سوى عدد قليل من البطاقات. من دون الاستدلال، تكلف البطاقة نحو 1,000 توكن و20 ثانية. وتستغرق معالجة 30 فيديو عبر ثلاثة مسارات نحو 5 دقائق، وتستهلك قرابة 640,000 توكن دخل. اختار المؤلف الوضع الثاني مع إضافة مراجعة يدوية.

ما الذي يمكن استخلاصه من ذلك

إذا كنت تبني خط معالجة مشابهًا، فقسّم مخرجات النموذج إلى ما يمكن التحقق منه وما لا يمكن التحقق منه. بالنسبة إلى النوع الأول، اكتب فحوصًا حتمية: البحث عن الاقتباسات، والتحقق من الفهارس والنطاقات. وبالنسبة إلى النوع الثاني، أدرج إنسانًا في العملية، وابحث بصورة منفصلة عن كلمات مثل «الوحيد» و«للمرة الأولى» و«في أي مكان آخر». ومن الأفضل عدم تفويض القرارات التي تنطوي على مخاطرة توجيه لوم، مثل «هذا لا يستحق وقتك»، إلى النموذج؛ إذ سيتجنبها بلطف مهما عدّلت الموجّه.

وهناك استنتاج جانبي آخر: انحياز بيانات المصدر ينتقل إلى الناتج. يكافئ تصنيف كارباثي النصائح التي تتكرر منذ وقت طويل، ولذلك يبلغ عمر أحدث فيديو ثلاث سنوات، بينما يبلغ عمر ما يقرب من نصف الفيديوهات عشر سنوات أو أكثر. لا يمثل ذلك مشكلة بالنسبة إلى الأعمال الكلاسيكية، لكن الموضوعات الراهنة تحتاج إلى آلية اختيار مختلفة.