كاتب على Habr اختبر ما إذا كان ChatGPT يستطيع إعادة بناء المقالات من موجّهات قصيرة

تحقق أحد المؤلفين على Habr مما إذا كان بإمكان ChatGPT استعادة المقالات من موجزات قصيرة

قرر المؤلف على Habr اختبار ادعاء جريء بأن أي نص يمكن ضغطه في موجز قصير ثم استعادته تقريباً بدون خسارة عبر ChatGPT. بدلاً من الاعتماد على إشارات إلى "باحثين من كامبريدج", أخذ مقالات حقيقية من المنصة وأجرى اختباره الخاص.

كيفية إعداد الاختبار

كان المحفز هو رد الفعل على ترجمة سابقة لمقالة The Prompt، التي ادعت أن بعض الباحثين في كامبريدج يمكنهم تقليل أي نص إلى موجز أدنى بدقة استعادة بنسبة 98 %. لاحظ القراء بسرعة أن القصة تبدو وكأنها تنميط "العلماء البريطانيين", مما دفع المؤلف إلى اختبار ليس الأسطورة، بل المبدأ نفسه. بالنسبة للتجربة، اختار Habr كمنصة بها جمهور تقني صارم حيث عادة ما لا تستمر الحجج الضعيفة والمبالغات طويلاً.

كان المخطط بسيطاً: أخذ مقالتين حديثتين ذات تقييم عالي، ضغطهما في موجز، وطلب من ChatGPT كتابة نص جديد بنفس الأسلوب بدون البحث عبر الإنترنت. لم ينظر المؤلف فقط إلى النبرة العامة بل أيضاً إلى أشياء أكثر تحديداً: هل تم الحفاظ على الهيكل والأرقام الرئيسية والحلقات المهمة وترتيب الحجج. تابع بشكل منفصل حيث سيبدأ النموذج في ملء القصة بنفسه، لأن هذه الإدراجات يتم الخلط بينها بسهولة وبين التفاصيل الحقيقية.

حيث نجحت الطريقة

تبين أن الاختبار الأول كان تقريباً عرضاً لقوة الاستعادة القائمة على القوالب. كان يتعلق بمقالة تحتوي على أطروحة مفادها أن الموظفين الذين لا يمكن الاستغناء عنهم ليسوا عيباً في هندسة الفريق، بل مورد قيم. بالنسبة لمثل هذا النشر، كان موجز من 67 كلمة فقط كافياً، وبعد ذلك أنشأ ChatGPT نصاً من 651 كلمة. وفقاً لتقييم المؤلف، كانت المطابقة عالية جداً بحيث كانت الاستعادة بجانب الأصل تبدو مرعبة من حيث الإقناع.

• تم الحفاظ على الأطروحة الرئيسية حول قيمة الموظفين "الذين لا يمكن الاستغناء عنهم"
• عادت النقد للطرق القياسية لتقليل عامل الحافلة
• استنسخ النموذج التوصيات: ادفع 1.5–2 مرة أكثر، وثق من خلال العملية، وظف أشخاصاً مستقلين
• بقيت سيناريوهات عملية واثنان والرقم الدقيق لزيادة بنسبة 40 % في مكانهما
• أضاف ChatGPT حتى تفصيلاً معقولاً — خط زمني لمدة تسعة أشهر من الفشل لم يكن موجوداً في الأصل

كانت نسبة الضغط في هذه الحالة تقريباً 10:1. لكن مع النتيجة المثيرة للإعجاب جاءت مشكلة: لا ينسخ النموذج المنطق المألوف فحسب، بل يملأ بثقة الفجوات بما "يبدو وكأنه حقيقة". بالنسبة للقارئ الذي ليس لديه الأصل بالقرب منه، قد يكون الفرق بين المقالة المستعادة والمقالة الحقيقية غير محسوس تقريباً، خاصة إذا كان النص مبنياً على أنماط إدارة شائعة يعرفها النموذج منذ فترة طويلة.

حيث للطريقة حدود

أعطت المقالة الثانية نتيجة مختلفة تماماً. كان المادة مكرسة ليس للاستنتاجات المجردة، بل لتحليل حجب Telegram وDPI وكيفية قيام مجتمع المطورين بإصلاح الأخطاء المحددة يدوياً في تنفيذ FakeTLS. للاقتراب من المنطق الأصلي، اضطر المؤلف إلى كتابة 357 كلمة من الموجزات — تقريباً خمس مرات أكثر.

أنتج ChatGPT 914 كلمة، لكن الجزء المهم من النص لا يزال يذوب. كان ما ينقص هو بالضبط ما يميز إعادة السرد عن عمل الهندسة الحقيقي: قيم امتداد TLS المحددة، الفروقات بين حجم المفتاح المعلن والفعلي، أرقام طلبات السحب، بصمات الالتزام، اسم المجتمع الذي أحضر الإصلاح والعديد من القطع الأثرية المستخرجة من حركة المرور والكود. بعبارة أخرى، استعاد النموذج الحجة العامة لكن لم يتمكن من إرجاع ما تم العثور عليه يدوياً في نظام حي، وليس ما كان في بيانات التدريب.

"استعاد ChatGPT الحجة. لم يستعيد العمل."

هنا يرسم المؤلف الخط بين المحاكاة المريحة والمعرفة الحقيقية. إذا كانت قيمة النص تستريح على الهيكل والأطروحات المألوفة والاستنتاجات النمطية، فإنه ينضغط جيداً وينفك بشكل معقول. لكن إذا كانت مقالة تتكون من هندسة عكسية يدوية وقياسات واعتراض الحزم والملاحظات الجديدة، فإن نفس "خسائر 2 %" تتحول إلى تقريباً كل شيء قُرئت المادة من أجله في المقام الأول.

ماذا يعني هذا

لا تثبت التجربة على Habr أن LLMs قادرة بالفعل على استبدال المؤلفين بالكامل، لكنها تظهر بدقة كافية أين يقع الحد العملي. تعيد الأعمدة والنصوص التوضيحية ومقالات الإدارة بالأنماط الشائعة النماذج تجميعها بسهولة أكبر بكثير من المواد ذات الحقائق الفريدة والقياسات الخاصة بها. بالنسبة للمحررين والقراء، اختبار بسيط يتبع: ما يهم ليس فقط مدى إقناع صوت مقالة، بل ما إذا كان هناك شيء فيها وجده المؤلف حقاً والتحقق منه وأثبته بنفسه. يقاوم هذا الجزء من المحتوى الآن الضغط في موجز وإعادة التجميع بأسوأ طريقة.