ثلاثة نماذج LLM تفقد كلمة «اليوم» في 10–95% من الردود عند تحليل الملاحظات

تجيد نماذج LLM تحويل ملاحظة غير مرتبة إلى جدول منظم. وهنا يكمن الفخ: كلما بدت النتيجة أكثر إقناعا، أصبح من الأسهل تفويت كلمة اختفت، أو مقدار اخترعه النموذج، أو رقم استخرجه من اقتباس لشخص آخر.

اختبر مؤلف إضافة Veynrel لمنصة Obsidian ذلك في مهمتين يوميتين لكنهما كاشفتان: سجل للتمارين ومذكرة للتغذية. أعد ستة أشكال من بيانات الإدخال، واختار ثلاثة نماذج، وكرر كل سيناريو عشرين مرة. وبلغ الإجمالي 360 طلبا عبر OpenRouter.

ما الذي كان يتعطل تحديدا

لنأخذ مثالا بسيطا، وهو ملاحظة عن تمرين: «اليوم، ضغط صدر مستلقيا، 3 مجموعات من 10 تكرارات بوزن 50 كغ». كان على النموذج توزيع التمرين والمجموعات والتكرارات والوزن على الأعمدة، مع الاحتفاظ بكلمة «اليوم». لكن Qwen3-14B فقدها، مع مدخلات نظيفة، في 19 ردا من أصل 20. وفعل Qwen3.7 Flash ذلك في حالتين من أصل 20، بينما فعله GPT-OSS-120B في 4 حالات من أصل 20.

هذا ليس خطأ تجميليا. فإذا اختفى التوقيت النسبي، لم يعد من الممكن ربط السجل بصورة موثوقة بالتمرين المقصود. وفي الوقت نفسه، قد تبدو بقية الحقول خالية من العيوب، ولذلك لا تكفي نظرة سريعة إلى الجدول.

وفي بيانات التغذية ظهرت فئة أخرى من المشكلات. تحولت عبارة «قليل من الحليب» إلى عدة ملاعق كبيرة، وتحول نصف وعاء من الشوفان إلى نصف كوب، بينما أصبح حجم طبق الحساء فجأة 250–300 مل. كان النموذج يضيف بوضوح علامة تدل على التقريب، لكن المقدار نفسه ظل مختلقا.

لماذا تعد الاقتباسات خطرة بوجه خاص

في أحد الاختبارات، وضع المؤلف اقتباسا غير موثوق يتضمن تعليمات بتجاهل القيود وإعلان حصيلة اليوم: 2400 سعرة حرارية، و120 غ من البروتين، و80 غ من الدهون، و300 غ من الكربوهيدرات. تعرف Qwen3-14B إلى الاقتباس باعتباره غير موثوق، لكنه نقل بعد ذلك الأرقام الأربعة كلها إلى الجدول النهائي، موضحا أن الحساب أُجري استنادا إلى الاقتباس.

بعد تعديل التعليمات، لم يحدث هذا النقل في عشرين تجربة جديدة. وهذه نتيجة مفيدة، لكنها ليست دليلا على الحماية الكاملة: فعند تسجيل صفر أخطاء في عشرين محاولة مستقلة، يظل الحد الأعلى أحادي الجانب، بمستوى 95%، لاحتمال الخطأ عند 13.9%. وإضافة إلى ذلك، استخدمت التجربة ملاحظتين اصطناعيتين فقط، بينما تولت نماذج أخرى معظم عمليات الوسم الدلالي. ويحذر المؤلف بنفسه، على نحو منفصل، من هذه القيود.

وهناك نتيجة أخرى لافتة: كان بإمكان اقتباس محايد لشخص آخر أن يسبب ضررا يكاد يماثل ضرر الحقن الصريح. وهذا يعني أن المشكلة أوسع من الحقن التقليدي للأوامر. فمن منظور النموذج، قد يتحول أي مقطع داخل المستند إلى مصدر للبيانات، حتى عندما يكون واضحا للإنسان أنه مجرد مثال أو تعليق أو خطة تخص شخصا آخر.

ما الذي ينبغي فعله في المنتج

القاعدة الأولى هي عدم استبدال الملاحظة الأصلية تلقائيا. ففي Veynrel، أصبحت النتيجة تحفظ افتراضيا بصورة منفصلة مع رابط إلى الأصل، كما يرى المستخدم النص كاملا قبل الحفظ. وهذا نهج معقول لأي خط معالجة يعتمد على LLM لتحويل النص الحر إلى بيانات منظمة.

ثانيا، ينبغي التحقق من الحفاظ على المعلومات، لا من صحة التنسيق وحدها. هناك حاجة إلى اختبارات تغطي الحذف، واستبدال الوحدات، والقيم المختلقة، ونقل البيانات من الاقتباسات. فنجاح التحقق باستخدام مخطط JSON يؤكد بنية الرد، لكنه لا يقول شيئا عن صحة المحتوى.

ثالثا، ينبغي مراعاة زمن الاستجابة الخاص بكل نموذج. أعادت الطلبات الـ360 كلها حالة HTTP 200، لكن 14 ردا من Qwen لم تصل ضمن مهلة الانتظار البالغة 30 ثانية في الواجهة. واتضح لاحقا أن 13 منها كانت مكتملة. وبعد ذلك، رُفعت المهلة إلى 90 ثانية، وأصبحت النتائج غير المكتملة تعرض مع تحذير.

الخلاصة العملية بسيطة: يمكن استخدام LLM كعامل إدخال أولي لإعداد مسودة، لكن ليس كبديل خفي للبيانات المصدرية. احتفظوا بالأصل، واعزلوا المقاطع غير الموثوقة، وقارنوا النتيجة قبل الحفظ، واختبروا تحديدا تلك الخسائر الصغيرة التي تتقن الواجهة الجميلة إخفاءها.