أظهرت AWS و Artificial Genius طريقة لتقليل هلاوس LLM في المالية والطب

أظهرت AWS بالشراكة مع شريكتها Artificial Genius كيفية تكييف نماذج اللغة الكبيرة للمهام التي لا يمكن فيها تحمل الأخطاء. يعتمد النهج على Amazon Nova و SageMaker، لكن الفكرة الأساسية ليست حول حجم نموذج جديد، بل حول استخدام فهمه للغة دون توليد حر للإجابات.

لماذا هذه مشكلة

بالنسبة للخدمات المالية والطب والتأمين والعمليات القانونية، لا تزال نماذج اللغة الكبيرة العادية تبدو محفوفة بالمخاطر. فهي تكتب وتلخص وتشرح بشكل جيد، لكنها بطبيعتها تبقى أنظمة احتمالية: يتنبأ النموذج بالرمز التالي بدلاً من استخراج حقيقة مضمونة صحيحة. هذا يؤدي إلى هلوسات—إجابات تبدو مقنعة لكنها غير مدعومة بالبيانات الأصلية. في بيئة يكون فيها التدقيق والتكرار والمساءلة مهمة، هذا النمط من التشغيل غير متوافق مع الإنتاج.

يقترح مؤلفو الورقة البحثية النظر إلى تطور الذكاء الاصطناعي في ثلاث مراحل. بُنيت الموجة الأولى على المنطق الرمزي والقواعد الصارمة: كانت مثل هذه الأنظمة حتمية لكن غير مرنة جداً. وفّرت الموجة الثانية، التي تشمل محولات اللغة الحديثة، قفزة هائلة في الطلاقة وفهم اللغة، لكنها جلبت معها عدم القدرة على التنبؤ. تسمي Artificial Genius نهجها بالجيل الثالث: لا يزال النموذج يفهم اللغة الطبيعية مثل نموذج لغة كبير حديث، لكن الإجابة النهائية تمر عبر منطق حتمي ولا يجب أن تتجاوز ما يوجد فعلاً في سياق الإدخال.

كيف يعمل المخطط

تبدو الأطروحة الرئيسية لـ AWS و Artificial Genius كما يلي: يمكن استخدام نموذج التوليد بشكل صارم غير توليدي. أي أنه لا "يخمن" الإجابة بناءً على احتمالية الرمز التالي، بل يتحقق مما إذا كان يمكن استخراجها من المستند، وإذا لم يكن الأمر كذلك—يرفض الإجابة. هذا النمط مفيد بشكل خاص للأسئلة مثل التواريخ والمبالغ والأسماء والمقتطفات من التقارير أو تأكيد حقيقة محددة.

في الورقة، يتم صياغة هذا بشكل مباشر جداً:

"إذا لم يمكن الإجابة على السؤال من المستند، يجب أن يجيب النموذج: 'Unknown'."

• اختاروا Amazon Nova Lite كنموذج أساسي، لأنها أفضل ملاءمة للإجابات القصيرة والواضحة دون ثرثرة غير ضرورية؛
• يتم الضبط الدقيق في SageMaker من خلال الضبط الدقيق الموجه، بحيث يتبع النموذج قاعدة نظامية واحدة—عدم اختلاق أي شيء؛
• للتدريب، يستخدمون مجموعة اصطناعية من الأسئلة والإجابات، مع استفسارات قابلة للإجابة وأخرى غير قابلة للإجابة عن قصد؛
• بدلاً من RAG الكلاسيكي، الذي يبقى توليدياً على أي حال، تم التركيز على اتصال أوثق بين نص المستند والسؤال المحدد؛
• في الأعلى، يتم حزم هذا في منصة للعوامل، حيث يمكن ترجمة استعلام حر إلى مواصفات أكثر صرامة، والتحقق اليدوي الوحيد يبقى في مرحلة هذه الترجمة.

تفصيل مهم: يقابل المؤلفون بشكل منفصل طريقتهم بالنصيحة المألوفة "اضبط درجة الحرارة على صفر." وفقاً لهم، هذا لا يحل المشكلة الأساسية لأن النموذج يستمر في التوليد على أي حال. في نسختهم، ما يتغير ليس فقط درجة العشوائية، بل المنطق ذاته لاستخدام النموذج: يتم الحفاظ على الفهم الاحتمالي عند الإدخال، بينما عند الإخراج يسعى النظام نحو نمط ثنائي—الإجابة فقط بما هو مؤكد من النص، أو الاعتراف بصراحة بعدم وجود إجابة.

ما أظهرته الاختبارات

من الناحية التقنية، يبدو المخطط عملياً جداً وبالتالي مثيراً للاهتمام. يتم تخزين بيانات التدريب في Amazon S3، والضبط الدقيق لنموذج Nova الأساسي يتم في SageMaker Training Jobs، ثم يتم استيراد النسخة المخصصة إلى Amazon Bedrock وتسليمها للتطبيق من خلال خط أنابيب الاستدلال القياسي. بالنسبة لفريق الشركات، هذا مهم ليس فقط للراحة ولكن أيضاً لشفافية نسب البيانات: من الأسهل فهم البيانات التي تم تدريب النموذج عليها، والمكان الذي تم تعديله، وكيفية نشره في الإنتاج.

كشفت الفريق أيضاً عن عدة استنتاجات هندسية. للضبط الدقيق، استخدموا LoRA لتجنب كسر فهم اللغة الأساسي للنموذج. في التجارب السابقة على نموذج آخر، اضطروا حتى إلى قمع سلسلة التفكير بقوة من خلال رمز الخدمة `</think>`، لأن التفكير المفصل تدخل في الإجابات المحددة والموجزة. بالنسبة لنسخة Nova Lite، دمج المؤلفون LoRA dropout بمستوى 50%، والتوقف المبكر اليدوي، وتوسيع مجموعة البيانات الاصطناعية إلى 30 ألف مثال. وفقاً لبياناتهم، قللت هذا من تكرار الهلوسات من كسور من النسبة المئوية في التكوينات المبكرة إلى 0.03% في أفضل حالة.

ماذا يعني هذا

القصة مهمة ليس فقط لمستخدمي AWS. إنها تظهر تحولاً أوسع: السوق يبدأ في البحث ليس فقط عن نماذج اللغة الكبيرة "الأذكى"، بل عن نماذج بحدود سلوكية محددة بالهندسة. بالنسبة للبنوك وشركات التأمين والعيادات وشركات الخدمات القانونية، هذا إشارة إلى أن تنفيذ الذكاء الاصطناعي سيُبنى بشكل متزايد حول القابلية للتحقق ورفض الإجابات والسير المنطقي المتحكم به، بدلاً من التركيز على التوليد الجميل بأي ثمن.