كيف تدرّب الذكاء الاصطناعي على التفضيلات البشرية: دليل DPO وQLoRA

# كيف تدرّب الذكاء الاصطناعي على التفضيلات البشرية: دليل DPO وQLoRA

يواجه مطوّرو النماذج اللغوية الكبيرة مفارقة: كلما ازدادت الشبكة العصبية قوة، صعُب إقناعها بفعل ما يريده المستخدم بالضبط. ويعالج نهج جديد هذه المشكلة ببراعة، ودون بنية تحتية باهظة التكلفة. فقد نشرت شركة Hugging Face دليلًا مفصّلًا لتطبيق Direct Preference Optimization، وهي طريقة تتيح مواءمة النماذج اللغوية مع التفضيلات البشرية باستخدام بطاقة رسومات عادية في Google Colab.

تكمن جذور المشكلة في طريقة تدريب أنظمة الذكاء الاصطناعي الحديثة. يُدرَّب النموذج أولًا على كمية هائلة من النصوص، ثم يُحاوَل تعليمه أن يكون مفيدًا وآمنًا. ويتطلب النهج الكلاسيكي ثلاث مراحل: تدريب النموذج الأساسي، ثم تدريب نموذج مكافآت (Reward Model) منفصل يقيّم جودة الإجابات، ثم استخدام هذا النموذج لضبط النظام الأساسي عبر التعلّم المعزز من التغذية الراجعة البشرية (Reinforcement Learning from Human Feedback). وهذا الأسلوب مكلف ويستهلك الكثير من الطاقة، ويتطلب ضبطًا دقيقًا لعدد كبير من المعاملات. أما Direct Preference Optimization فتفكك هذه البنية من جذورها.

تعمل DPO وفق مبدأ مختلف: فهي تدرّب النموذج مباشرة على أزواج من الإجابات الجيدة والسيئة، دون نموذج مكافآت وسيط. تخيّل أنك تعرض على طفل أمثلة للسلوك الصحيح والخاطئ، فيتعلم التمييز بينهما فورًا ودون وسيط. ويُظهر الدليل الجديد كيف يجري ذلك عمليًا. فقد جمع المطوّرون ثلاث أدوات: TRL (Text Generation Library) وQLoRA (quantized Low-Rank Adaptation) وPEFT (Parameter-Efficient Fine-Tuning). وتشكّل هذه الأدوات معًا نظام تدريب قويًا وصغير الحجم في آن واحد.

من الناحية التقنية تسير العملية على النحو التالي. تضغط QLoRA النموذج باستخدام تكميم الأوزان إلى أربع بتات، ما يخفض متطلبات ذاكرة بطاقة الرسومات بعدة أضعاف. وتضيف PEFT معاملات قابلة للتدريب في الطبقات الحرجة من النموذج فقط، لا في البنية كلها. أما TRL فتوفر DPOTrainer الجاهز الذي يتولى منطق التدريب. وتعتمد التجربة في بيانات التدريب على مجموعة UltraFeedback الثنائية، وهي مجموعة أمثلة يقابل فيها كل طلب زوج من الإجابات: الأفضل والأسوأ. ويتعلم النموذج تفضيل الخيارات الجيدة على السيئة.

تتمثل الميزة الرئيسية لهذا النهج في إتاحته. فقد كانت المواءمة الجادة للنماذج في السابق حكرًا على الشركات التي تملك ملايين الدولارات لإنفاقها على عناقيد GPU. أما الآن فيمكن تشغيل خط المعالجة بالكامل على بطاقة رسومات واحدة، حتى على Tesla T4 المحدودة الإمكانات في سحابة Google. وهذا يرسّخ إتاحة التطوير للجميع، إذ تحصل الفرق الصغيرة والباحثون والشركات الناشئة على أداة كانت امتيازًا للشركات التقنية العملاقة. كما يقلّص الاستغناء عن نموذج المكافآت زمن التطوير ويخفض التكاليف الحسابية ويسهّل تصحيح الأخطاء. فإذا تصرف النموذج على نحو غريب، تلاحظ السبب فورًا، بدل أن تبحث عن الخلل في ثلاثة مكوّنات في آن واحد.

والأهمية العملية لذلك كبيرة. فبوسع الشركات تكييف النماذج اللغوية بسرعة مع مهامها دون خسارة في جودة الإجابات. وتحصل الشركات الناشئة التي تملك بطاقة رسومات واحدة على فرصة منافسة اللاعبين الراسخين في مجال المساعدات الذكية المخصصة. ويحصل الباحثون على وسيلة مريحة وقابلة لإعادة الإنتاج لدراسة مواءمة النماذج.

تعكس DPO مع QLoRA وPEFT اتجاهًا في تطوير الذكاء الاصطناعي: الأدوات القوية تصبح أرخص وأبسط. ولا يعني ذلك أن النماذج الكبيرة لم تعد ضرورية، فالقدرة الحاسوبية تظل مهمة. لكنك لم تعد مضطرًا لدفع أموال للشركات التقنية العملاقة مقابل البنية التحتية كي تجعل النماذج تستجيب لك. وقد تغيّر هذه الإتاحة الواسعة جذريًا طريقة تطوير الذكاء الاصطناعي ونشره خلال السنتين أو الثلاث المقبلة.