Sakana AI تبتكر طريقة لتكييف النماذج اللغوية فورًا دون إعادة تدريب

تُعد عملية تكييف النماذج اللغوية الكبيرة مع مهام محددة من أغلى الإجراءات وأكثرها إزعاجًا في العمل بها. هل تريد أن يفهم النموذج وثائقك الداخلية؟ عليك أن تستعد لعملية إعادة تدريب طويلة تستهلك موارد ضخمة. أو يمكنك تحميل كميات هائلة من النصوص مباشرة في نافذة السياق، على حساب السرعة والمال في كل طلب. وقد اقترح مختبر Sakana AI في طوكيو مسارًا ثالثًا قد يغيّر اقتصاديات التعامل مع النماذج اللغوية الكبيرة (LLM) من أساسها.

في ورقتين بحثيتين حديثتين، قدّمت الشركة طريقتي Doc-to-LoRA وText-to-LoRA، وهما نهجان يقومان على ما يسمى الشبكات الفائقة (hypernetworks). الفكرة أنيقة في بساطتها: فبدلًا من إعادة تدريب النموذج في كل مرة أو إثقال نافذة السياق، تنشئ شبكة عصبية مولِّدة متخصصة محوّل LoRA مدمجًا بصورة فورية، «يستوعب» المعرفة المطلوبة ويُدمج في النموذج الأساسي. تستغرق العملية أجزاء من الثانية، ولا تتطلب خطوة واحدة من خوارزمية الانحدار التدرجي.

ولفهم حجم المشكلة التي تعالجها Sakana AI، من المفيد استعراض الوضع الراهن. توجد اليوم طريقتان رئيسيتان لجعل النموذج اللغوي يعمل بمعلومات جديدة. الأولى هي التعلّم في السياق (In-Context Learning)، حيث تُدرج البيانات المطلوبة ببساطة في الموجّه (prompt). وهي مرنة، لكنها غير فعالة إلى حد كبير: فكل طلب يصبح أكثر كلفة، ونافذة السياق محدودة، والنموذج في الواقع لا «يتذكر» المعلومات، بل يرجع إليها مؤقتًا فقط. أما الطريقة الثانية فهي الضبط الدقيق الخاضع للإشراف (Supervised Fine-Tuning) أو تقطير السياق (Context Distillation)، حيث يخضع النموذج لإعادة تدريب كاملة على البيانات الجديدة. نتيجتها أكثر موثوقية، لكن العملية تستغرق ساعات أو أيامًا، وتحتاج إلى عناقيد من وحدات معالجة الرسوميات (GPU) وخبرة هندسية. ولكل مجموعة بيانات جديدة، يجب تكرار العملية من البداية.

تقترح Sakana AI التفافًا أنيقًا حول هذه المفاضلة من خلال توزيع التكلفة على مراحل (amortization). تعمل Doc-to-LoRA مع المستندات: تُدخل نصًا، مثل وثائق تقنية أو عقد قانوني أو سجل طبي، فتولّد الشبكة الفائقة في تمريرة واحدة مجموعة من المحوّلات منخفضة الرتبة التي «تُرمّز» عمليًا محتوى المستند في أوزان النموذج. بعد ذلك يجيب النموذج عن الأسئلة المتعلقة بالمستند كأنه خضع لإعادة تدريب كاملة، ولكن دون أي تكرار تدريبي. أما Text-to-LoRA فتذهب أبعد من ذلك: إذ يُولَّد المحوّل لا من مستند، بل من تعليمات نصية بلغة طبيعية. أنت تصف بالكلمات كيف ينبغي أن يتصرف النموذج، فتحوّل الشبكة الفائقة هذا الوصف إلى تغييرات محددة في الأوزان. وهذا في جوهره تكييف بلا أمثلة (zero-shot) عبر اللغة الطبيعية.

من الناحية التقنية، تعتمد الطريقتان على بنية LoRA (Low-Rank Adaptation)، التي أصبحت المعيار الفعلي للضبط الخفيف للنماذج اللغوية الكبيرة. فبدلًا من تعديل جميع مليارات معاملات النموذج، تضيف LoRA مصفوفات محوّلة مدمجة تعدّل سلوك النموذج بأقل كلفة حسابية. وتكمن ابتكارية Sakana AI في أن هذه المحوّلات لم تعد بحاجة إلى تدريب، إذ تولّدها شبكة عصبية منفصلة دُرّبت على تنوع هائل من مهام التكييف. وتتعلم الشبكة الفائقة «فهم» أي تغييرات في الأوزان تقابل مجموعة معينة من المعارف أو نمطًا سلوكيًا بعينه.

قد تكون التبعات على الصناعة جدية للغاية. فتخصيص النماذج اللغوية الكبيرة اليوم حكر على الشركات التي تملك فرق تعلّم آلي (ML) قوية وميزانيات حوسبة كبيرة. وإذا أمكن توسيع نطاق نهج Sakana AI، فسيصبح تكييف النماذج متاحًا عبر استدعاء API واحد: ترفع مستندًا وتحصل على نموذج متخصص. وقد يغيّر ذلك سوق حلول المؤسسات القائمة على الذكاء الاصطناعي (AI) تغييرًا جذريًا، إذ إن العائق الرئيسي فيها ليس التقنية ذاتها، بل كلفة ضبطها لعميل بعينه وتعقيدها. وإضافة إلى ذلك، يفتح التوليد الفوري للمحوّلات الباب أمام التخصيص الديناميكي: إذ يمكن للنموذج التبديل بين «الخبرات» أثناء التشغيل، فيتكيف مع كل مستخدم أو كل مهمة في الزمن الفعلي.

ومع ذلك، تبقى أسئلة مفتوحة. إلى أي مدى تقترب جودة هذه المحوّلات المولّدة فورًا من نتائج الضبط الدقيق الكامل على مجموعات بيانات كبيرة ومعقدة؟ وكيف تتعامل الطريقة مع المعلومات المتناقضة أو المشوشة؟ وكيف تتوسع على نماذج تضم مئات المليارات من المعاملات؟ تُعرف Sakana AI بنهجها المستلهم من علم الأحياء في الذكاء الاصطناعي وبتصريحاتها الطموحة، لكن ليست كل تطويراتها قد اجتازت بعد اختبار الحجم في الإنتاج الفعلي.

ومع ذلك، يبدو الاتجاه الذي ترسمه Doc-to-LoRA وText-to-LoRA خطوة تالية منطقية في تطور العمل مع النماذج اللغوية. فالصناعة تتحرك تدريجيًا من نموذج «درّب نموذجًا واحدًا لكل شيء» إلى أنظمة مرنة ومعيارية يجري فيها التكييف فورًا وبكلفة زهيدة. ويبدو أن Sakana AI اهتدت إلى أحد أكثر المسارات الواعدة نحو هذا المستقبل.