تعلمت Sakana AI تكييف نماذج اللغة فورًا من دون fine-tuning

أحد الإجراءات الأكثر تكلفة وإزعاجاً في العمل مع نماذج اللغة الكبيرة هو تكييفها لمهام محددة. هل تريد أن يفهم نموذجك وثائقك الداخلية؟ استعد للتدريب الطويل والمكثف للموارد. أو قم بتحميل أطنان من النص مباشرة في نافذة السياق، مضحياً بالسرعة والمال في كل طلب. اقترحت مختبرات Sakana AI المقرّة بطوكيو مساراً ثالثاً قد يغيّر اقتصاديات العمل مع نماذج اللغة الكبيرة نفسها.

قدمت الشركة في ورقتي بحث حديثتين طرق Doc-to-LoRA و Text-to-LoRA — طرق مبنية على ما يسمى بالشبكات الفائقة. الفكرة أنيقة في بساطتها: بدلاً من إعادة تدريب النموذج في كل مرة أو إرهاق نافذة السياق، تقوم شبكة عصبية مولدة خاصة بإنشاء محول LoRA مضغوط فوراً يقوم "بامتصاص" المعرفة المطلوبة وينمج نفسه في النموذج الأساسي. تستغرق العملية أجزاء من الثانية ولا تتطلب خطوة واحدة من خطوات الانحدار التدريجي.

لفهم حجم المشكلة التي يحلها Sakana AI، يستحق الأمر استرجاع الحالة الحالية. يوجد اليوم طريقتان رئيسيتان لجعل نموذج اللغة يعمل مع معلومات جديدة. الأولى — In-Context Learning، حيث يتم إدراج البيانات المطلوبة ببساطة في الفوري. هذا مرن لكنه غير فعال جداً: كل طلب يكلف أكثر، نافذة السياق محدودة، والنموذج في الواقع لا "يتذكر" المعلومات — بل يشير إليها مؤقتاً فحسب. المسار الثاني — Supervised Fine-Tuning أو Context Distillation، حيث يخضع النموذج لتدريب كامل على بيانات جديدة. النتيجة أكثر موثوقية، لكن العملية تستغرق ساعات أو أياماً، وتتطلب مجموعات GPU وخبرة هندسية. لكل مجموعة بيانات جديدة، عليك أن تبدأ من جديد.

تقترح Sakana AI طريقة أنيقة للالتفاف حول هذا التوازن من خلال استهلاك التكاليف. يعمل Doc-to-LoRA مع المستندات: تدخل نصاً — توثيق تقني، عقد قانوني، سجل طبي — والشبكة الفائقة في ممر واحد تُنشئ مجموعة من محولات الرتبة المنخفضة التي "تشفر" أساساً محتوى المستند في أوزان النموذج. بعد ذلك، يجيب النموذج على أسئلة حول المستند كما لو كان قد خضع لتدريب كامل، لكن بدون تكرار تدريب واحد. يذهب Text-to-LoRA أبعد من ذلك: يتم إنشاء المحول ليس من مستند بل من تعليمات نصية باللغة الطبيعية. تصف بالكلمات كيف يجب أن يتصرف النموذج — والشبكة الفائقة تحول هذا الوصف إلى تغييرات محددة للأوزان. بشكل أساسي، هذا هو التكيف عديم الدقة من خلال اللغة الطبيعية.

من الناحية التقنية، تعتمد كلا الطريقتين على بنية LoRA — Low-Rank Adaptation — والتي أصبحت معيار الواقع لضبط LLM الخفيف. بدلاً من تعديل جميع مليارات معاملات النموذج، تضيف LoRA مصفوفات محول مضغوطة تصحح سلوك النموذج بأقل تكلفة حسابية. الابتكار من Sakana AI هو أن هذه المحولات لم تعد تحتاج إلى التدريب — يتم إنشاؤها بواسطة شبكة عصبية منفصلة تم تدريبها على تنوع ضخم من مهام التكيف. تتعلم الشبكة الفائقة "فهم" أي التغييرات الدقيقة للأوزان تتوافق مع مجموعة معرفة معينة أو نمط سلوكي.

قد تكون النتائج للصناعة خطيرة جداً. حالياً، تخصيص نماذج اللغة الكبيرة هو نطاق الشركات ذات فرق ML جادة وميزانيات للحوسبة. إذا تطورت طريقة Sakana AI، سيصبح تكيف النماذج متاحاً حرفياً من خلال استدعاء API: قم بتحميل مستند — احصل على نموذج متخصص. هذا يمكن أن يغيّر الحل بشكل جذري سوق حلول الذكاء الاصطناعي للمؤسسات، حيث الحاجز الرئيسي ليس التكنولوجيا نفسها بل تكلفة وتعقيد تخصيصها لعميل معين. علاوة على ذلك، فإن الإنشاء الفوري للمحولات يفتح الطريق أمام التخصيص الديناميكي: يمكن للنموذج التبديل بين "المتخصصات" على الطاير، والتكيف مع كل مستخدم أو كل مهمة في الوقت الفعلي.

مع ذلك، تبقى أسئلة مفتوحة. ما مدى جودة هذه المحولات المُنشأة فوراً مقارنة بنتائج التدريب الكامل على مجموعات بيانات كبيرة ومعقدة؟ كيف تتعامل الطريقة مع المعلومات المتناقضة أو الضوضائية؟ كيف تتطور مع نماذج بها مئات من مليارات المعاملات؟ Sakana AI — شركة معروفة بنهجها المستوحى من الأحياء تجاه الذكاء الاصطناعي والمزاعم الطموحة، لكن ليس جميع تطويراتها اختُبرت على نطاق الإنتاج الحقيقي.

مع ذلك، يبدو الاتجاه الذي وضعته Doc-to-LoRA و Text-to-LoRA بمثابة خطوة منطقية تالية في تطور العمل مع نماذج اللغة. تتحرك الصناعة تدريجياً بعيداً عن نموذج "تدريب نموذج واحد لكل شيء" نحو أنظمة مرنة وحدية حيث يحدث التكيف فوراً وبرخص. يبدو أن Sakana AI قد وجدت أحد أكثر المسارات الواعدة نحو هذا المستقبل.