Databricks وAWS SageMaker: مسار عمل لضبط نماذج LLM بأمان

عرضت AWS وDatabricks طريقة لبناء مسار ضبط (fine-tuning) لنماذج LLM يعالج مشكلتين في آن واحد: الحفاظ على التحكم في البيانات والنماذج عبر كتالوج مركزي، دون التضحية بالوظائف أو بسرعة التطوير.

بنية مسار العمل

يدمج الحل ثلاثة مكونات. يتولى Databricks Unity Catalog مهمة الحوكمة والوصول: جدول واحد يحدد من يحق له استخدام أي بيانات. ويجهّز Amazon EMR Serverless البيانات للتدريب، بينما ينفّذ SageMaker AI عملية ضبط النموذج نفسها. وبعد التدريب، تُسجَّل المخرجات (أوزان النموذج والمقاييس) في Unity Catalog من جديد.

يتيح هذا النهج لفريق يضم مهندسي بيانات ومهندسي ML وعلماء بيانات العمل في مساحة واحدة موحّدة، دون الحاجة إلى نسخ البيانات بين الخدمات أو إعداد طبقات وصول منفصلة لكل أداة.

المراحل الرئيسية

• الحوكمة عند المدخل: يحدد Unity Catalog سياسات الوصول إلى البيانات المصدرية، أي الجداول المرئية والحقول المُخفاة (masked)
• المعالجة المسبقة (Preprocessing): يحوّل EMR Serverless البيانات الخام إلى صيغة صالحة لتدريب LLM
• الضبط (Fine-tuning): يضبط SageMaker AI نموذج Ministral-3-3B-Instruct (من Mistral) باستخدام البيانات المجهّزة
• تتبّع المسار (Lineage tracking): تبقى السلسلة كاملة، من الجداول المصدرية حتى النموذج النهائي، قابلة للتتبّع لأغراض التدقيق والامتثال (compliance)
• تسجيل المخرجات: يعود النموذج المدرَّب ومقاييسه إلى Unity Catalog بوصفهما أصولًا مُدارة

لماذا الآن؟

تواجه شركات كثيرة أحد سيناريوهين. إما أن تكون البيانات والنماذج موزعة بين خدمات مختلفة دون رؤية واضحة: من يستخدم ماذا، ومن أين تأتي البيانات، ومن عدّلها. وإما أن تحاول الشركات ترتيب الأمور عبر أنظمة مراقبة ووصول خاصة بها، وهو ما يتطلب أشهرًا من التطوير والصيانة.

«بدلًا من بناء الحوكمة من الصفر، نقدّم لكم تكاملًا جاهزًا تتحدث فيه

جميع المكونات اللغة نفسها»

يُنهي حل AWS وDatabricks هذه المفاضلة. فالحوكمة وتتبّع المسار (lineage) مدمجان في البنية منذ البداية، وليسا مضافين فوقها لاحقًا.

ماذا يعني ذلك

بالنسبة إلى المؤسسات الكبيرة والمؤسسات المالية، يعني هذا أنه بات بالإمكان اعتماد ضبط نماذج LLM دون خطر فقدان السيطرة على البيانات. أما بالنسبة إلى الفرق الهندسية، فلم تعد هناك حاجة إلى كتابة أنظمة تتبّع خاصة بها. ويسدّ التكامل الفجوة بين متطلبات الأمان وسرعة تطوير أنظمة ML.