SUM: серверный метод против «забывания» в федеративном непрерывном обучении, +22%
Исследователи выложили на arXiv метод SUM для федеративного непрерывного обучения (FCIL). Он борется с «катастрофическим забыванием» целиком на стороне сервера — правит «векторы адаптации» при агрегации обновлений — и даёт прирост до 22% над прежними методами на бенчмарках зрения и языка, не нагружая клиентские устройства.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.LG؛ بتحرير Hamidun News
نشر فريق من الباحثين على arXiv في يوليو 2026 طريقة SUM (Unified Geometric Surgery on Spatio-Temporal Adaptation Vectors) — إطار عمل يعمل على جانب الخادم للتعلم المستمر الفيدرالي يقلّل من «النسيان الكارثي» ويحقق تحسناً في الجودة يصل إلى 22% مقارنة بطرق FCIL السابقة.
ما الذي تحلّه طريقة SUM
تتصدى طريقة SUM لـ«النسيان الكارثي المكاني-الزماني» (Spatial-Temporal Catastrophic Forgetting، ST-CF) — وهو فقدان المعرفة عند تقاطع نهجين للتعلّم. يجمع Federated Class Incremental Learning (FCIL) بين التعلّم الفيدرالي (Federated Learning، FL)، حيث يتعلّم النموذج من بيانات معزولة لدى عملاء مختلفين، والتعلّم المستمر (Continual Learning، CL)، حيث تصل المهام بشكل متتابع.
وبحسب ورقة arXiv، ينتج عن هذا المزيج مصدران للتشويش في آن واحد. الأول هو التداخل المكاني الناتج عن عملاء متباينين ببيانات غير متجانسة. والثاني هو التداخل الزمني الناتج عن المهام المتتابعة، حين تزيح المعرفة الجديدة المعرفة القديمة. عالجت الطرق السابقة هذه المشكلات بآليات مختلفة، وغالباً ما كانت تُحمّل العملاء أعباء حسابية إضافية أو تبادلاً للبيانات، ولم تكن تنظّم التفاعلات الاتجاهية بين التحديثات أثناء التجميع.
كيف تعمل «الجراحة الهندسية»
تعمل SUM بالكامل على جانب الخادم وتصحّح «متجهات التكيّف» أثناء تجميع التحديثات. يقترح المؤلفون التعامل مع FCIL كمهمة واحدة موحّدة للتعلّم متعدد المهام، حيث تكون التحديثات — سواء من العملاء أو من المهام — عبارة عن متجهات في فضاء معاملات مشترك.
- SUM هو إطار عمل يعمل على جانب الخادم، دون أي حساب أو اتصال أو ذاكرة إضافية على جانب العميل
- يزيل Spatial SUM التداخل بين العملاء داخل كل جولة تدريب
- يقضي Temporal SUM (السببي عبر الإنترنت) على التداخل بين المهام عبر الزمن
- تحسّن الجودة — يصل إلى 22% مقارنة بطرق FCIL السابقة
- الاختبارات — على معايير الرؤية الحاسوبية واللغة، مع مقاومة للعملاء غير الموثوقين
إلى أي مدى هذا أفضل من الأساليب السابقة
تتفوّق SUM على طرق FCIL السابقة بنسبة تصل إلى 22% على مجموعة متنوعة من معايير الرؤية واللغة — وتفعل ذلك مع الحفاظ على الكفاءة الحسابية. الفارق الأساسي: تحدث كل عمليات «الإصلاح» أثناء التجميع على الخادم، لذا لا يحتاج العملاء إلى أي حساب إضافي ولا إلى إرسال بيانات زائدة.
«يقلّل
Spatial SUM التداخل على مستوى العميل داخل كل جولة، بينما يزيل Temporal SUM السببي وعبر الإنترنت التداخل بين المهام عبر الزمن دون أي حساب أو اتصال أو ذاكرة إضافية على جانب العميل تتجاوز التعلّم الفيدرالي القياسي»، بحسب ملخص الورقة على arXiv.
كما يشير المؤلفون بشكل منفصل إلى مقاومة الطريقة للعملاء غير الموثوقين — أي أولئك الذين يقدّمون تحديثات صاخبة أو غير مكتملة. وهذا مهم للأنظمة الموزعة الواقعية، حيث يعمل جزء من الأجهزة دائماً بشكل غير مستقر.
ماذا يعني هذا
التعلّم المستمر الفيدرالي هو سيناريو للأنظمة التي تحتاج إلى التعلّم من بيانات خاصة متفرقة والتكيّف مع مهام جديدة دون إعادة التدريب من الصفر. تُظهر SUM أنه يمكن مكافحة النسيان على الخادم دون نقل العبء إلى أجهزة العميل — ما يجعل هذا النهج قابلاً للتطبيق على الهواتف وأجهزة إنترنت الأشياء (IoT) وغيرها من الأجهزة ذات الموارد المحدودة.
أسئلة شائعة
ما هو Federated Class Incremental Learning؟
FCIL هو مزيج من التعلّم الفيدرالي (يتعلّم النموذج من بيانات معزولة لدى عملاء كُثر دون جمعها في مكان واحد) والتعلّم التزايدي حسب الفئات (تصل فئات ومهام جديدة مع مرور الوقت). التحدي الرئيسي هو «النسيان الكارثي»، حين يفقد النموذج معرفته القديمة أثناء تعلّم مهام جديدة.
بم تختلف SUM عن طرق FCIL السابقة؟
تعمل SUM فقط على الخادم وتوحّد مكافحة التداخل المكاني والزماني في آلية واحدة — «الجراحة الهندسية» على متجهات التكيّف. استخدمت الأساليب السابقة آليات منفصلة وغالباً ما كانت تُحمّل العملاء أعباءً، في حين لا تتطلب SUM منهم أي حساب أو اتصال أو ذاكرة إضافية.
هل تحتاج إلى ذكاء اصطناعي يعمل داخل شركتك — وليس فقط في موجز الأخبار؟
أبني ذكاءً اصطناعياً جاهزاً للإنتاج للشركات — أنظمة CRM مخصّصة، أدوات داخلية، وكلاء مستقلون، أتمتة سير العمل. ملك لك، مصمّم وفق عمليتك، دون رسوم لكل مستخدم. من إعداد جمال خميدون، مدير المنتجات في AlpinaGPT (منصة ذكاء اصطناعي، أكثر من 6000 مستخدم).
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.