Kairos: نموذج بايتي لجميع الوسائط يتقارب على 440 بايت
نُشر على arXiv التقرير التقني لـ Kairos، وهي بنية يُفترض أن تعالج النص والصور والصوت والفيديو وبيانات لِيدار (lidar) وإشارات التحكم في فضاء بايتي واحد. تضم البنية انتباهاً خطياً ثنائي الاتجاه من نوع gated-DeltaNet، ونافذة منزلقة، وطبقة MoE متفرقة، ومرمّزاً بايتياً متعدد المقاييس. والتحقق حتى الآن في حدّه الأدنى: أُعيد تدريب نماذج من 1 إلى 15 مليون معامل على جملة واحدة من 440 بايت. وبعد 3000 خطوة تبقى أدنى خسارة عند نحو 10⁻³، بينما تتباين نتائج المرمّزات المختلفة من 0,018 إلى 0,354 خلال 600 خطوة. - جرى تدريب الوسيط النصي فقط. - لم تُقَس القدرة على التعميم، ولم تُجرَ مقارنة بنماذج أخرى. - النموذج المستهدف: 200M معامل، منها 25M نشطة.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.LG؛ بتحرير Hamidun News
نشر باحث مستقل ينشر شيفرته البرمجية باسم fabienfrfr تقريراً عن Kairos. وهي بنية لنموذج تأسيسي بايتي يُفترض أن يقرأ النصوص والصور والصوت والفيديو وسحب نقاط لِيدار (lidar) وتدفقات التحكم، ويولّدها، داخل فضاء بايتي واحد. النتائج الفعلية حتى الآن قليلة: أُعيد تدريب نماذج من 1 إلى 15 مليون معامل على جملة واحدة من 440 بايت. ويوضح المؤلف نفسه أن التقرير يجيب عن سؤال «هل يمكن تحسين هذا النموذج أصلاً؟» لا عن سؤال «هل هو مفيد؟».
ما الذي تتكوّن منه البنية
تجمع Kairos عدة أفكار حديثة. فكتلة الانتباه LiZAttention2 تدمج الانتباه الخطي ثنائي الاتجاه gated-DeltaNet مع انتباه النافذة المنزلقة فوق إسقاطات مشتركة. وفوقها تأتي تجميعات كتلية من نوع Attention-Residual، وطبقة Mixture-of-Experts متفرقة تؤدي دور طبقة feed-forward. وتتحول مدخلات أي وسيط إلى بايتات عبر مرمّز متعدد المقاييس. ويجري التدريب على مهمة إزالة الضوضاء بضوضاء منتظمة: إذ يستعيد النموذج البايتات من تسلسل مشوَّش. ويصف التقرير كذلك بوابة ذاكرة للحالة المتكررة بين الجلسات. وقد أورد التقرير لكل مكوّن خوارزميات مستخرجة من الشيفرة.
ما الذي جرى اختباره بالضبط
التجربة متواضعة عن قصد. دَرّب المؤلف نماذج صغيرة على جهاز محلي واحد، وراقب هل تنخفض دالة الخسارة. وشُغّلت المرمّزات وأنواع الانتباه بثلاث بذور عشوائية (seeds)، أما العوامل السبعة الأخرى فاختُبرت بتشغيل واحد لكل منها. أبرز الأرقام:
- يصل LiZAttention2 وانتباه النافذة وحده، خلال 3000 خطوة، إلى أدنى خسارة تبلغ نحو 10⁻³.
- بعد 600 خطوة يتراوح متوسط أدنى خسارة للمرمّزات من 0,018 (مرمّز patch) إلى 0,354 (مرمّز التفافي depthwise).
- ترتيب المرمّزات متطابق في البذور الثلاث جميعها.
- حجم النماذج في الاختبار: من 1 إلى 15 مليون معامل، للنص فقط.
- الإعداد المستهدف: 200M معامل في المجموع، منها 25M نشطة. الحساب تحليلي، ولم تُقَس سعة المعالجة (throughput).
وأكثر الاستنتاجات إثارة للاهتمام يخص الإسقاطات المشتركة والمنفصلة في الانتباه. ففي البداية منحت الإسقاطات المشتركة أفضلية ملحوظة. ومع زيادة عدد الخطوات أو تنوّع البيانات تزول هذه الأفضلية، وعند تجميد الإسقاطات ينعكس اتجاه الأثر. ويفسّر المؤلف ذلك بتسارع التقارب لا بزيادة السعة. والاستنتاج منهجي في المقام الأول: فعلى جملة واحدة يسهل أن يُحسب التقدم المبكر ميزة معمارية.
كذلك تستلزم إعادة التجميع ومقارنة المرمّزات الحذر. فالفارق بين مرمّز patch والالتفاف depthwise، وهو عشرات الأضعاف في الخسارة، يدل على أن اختيار المرمّز في هذه المهمة الصغيرة يحدد سرعة الحفظ. أما ما سيحققه على بيانات حقيقية فلا يقوله التقرير. ولم يتناول العمل التعميم ولا التدريب متعدد الوسائط ولا المقارنة بالنماذج القائمة. ويترك المؤلف ذلك كله للتدريب المسبق (pretraining) المخطط له.
لمن يفيد هذا العمل
ما زال من المبكر استخدام Kairos أداةً جاهزة. الشيفرة مفتوحة على GitHub، والحزمة kairos-fm منشورة على PyPI، ولذلك يمكن تفكيك المكوّنات وربطها بتجارب خاصة. وهي مفيدة خصوصاً للباحثين الذين يختبرون الانتباه الخطي وMoE على عتاد محدود: فالتقرير يبيّن كيف تُستبعد سريعاً التركيبات غير الفعّالة. والخلاصة العملية لمن يقارن البنى على نماذج صغيرة: تحقّقوا من الأثر على عدد أكبر من الخطوات وبيانات أكثر تنوعاً، وإلا سهل أن يُحسب تسارع التقارب مكسباً في السعة. أما الحكم على نجاح فكرة الفضاء البايتي الواحد لجميع الوسائط فلن يكون ممكناً إلا بعد التدريب المسبق على بيانات حقيقية وقياس سعة المعالجة.
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول ما الذي تتكوّن منه البنية؟
تجمع Kairos عدة أفكار حديثة. فكتلة الانتباه LiZAttention2 تدمج الانتباه الخطي ثنائي الاتجاه gated-DeltaNet مع انتباه النافذة المنزلقة فوق إسقاطات مشتركة. وفوقها تأتي تجميعات كتلية من نوع Attention-Residual، وطبقة Mixture-of-Experts متفرقة تؤدي دور طبقة feed-forward. وتتحول مدخلات أي وسيط إلى بايتات عبر مرمّز متعدد المقاييس. ويجري التدريب على مهمة إزالة الضوضاء بضوضاء منتظمة: إذ يستعيد النموذج البايتات من تسلسل مشوَّش. ويصف التقرير كذلك بوابة ذاكرة للحالة المتكررة بين الجلسات. وقد أورد التقرير لكل مكوّن خوارزميات مستخرجة من الشيفرة.
ما أبرز التفاصيل حول ما الذي جرى اختباره بالضبط؟
التجربة متواضعة عن قصد. دَرّب المؤلف نماذج صغيرة على جهاز محلي واحد، وراقب هل تنخفض دالة الخسارة. وشُغّلت المرمّزات وأنواع الانتباه بثلاث بذور عشوائية (seeds)، أما العوامل السبعة الأخرى فاختُبرت بتشغيل واحد لكل منها. أبرز الأرقام: يصل LiZAttention2 وانتباه النافذة وحده، خلال 3000 خطوة، إلى أدنى خسارة تبلغ نحو 10⁻³. بعد 600 خطوة يتراوح متوسط أدنى خسارة للمرمّزات من 0,018 (مرمّز patch) إلى 0,354 (مرمّز التفافي depthwise). ترتيب المرمّزات متطابق في البذور الثلاث جميعها. حجم النماذج في الاختبار: من 1 إلى 15 مليون معامل، للنص فقط. الإعداد المستهدف: 200M معامل في المجموع، منها 25
ما أبرز التفاصيل حول لمن يفيد هذا العمل؟
ما زال من المبكر استخدام Kairos أداةً جاهزة. الشيفرة مفتوحة على GitHub، والحزمة kairos-fm منشورة على PyPI، ولذلك يمكن تفكيك المكوّنات وربطها بتجارب خاصة. وهي مفيدة خصوصاً للباحثين الذين يختبرون الانتباه الخطي وMoE على عتاد محدود: فالتقرير يبيّن كيف تُستبعد سريعاً التركيبات غير الفعّالة. والخلاصة العملية لمن يقارن البنى على نماذج صغيرة: تحقّقوا من الأثر على عدد أكبر من الخطوات وبيانات أكثر تنوعاً، وإلا سهل أن يُحسب تسارع التقارب مكسباً في السعة. أما الحكم على نجاح فكرة الفضاء البايتي الواحد لجميع الوسائط فلن يكون ممكناً إلا بعد التدريب المسبق على بيانات حقيقية وقياس سعة المع
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.