ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
بنية تحتيةتحليل · على الرادارAWS Machine Learning Blog→ المصدر

SageMaker تطلق المهام في ثوانٍ: صورة حاويات بحجم 35,4 غيغابايت تُحمَّل في 3–11 ثانية بدلًا من 7 دقائق

كانت SageMaker تحمّل صورة الحاوية بالكامل قبل تشغيل الكود، وكنتم تدفعون ثمن دقائق خمول GPU. أما الآن، ومع فهرس SOCI، فهي تأخذ الملفات اللازمة للبدء فقط وتكمل تحميل الباقي في الخلفية، كما يحدث عند بثّ فيلم. صورة بحجم 35,4 غيغابايت تبدأ في 3–11 ثانية بدلًا من 7 دقائق و17 ثانية، وانخفض خمول GPU أثناء التحميل بنسبة تصل إلى 90%. وللتجارب القصيرة وتجريب المعاملات الفائقة يكفي تغيير وسم الصورة.

معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
SageMaker تطلق المهام في ثوانٍ: صورة حاويات بحجم 35,4 غيغابايت تُحمَّل في 3–11 ثانية بدلًا من 7 دقائق
المصدر: AWS Machine Learning Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليAWS Machine Learning Blog ↗
رئيس التحرير
حقيقة رئيسية #1انخفض خمول GPU عند تحميل الصورة بنسبة تصل إلى 90% وفق قياسات AWS
حقيقة رئيسية #2الحقبة الأولى أطول بمقدار 3–16 ثانية، لكن المهمة ككل تنتهي أسرع بمقدار 1–6 دقائق
حقيقة رئيسية #3يعمل فقط مع Amazon ECR الخاص؛ والصور التي يقل حجمها عن 4 غيغابايت تقريبًا لا تستفيد كثيرًا

كل دقيقة تقضيها حاوية التعلم العميق في التحميل هي دقيقة تدفعون ثمنها، ودقيقة ينتظرها الفريق. وزن صور PyTorch أو TensorFlow يتجاوز بسهولة 10 غيغابايت. قبل تشغيل الكود، تحمّل SageMaker الصورة كاملة، وتفك ضغطها، وتكتب كل طبقة على القرص. وفي الصور الكبيرة يعني ذلك عدة دقائق من الوقت المدفوع لا يتقدم فيها النموذج خطوة واحدة. أعلنت AWS أن فهرسة Seekable OCI، أو SOCI، تعمل الآن في مهام التدريب (Training) ومعالجة البيانات (Processing) في SageMaker AI. وهي تُخرج التحميل الكامل للصورة من المسار الحرج لبدء التشغيل.

كيف تعمل

SOCI تقنية مفتوحة المصدر للتحميل «الكسول» للحاويات. تخيّلوا بثّ فيلم: المشغّل يأخذ البداية ويكمل الباقي أثناء المشاهدة، دون أن يجبركم على انتظار اكتمال التنزيل. الأمر نفسه هنا. تأخذ بيئة التشغيل من الفهرس الملفات اللازمة لبدء الحاوية فقط، وتجلب كل ما عداها في الخلفية عندما يصل الكود إليها.

الفهرس عبارة عن بيانات وصفية تضم قائمة بكل ملفات الصورة. يُخزَّن في Amazon ECR كأصل منفصل بجوار الصورة الأصلية، ولذلك يبقى تجزئة الصورة (digest) والتواقيع الحالية صالحة. ولا حاجة لتغيير تعريف المهمة أو نقطة الدخول أو قنوات البيانات.

تتحقق SageMaker بنفسها مما إذا كان للصورة فهرس. إن وُجد، يُفعَّل التحميل الكسول. وإن لم يوجد، تحمّل المهمة الصورة بالطريقة المعتادة. وإذا تعذّرت قراءة الفهرس أو فشل التحميل الكسول، تعود المهمة أيضًا إلى التحميل المعتاد وتواصل العمل. لا يمكن لإضافة الفهرس أن تعطّل سير عمل قائمًا.

ماذا أظهرت القياسات

قارنت AWS بين التحميل المعتاد وSOCI على ثماني صور تتراوح أحجامها بين 1,8 و35,4 غيغابايت. استُخدمت أنواع مثيلات GPU وCPU من ml.g4dn إلى ml.p5 وml.m7i في المنطقتين us-west-2 وus-east-1. حُسب الزمن من بداية تحميل الصورة حتى جاهزية الحاوية. وكل الأرقام وسيطية (median) لعمليات تشغيل متكررة:

  • صورة 1,8 غيغابايت: 48 ثانية مع التحميل المعتاد مقابل 3–11 ثانية مع SOCI؛
  • صورة 13,2 غيغابايت: 3 دقائق و42 ثانية مقابل نحو 6 ثوانٍ؛
  • صورة 35,4 غيغابايت: 7 دقائق و17 ثانية مقابل 3–11 ثانية.

يبقى التحميل الكسول عند 3–11 ثانية بصرف النظر عن حجم الصورة، ولهذا يزداد المكسب وضوحًا كلما كبرت. وبالنسبة لصورة 13,2 غيغابايت، اختُبرت 13 توليفة من أنواع المثيلات وأحجامها. استغرق التحميل المعتاد ما بين 3 دقائق و16 ثانية و4 دقائق و20 ثانية، بينما استغرق الكسول 6–8 ثوانٍ، أي أسرع بنحو 34 مرة على أي تهيئة. ولا حاجة لتغيير المثيل من أجل هذا الأثر.

واختُبر كذلك ما إذا كان التدريب نفسه يتأثر. جرى تشغيل تصنيف الصور ResNet-50 على Imagenette (9 469 صورة) والضبط الدقيق الكامل لنموذج Qwen2.5-0.5B على alpaca-cleaned (51 760 مثالًا). ابتداءً من الحقبة الثانية يتساوى زمن الحقبة الواحدة. أما الحقبة الأولى مع الصورة المفهرسة فأطول بمقدار 3–16 ثانية: فالإطار يصل إلى الملفات للمرة الأولى، فيتعين جلبها. وفي المحصلة انتهت كل مهمة قبل موعدها بمقدار 1–6 دقائق. وتفيد AWS بأن خمول GPU أثناء تحميل الصورة انخفض بنسبة تصل إلى 90%.

القيود وكيفية التفعيل

يتوقف المكسب على الكود الخاص بكم. فإذا كانت نقطة الدخول تقرأ في البداية الصورة كلها تقريبًا (تمسحها أو تحسب المجاميع الاختبارية أو تحمّل محتواها مسبقًا)، فستنتظر الحقبة الأولى تقريبًا القدر نفسه من البايتات كما في التحميل الكامل، وسيكون التوفير النهائي ضئيلًا. لكن حتى حالات البدء الثقيلة بقيت رابحة في الاختبارات. فقد أضافت torch.compile وبناء امتداد CUDA بتقنية JIT ما بين 7 و15 ثانية إلى الحقبة الأولى، بينما بلغ صافي التوفير ما بين 3 دقائق و25 ثانية و3 دقائق و56 ثانية. وتطلّب تحميل نموذج بحجم 6 غيغابايت داخل الصورة ما بين دقيقتين ودقيقتين ونصف عند التحميل، ومع ذلك انتهت المهمة قبل موعدها بمقدار دقيقتين إلى دقيقتين ونصف.

ما ينبغي أخذه في الحسبان:

  • يعمل فقط مع مستودعات Amazon ECR الخاصة؛ والصور القادمة من سجلات أخرى ووضع TrainingRepositoryAccessMode=Vpc غير مدعومة؛
  • في الصور التي يقل حجمها عن 4 غيغابايت تقريبًا يكون التحسن متواضعًا؛
  • تنصح AWS بفحص السكربتات بحثًا عن أي ارتباط بـ Docker قبل الانتقال إلى طريقة التحميل الجديدة.

يمكن التفعيل بطريقتين. الأولى: استخدام AWS Deep Learning Container جاهز يحمل اللاحقة -soci في وسمه. وتتوفر مثل هذه النسخ لـ PyTorch Training وTensorFlow Training وvLLM وSGLang. والثانية: فهرسة صورتكم الخاصة بالأمر nerdctl image convert --soci على مضيف Linux مزوّد بـ containerd وSOCI snapshotter، ثم دفعها إلى ECR. وإذا كانت صورتكم مبنية على DLC، فلا ينتقل فهرس الصورة الأساسية، ويجب إنشاء الفهرس من جديد للصورة النهائية. ويمكن أتمتة إنشاء الفهارس ضمن CI/CD عبر CFN ECR SOCI Index Builder: فهو يستجيب لأحداث الدفع إلى ECR عبر EventBridge ولا يتطلب تغيير مسار البناء.

أما الفرق التي تشغّل مئات المهام القصيرة عند ضبط المعاملات الفائقة، فهذا توفير شبه مجاني: لا يتغير سوى وسم الصورة. تحققوا أولًا على مسار العمل الخاص بكم من الجزء الذي يقرؤه الكود من الصورة عند البدء. فعليه يتوقف مقدار ما ستربحونه فعلًا.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف تعمل؟

SOCI تقنية مفتوحة المصدر للتحميل «الكسول» للحاويات. تخيّلوا بثّ فيلم: المشغّل يأخذ البداية ويكمل الباقي أثناء المشاهدة، دون أن يجبركم على انتظار اكتمال التنزيل. الأمر نفسه هنا. تأخذ بيئة التشغيل من الفهرس الملفات اللازمة لبدء الحاوية فقط، وتجلب كل ما عداها في الخلفية عندما يصل الكود إليها. الفهرس عبارة عن بيانات وصفية تضم قائمة بكل ملفات الصورة. يُخزَّن في Amazon ECR كأصل منفصل بجوار الصورة الأصلية، ولذلك يبقى تجزئة الصورة (digest) والتواقيع الحالية صالحة.

ما أبرز التفاصيل حول ماذا أظهرت القياسات؟

قارنت AWS بين التحميل المعتاد وSOCI على ثماني صور تتراوح أحجامها بين 1,8 و35,4 غيغابايت. استُخدمت أنواع مثيلات GPU وCPU من ml.g4dn إلى ml.p5 وml.m7i في المنطقتين us-west-2 وus-east-1. حُسب الزمن من بداية تحميل الصورة حتى جاهزية الحاوية. وكل الأرقام وسيطية (median) لعمليات تشغيل متكررة: صورة 1,8 غيغابايت: 48 ثانية مع التحميل المعتاد مقابل 3–11 ثانية مع SOCI؛ صورة 13,2 غيغابايت: 3 دقائق و42 ثانية مقابل نحو 6 ثوانٍ؛ صورة 35,4 غيغابايت: 7 دقائق و17 ثانية مقابل 3–11 ثانية.

ما أبرز التفاصيل حول القيود وكيفية التفعيل؟

يتوقف المكسب على الكود الخاص بكم. فإذا كانت نقطة الدخول تقرأ في البداية الصورة كلها تقريبًا (تمسحها أو تحسب المجاميع الاختبارية أو تحمّل محتواها مسبقًا)، فستنتظر الحقبة الأولى تقريبًا القدر نفسه من البايتات كما في التحميل الكامل، وسيكون التوفير النهائي ضئيلًا. لكن حتى حالات البدء الثقيلة بقيت رابحة في الاختبارات. فقد أضافت torch.compile وبناء امتداد CUDA بتقنية JIT ما بين 7 و15 ثانية إلى الحقبة الأولى، بينما بلغ صافي التوفير ما بين 3 دقائق و25 ثانية و3 دقائق و56 ثانية.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…