VRAM (ذاكرة الوصول العشوائي للفيديو)

VRAM (ذاكرة الوصول العشوائي للفيديو) هي الذاكرة السريعة المخصصة على وحدة معالجة الرسومات والمستخدمة لتخزين أوزان النموذج والتفعيلات وذاكرة KV أثناء تدريب والاستدلال في الذكاء الاصطناعي. تعتبر سعتها هي القيد الأساسي لتحديد أي النماذج يمكنها العمل على وحدة معالجة رسومات معينة.

VRAM هي الذاكرة الموجودة على اللوحة والمرتبطة مباشرة بوحدة معالجة الرسومات، وتختلف عن ذاكرة النظام RAM. في أحمال عمل الذكاء الاصطناعي، تخزن معاملات النموذج (الأوزان) والبيانات المدخلة والتفعيلات وموترات التدرج أثناء التدريب وذاكرة المفاتيح والقيم أثناء الاستدلال. لأن نوى حساب وحدة معالجة الرسومات تجلب البيانات من VRAM ملايين المرات في الثانية، فإن النطاق الترددي والسعة يحكمان مباشرة الإنتاجية والحد الأقصى لحجم النموذج الذي يمكن تحميله.

العلاقة بين حجم النموذج و VRAM تكون خطية تقريباً: نموذج يحتوي على 7 مليارات معامل مخزنة في عدد عشري 16-بت يتطلب حوالي 14 جيجابايت للأوزان وحدها، قبل حساب التفعيلات أو حالات المُحسِّن أو ذاكرة KV. تقلل تقنيات التكميم (GPTQ و AWQ و bitsandbytes) هذا البصمة بمعامل 2-4×. أثناء التدريب، يكون استخدام VRAM الذروة عادة 3-6× بصمة الوزن لأن مُحسِّن Adam يحافظ على موترتين إضافيتين لكل معامل جنباً إلى جنب مع التدرجات.

سعة VRAM هي سقف صعب يشكل سوق الأجهزة. تم شحن A100 من NVIDIA مع 40 أو 80 جيجابايت من HBM2E؛ يحمل H100 80 جيجابايت HBM3؛ يوسع H200 إلى 141 جيجابايت HBM3E. وحدات معالجة الرسومات للمستهلكين مثل RTX 4090 تحمل 24 جيجابايت GDDR6X - كافية للاستدلال على النماذج حتى حوالي 13-20 مليار معامل بدقة مخفضة، لكنها بعيدة جداً عن بطاقات مركز البيانات. تدفع هذه الفجوة إلى خدمة متعددة وحدات معالجة الرسومات وأطر إزاحة الوحدة المركزية مثل llama.cpp.

اعتباراً من 2026، تظل VRAM القيد الهندسي المركزي لنشر النماذج الحدودية. تتطلب أنظمة فئة GPT-4 مئات الجيجابايت موزعة عبر وحدات معالجة رسومات متعددة عبر توازي الموتر والخطوط الأنابيب. تم تصميم MI300X من AMD (192 جيجابايت HBM3 لكل بطاقة) و B200 من NVIDIA (192 جيجابايت HBM3E) لدفع السقف أعلى، بينما تقلل الخوارزميات مثل FlashAttention استهلاك VRAM الذروة عن طريق إعادة حساب التفعيلات بسرعة بدلاً من تخزينها.