Saiga Llama 3 8B على 10 غيغابايت من VRAM: كيف حقق مستخدمو Habr دقة 93% في تلخيص «الحرب والسلم»

نشر Habr AI تحليلاً عملياً لتجربة تشغيل Saiga Llama 3 8B على بطاقة RTX 3080 منزلية بذاكرة فيديو 10 غيغابايت، بهدف تلخيص المجلدين الأولين من «الحرب والسلم». وأظهرت التجربة أن المشكلة الرئيسية للنماذج اللغوية الكبيرة المحلية في مهمة كهذه لا تقتصر على محدودية الذاكرة، بل تشمل أيضاً الهلوسات في الوقائع والأسماء والتسلسل الزمني.

التشغيل على 10 غيغابايت

بنى المؤلف خط المعالجة حول النموذج IlyaGusev/saiga_llama3_8b بتكميم 4-بت، وشغّله على بطاقة RTX 3080 منزلية بذاكرة 10 غيغابايت VRAM. ولم يكن النص الكامل للمجلدين يتسع في الذاكرة، فاضطر إلى تقطيع الرواية بحسب الفصول وتحديد حجم كل مقطع. وبعد سلسلة من التجارب، استقر الحل الوسط عند نحو 7500 حرف للمقطع الواحد: فبهذا الحجم يقلّ فقدان السياق، بينما يرتفع خطر الأعطال وامتلاء ذاكرة الفيديو كلما كبر المقطع.

اعتمدت التجربة على مكتبتي transformers وbitsandbytes، وتحقق المؤلف من دقة الملخصات عبر Gemini. وظهرت في الطريق آثار جانبية غير متوقعة: فقد أخرج Qwen2.5-7B-Instruct مرة، بدلاً من الملخص، مقطعاً طويلاً من شيفرة Python مع نصائح حول المكتبات. كما استُبعدت بسرعة فكرة «النافذة المنزلقة»، حيث يلخّص النموذج ملخصاً جاهزاً أصلاً: إذ تراجعت الجودة على طريقة «الهاتف المعطّل»، وزاد وقت المعالجة زيادة ملحوظة فحسب.

من أين جاءت الهلوسات

بدا الموجّه البسيط في البداية صالحاً للعمل: أنتج النموذج ملخصات قصيرة من 3 إلى 5 جمل، لكنه سرعان ما بدأ يخلط بين الألقاب والعلاقات العائلية والتسلسل الزمني. فقد يتحول بيير بيزوخوف فجأة إلى ابن لعائلة روستوف، ويصبح الأمير فاسيلي كوراجين والده. وعندما أُضيفت إلى موجّه النظام قاعدة بيانات للشخصيات مع قواعد صارمة، لم تختفِ الأخطاء بل تغيّر موضعها: صار النموذج أكثر ثقة في صياغة استنتاجات خاطئة من حيث الوقائع في فصول بعينها.

وكان أوضح إخفاق من نصيب نيكولاي روستوف. ففي الحلقة التي تلي معركة شونغرابن، قرر النموذج أن البطل مات، مع أن النص يذكر أنه جُرح فقط ثم يواصل دوره في الأحداث لاحقاً. ويفسّر المؤلف ذلك بانحياز في الاحتمالات: فتولستوي يصف الألم والدم والشعور باقتراب الموت وصفاً مطولاً، بينما يأتي التأكيد القصير على أن روستوف حي في موضع لاحق، ويكون وزنه عند النموذج أقل. وأظهر فحص اللوجِتات (logits) أن الموجّه قادر فعلاً على تغيير اختيار الرمز التالي تغييراً جذرياً.

«يُمنع قتل الأبطال! نيكولاي روستوف ينجو في شونغرابن».

ما الذي ساعد فعلاً

في النسخة العاملة من خط المعالجة، صارت القواعد مباشرة إلى أقصى حد: مطابقة الألقاب مع قاعدة بيانات الشخصيات، وعدم اختلاق قصص عاطفية، وتذكّر أن الأحداث تجري في عام 1805، والإقرار الصريح عندما ينقطع المقطع قبل الحل. وفي الوقت نفسه ضيّق المؤلف معاملات التوليد: درجة الحرارة 0,1، وtop_p بقيمة 0,85، وrepetition_penalty بقيمة 1,15. والفكرة بسيطة: إبداع أقل، وإغراء أقل لإكمال تولستوي من عند النموذج. وبذلك تصبح الإجابة أكثر استقراراً.

• تكميم 4-بت بدلاً من التحميل الكامل
• تقطيع النص بحسب الفصول بحد يقارب 7500 حرف
• موجّه نظام صارم مع قاعدة بيانات للشخصيات
• درجة حرارة منخفضة وtop_p محدود
• معالجة لاحقة للأخطاء النادرة في الألقاب

لم تجعل هذه الإجراءات النظام خالياً من الأخطاء، لكنها قلّصت عدد الهلوسات الحرجة تقليصاً حاداً. وأعطى التقييم النهائي عبر Gemini 3 Flash متوسط دقة وقائعية يقارب 93%، وبقيت معظم الفصول في نطاق 90–98%. أما أبرز الإخفاقات المتبقية فكانت على مستوى الرموز والصرفيات: ففي موضع واحد ظهر «بيير بيزداروفسكي»، وهو مزيج من لقب بيزوخوف وكلمة «بيزداربني» الروسية بمعنى «عديم الموهبة». ويرى المؤلف أن اصطياد هذه الأعطال النادرة بالمعالجة اللاحقة أسهل من تعقيد الموجّه أكثر.

ماذا يعني ذلك

تكشف هذه الحالة أمراً مهماً بشأن النماذج اللغوية الكبيرة المحلية: يمكن بناء خط معالجة مفيد للنصوص الطويلة حتى على بطاقة رسوميات استهلاكية، لكن النجاح لا يتوقف على النموذج وحجم VRAM وحدهما. فغالباً ما تحسم النتيجة التعليمات الصارمة، والتحكم في التوليد، والمعالجة اللاحقة، أي الهندسة المحيطة بالنموذج اللغوي، لا زر سحرياً واحداً من نوع «اقرأ الكتاب نيابةً عني».