مطوّر يضبط نموذجًا بـ4 مليارات معلمة ويحصل على دقة 84.5% في أمسية واحدة

نموذج مفتوح صغير بـ4 مليارات معلمة، جرى ضبطه في أمسية واحدة على بطاقة رسوميات مستأجرة، يتولى جزءًا ملحوظًا من الأعمال الروتينية في الشركات. أنفق كاتب التحليل على Habr بضع مئات من الروبلات على التدريب، وحصل على دقة 84.5% في مهامه الروسية الخاصة. ويعالج النموذج نحو ثلثي التدفق بنفسه بنسبة 95% من القرارات الصحيحة. أما على مهام غريبة عنه لم يرها من قبل، فالنتيجة أكثر تواضعًا: المجموعة العليا، لا المركز الأول.

مهمة محددة، لا روبوت دردشة

ينطلق الكاتب من ملاحظة بسيطة: نسبة كبيرة من المهام التي تستخدم فيها الشركات الذكاء الاصطناعي تختزل في اختيار إجابة من بين عدة خيارات. إلى أين يُوجَّه الطلب؟ من ينبغي أن يوافق على الطلب الداخلي؟ هل الشكوى عاجلة؟ لا تحتاج مهام كهذه إلى نموذج توليدي كبير يعتمد استدلالات طويلة. المطلوب مصنِّف سريع بكلفة خطأ واضحة، ويمكن تشغيله على بنية الشركة التحتية الخاصة.

وهنا تحديدًا يستطيع نموذج صغير مضبوط أن ينافس عمالقة السحابة. فهو أرخص في التشغيل، ولا تغادر البيانات محيط الشركة.

ماذا أظهرت القياسات؟

قورن النموذج بـYandexGPT وGigaChat ونماذج مفتوحة مماثلة. وهذه معطيات التجربة كما وردت في الإعلان:

• حجم النموذج: 4 مليارات معلمة، وأوزانه مفتوحة؛
• تكلفة التدريب: بضع مئات من الروبلات لاستئجار GPU، ونحو أمسية واحدة؛
• الدقة على المهام الخاصة: 84.5%؛
• الأتمتة: نحو ثلثي التدفق بنسبة 95% من القرارات الصحيحة؛
• على المهام غير المألوفة: المجموعة العليا، ولا يُدّعى التصدر؛
• النموذج والشيفرة المصدرية منشوران.

يُفسَّر الفارق بين 84.5% و95% منطقيًا بعتبة الثقة: الإجابات الواثقة تذهب إلى الأتمتة، والمشكوك فيها تُترك للإنسان. هذا تفسيري الشخصي، وليس اقتباسًا من الإعلان. ويقرّب هذا الأسلوب من واقع التشغيل أكثر من رقم دقة واحد على العينة كلها.

ويستحق الاختبار على مهام لم يرها أي نموذج وقفة مستقلة. فالنماذج المضبوطة تبدو قوية بسهولة على بيانات قريبة من بيانات التدريب. أما القياس النزيه على مادة غريبة فيُظهر أين تنتهي حدود التخصص. ونتيجة «المجموعة العليا، لكن دون الصدارة» تبدو أكثر مصداقية من بيانات الانتصارات الصاخبة.

القيود

لم أطلع إلا على الإعلان، من دون النص الكامل، ولذلك تبقى التفاصيل غائبة: ما النموذج الأساسي، وما مجموعات البيانات، وكيف بُنيت العينات. والاختبار من إعداد الكاتب نفسه، ولم يؤكد أحد حتى الآن إمكانية إعادة إنتاجه بصورة مستقلة. والرقمان 84.5% و95% يخصّان مهام الكاتب المحددة، ولا ينتقلان تلقائيًا إلى بياناتكم.

كيف تستفيد من ذلك

يعد الكاتب أيضًا بتحليل للأخطاء الشائعة وبقائمة مقاييس ينبغي مطالبة المتعاقد بها. القائمة الكاملة لم تُكشف في الإعلان، لكن منطق التجربة يتيح استخلاص حد أدنى من الأسئلة لأي مشروع تطبيق:

• ما نسبة التدفق التي تذهب إلى الأتمتة عند دقة محددة، مثل 95%؟
• كيف يتصرف النموذج على بيانات لم تدخل في التدريب؟
• كم يكلّف الخطأ في عمليتكم، وما عتبة الثقة التي تنتج عن ذلك؟
• هل قورن الحل بالنماذج السحابية على عينتكم أنتم؟

والخطوة العملية هي: اجمعوا عينة مصنّفة من طلباتكم، وشغّلوا عليها النموذج المفتوح من المنشور، وقارنوا النتيجة بالحل الحالي. إذا بلغت الأتمتة نصف التدفق بكلفة خطأ مقبولة، فيمكن بعدها حساب الجدوى الاقتصادية. وإن لم تبلغ، فمئات الروبلات لاستئجار بطاقة رسوميات ثمن زهيد للحصول على الجواب.