Gemini 4 Carbon من Google تسجّل 88,2% في اختبار اكتشاف الثغرات، والوصول إليه مقيّد حتى الآن

أعلنت Google DeepMind عن Gemini 4 Carbon، وهو نموذج جديد تصفه بأنه الأقوى لديها. وقد جاء الرقم الرئيسي في الإعلان، 88,2%، من اختبار SEC-bench Pro. يبحث النموذج في هذا الاختبار، دون مساعدة بشرية، عن ثغرات حقيقية، أي أخطاء في برامج فعلية يمكن عبرها اختراق النظام. وصدر Carbon بعد أسبوعين من Gemini 4 Argon. وتركّز Google على الأمن السيبراني وعلى المهام الهندسية الطويلة، التي يحلّها النموذج الوكيل (agent) على عدة خطوات، وأحيانًا على مدى أيام. الوصول إليه محدود حتى الآن: فأول من سيحصل على النموذج هم متخصصون محددون في الأمن السيبراني. ومعظم الأرقام الواردة أدناه مأخوذة من إعلان Google نفسه.

ثلاثة اختبارات تغطي مسار المدافع كاملًا

تُظهر Google أن Carbon يجتاز ثلاث مراحل من عمل المدافع: العثور على الثغرة، وتقييم مدى خطورتها، ثم إصلاحها. وتستشهد الشركة لذلك بثلاثة اختبارات خارجية. واجتاز النموذج الاختبارات الثلاثة كلها دون قيود الحماية.

• SEC-bench Pro. يقيس البحث عن ثغرات حقيقية في برامج فعلية. سجّل Carbon فيه 88,2%، وهي بحسب Google أفضل نتيجة حتى اليوم. • ExploitGym. يقيس ما إذا كان يمكن استخدام الثغرة المكتشفة في هجوم. يحتاج المدافعون إلى ذلك ليقرّروا ما يُصلَح أولًا، وما لا يستحق الإصلاح أصلًا. سجّل Carbon فيه 54,8%، وهي أيضًا أفضل نتيجة. • CWE-bench من شركة Collinear. يقيس قدرة النموذج على إيجاد سبب الخطأ وكتابة إصلاح عامل. سجّل Carbon فيه 71,0%.

وهناك أيضًا قياسات داخلية أجرتها Google. ففي اختبارات الشركة، يكتب Carbon شيفرة آمنة بمعدل يزيد على ضعف معدل Argon. وأفاد فريق متصفح Chrome بأن Carbon، في إنشاء رقع (patches) عالية الجودة، تفوّق بأكثر من 10 أضعاف على نموذج كبير من مختبر آخر. ولا تذكر Google اسم هذا النموذج. وتشير منصة الأمن السحابي Wiz، المملوكة لـ Google، إلى أن Carbon يتصدر اختبارات اختراق تطبيقات الويب. وهذا هو الأساس لمبادرتها Scan for Good.

وفي التصنيف المجمَّع Artificial Analysis Intelligence Index الإصدار 5.0، يحتل Carbon المركز الأول بـ 59 نقطة. أما في WebDev Arena، الذي يقيّم جودة المواقع وتطبيقات الويب التي تنشئها النماذج، فقد أضاف 89 نقطة إلى تصنيف Elo، وأصبح في المركز الرابع (1769). كما تتحدث Google عن تحسّن في البرمجة والمهام العلمية وتطوير الويب وفهم أنواع البيانات المختلفة.

يعمل لأيام ويلجأ إلى الغش بدرجة أقل

صُمّم Carbon للمهام الطويلة التي يتصرف فيها الوكيل بصورة مستقلة. وقد شغّلته Google داخليًا لعدة أيام، وواصل العمل حين اصطدم بطريق مسدود. ومن المهام النموذجية: إيجاد سبب خطأ دقيق وإصلاحه في قاعدة شيفرة ضخمة أو في نظام منخفض المستوى.

ورث Carbon الحماية من Argon. وتشمل هذه الحماية تدريب النموذج، والحماية من إساءة الاستخدام في الزمن الفعلي، والمتانة أمام prompt injection، ومراقبة سلسلة استدلال النموذج. وprompt injection هو هجوم تُخفى فيه أوامر ضارة داخل البيانات التي يعالجها النموذج. كما درّبت Google نموذج Carbon بشكل منفصل على التصرف الصحيح في المهام المعقدة وتحت الضغط. وفيما يلي أرقام الإعلان:

• الغش في الاختبارات. في Terminal-Bench 4.0، وهو اختبار لعمل الوكيل في سطر الأوامر، انخفضت المحاولات الناجحة للالتفاف على المهمة عبر ثغرة إلى 0,0%، وانخفضت المحاولات نفسها إلى 0,4%.

وارتفعت الدقة الإجمالية في الوقت نفسه. • إشارات الإنذار. في جلسات العمل الحية مع فرق Google، تراجعت التحذيرات الجدية من أن النموذج لا يتصرف كما ينبغي بنحو 80%.

• المعلومات المختلقة. صار عدد العبارات غير المستندة إلى مصادر أقل بنحو النصف مما هو عليه لدى Argon. وإذا لم تتوافر بيانات كافية، يكتب Carbon التحفظات مباشرة في النتيجة أو يسرد ما ينقصه لمواصلة العمل، ولا يختلق شيئًا.

• المهام الغامضة. بدلًا من التخمين، يجمع النموذج المصادر ويعرض على المستخدم التناقضات قبل بدء العمل. • حدود المهمة.

انخفضت المبادرات الزائدة بنسبة 26%، والمهام غير المكتملة بنسبة 29%. وتُنفَّذ الخطة متعددة الخطوات بموثوقية أكبر وتبقى ضمن إطار المشروع. • Prompt injection.

في اختبار Gray Swan Indirect Prompt Injection، كان Argon يمرّر 0,7% من الهجمات. أما Carbon فلم يمرّر أيًّا من الهجمات التي جرى اختبارها.

لا تعني نسبة الصفر أن النموذج عصيّ على الاختراق: فمجموعة الهجمات في الاختبار محدودة، والمهاجمون الحقيقيون أكثر ابتكارًا. لكن هذا السلوك مهم لوكيل يُؤتمن على مستودع شيفرة لعدة أيام.

من سيحصل على الوصول وكم تبلغ التكلفة

تطلق Google النموذج بحذر. فالشركة تشارك في الفحص الطوعي للنماذج قبل إطلاقها، الذي تجريه حكومة الولايات المتحدة. وهذا الأسبوع يحصل على Carbon متخصصون محددون في الأمن السيبراني. ثم يُفتح الوصول تدريجيًا أمام شركاء موثوقين آخرين عبر برنامج Fairwind. وتَعِد Google بإتاحة النموذج للمطورين والشركات والمستخدمين العاديين في أقرب وقت ممكن، لكن لا توجد مواعيد محددة. وفي الوقت الحالي تجمع Google الملاحظات وتحسّن قيود الحماية.

السعر مماثل لسعر Argon. ففي فترة التعريف يبلغ 2$ لكل مليون رمز إدخال و10$ لكل مليون رمز إخراج. والرمز (token) هو جزء صغير من النص يقسّم النموذج إليه الطلب والإجابة. أما رموز الإدخال المأخوذة من الذاكرة المؤقتة (cache)، أي السياق المعاد استخدامه، فتكلّف أقل بنسبة 95%. وبعد فترة التعريف ترتفع الأسعار إلى الضعف: 4$ و20$.

إذا أكدت قياسات مستقلة أرقام Google، فسيمكن إسناد البحث عن الثغرات وإعداد الإصلاحات إلى النموذج بشكل شبه كامل. وستستفيد فرق الأمن من ذلك. لكن النموذج الذي يجيد العثور على الثغرات واستغلالها قد يفيد المهاجمين أيضًا، ولذلك يبدو الإطلاق المغلق قرارًا معقولًا. وعلى من يعتزم دمج Carbon في منتجاته أن يأخذ في الحسبان مسبقًا مضاعفة الأسعار.