شركة Cognition تمكّن Devin من تخصيص حدود الاستخدام بناءً على الكفاءة: مقياس من 0 إلى 100

تقترح شركة Cognition، المطورة للمساعد البرمجي Devin، على عملائها من المؤسسات التخلي عن فرض سقوف موحدة لنفقات الذكاء الاصطناعي، والتوجه بدلاً من ذلك نحو توزيع الميزانيات بناءً على العائد الفعلي. ولتحقيق هذه الغاية، أطلقت الشركة ثلاث ميزات جديدة: مقياس الكفاءة Efficiency Score (تقييم من 0 إلى 100 لكل مهندس)، وDevin Coach (تقديم إرشادات لتحسين صياغة الأوامر قبل التشغيل)، والموافقة التلقائية على زيادة حدود الاستخدام للمستخدمين الأكثر كفاءة. وتتوفر ميزة الموافقة التلقائية حالياً لكافة عملاء خطة Devin Enterprise. وتشبه Cognition السقف المالي الموحد بتجميد التوظيف: فهو يقيّد أولئك الذين يستفيدون إلى أقصى حد من الوكيل، دون أن يوضح للبقية المسار الصحيح لتحسين أدائهم.

كيف يُحسب مقياس الكفاءة Efficiency Score؟

تعتمد Cognition وحدة حوسبة الوكيل (ACU) كوحدة قياس أساسية تجمع بين تكلفة نماذج LLM والبنية التحتية السحابية. ويستند التقييم إلى الجلسات الأخيرة فقط وليس إلى المتوسط العام التراكمي، مما يضمن عدم تأثير الأخطاء القديمة على السجل بصورة دائمة.

يبدأ Devin بتحديد ما إذا كانت الجلسة قد أسفرت عن نتيجة مفيدة؛ فإن تضمنت طلب سحب (PR)، فيشترط أن يتم دمجه بنجاح. وفي حال غياب طلب السحب، يحدد مصنف ذكاء اصطناعي صغير ما إذا كان الوكيل قد حقق تقدماً ملموساً في المهمة، مثل معالجة ثغرة برمجية أو الإجابة عن استفسار تحليلي، وبذلك تحظى مهام الاستكشاف والتخطيط باعتراف ضمن التقييم أيضاً. عقب ذلك، يُقدَّر لكل جلسة معتمدة عدد الساعات التي كان المهندس البشري سيستغرقها لإنجاز العمل نفسه، وقد قارنت Cognition هذه التقديرات بتقييمات المهندسين الذاتية لجلساتهم.

تتكون النتيجة الإجمالية من مقياسين:

• E (الكفاءة): الساعات الإنتاجية لكل وحدة ACU؛
• V (الحجم): الساعات الإنتاجية في اليوم، بصرف النظر عن التكلفة؛
• المعادلة: النتيجة = 100 × (E + λV(1 − E))، حيث λ = 0,2؛
• يتم ضبط كلا التصنيفين ليقعا على مقياس من 0 إلى 1 مع موازنة القيم المرتفعة؛
• الرتب: Healthy (ممتاز)، وSatisfactory (مرضٍ)، وNeeds Improvement (يحتاج إلى تحسين)، وUnknown (غير معروف) في حال عدم كفاية البيانات.

توضح الأمثلة المعتمدة على آخر 200 وحدة ACU آلية عمل النظام: المهندس «النمطي» (E = 0,50 وV = 0,50) يحصل على 55 نقطة. ويصل المستخدم المتقدم ذو الكفاءة نفسها وحجم استخدام V = 0,95 إلى 60 نقطة. أما المستخدم «كثيف الاستخدام مع إهدار للموارد» (E = 0,27 وV = 0,95) فيحصل على 41 نقطة، بينما يحقق المهندس الدقيق ذو حجم الاستخدام المنخفض (E = 0,75 وV = 0,17) 76 نقطة. ولا يضيف حجم العمل أكثر من خمس النقاط المتبقية للوصول إلى 100، مما يجعل الحصول على تقييم مرتفع بالاعتماد على الحجم وحده أمراً غير ممكن.

أداة Coach والموافقة التلقائية

تتولى أداة Devin Coach فحص الأوامر المدخلة قبل إطلاقها. وقد حددت Cognition الأخطاء الشائعة لدى المستخدمين الجدد: الصياغة شديدة العمومية، واستخدام النمط الأعلى تكلفة افتراضياً، وتضمين مهام غير مترابطة في جلسة واحدة. فعلى سبيل المثال، عند كتابة أمر مثل «أعد كتابة نظام الفوترة ليعتمد على التسعير حسب الاستخدام»، سيقترح Coach وضع خطة عمل أولاً. وفي حال طلب تغيير نص زر معين، سيوصي باستخدام النمط العادي بدلاً من نمط Ultra. وللطلبات المتشعبة، سيقترح فتح جلسة جديدة أو جلسات فرعية، بينما يُذكّر المستخدم بأن الأوامر ذات الطابع الشخصي كالتخطيط للإجازات لا تندرج ضمن الاستخدام المهني.

تعتمد هذه الميزة برمجياً على مصنف LLM صغير مزود بمجموعة محددة من الأنماط، وقد جرى تدريبه على مئات الأمثلة المصنفة مع التركيز على تجنب تعديل الأوامر المصاغة جيداً. ويحدد المشرف مستوى التدخل المطلوب: إرشادات قابلة للتجاهل (وهو الخيار الافتراضي)، أو طلب تأكيد إلزامي للأمر المصنف كجلسة جديدة، أو إيقاف الميزة كلياً. ولا تقوم أداة Coach بإعادة كتابة الأوامر من تلقاء نفسها دون إشعار. كما توفر لوحة تحكم المشرف بيانات تحليلية توضح الإرشادات المعروضة، وتلك التي قبلها المستخدمون أو رفضوها.

تُفعل ميزة الموافقة التلقائية عبر قسم سياسات الاستخدام (Usage policies) من خلال خيار «Approve based on efficiency». وعندما يقترب مهندس حاصل على تصنيف Healthy أو Satisfactory من حده الأقصى، يرفع Devin الحد تلقائياً دون تجاوز السقف الذي حدده المشرف، مع بقاء الحدود الإجمالية للمؤسسة سارية. وإذا تجاوز الطلب هذا السقف، يمنح Devin الحد الأقصى المتاح ويحيل الفارق المتبقي إلى المشرف. ولا يُطبق النظام رفضاً تلقائياً، بل تُحال طلبات الفئتين Needs Improvement وUnknown إلى المراجعة اليدوية، حيث يتاح للمشرف الاطلاع على الأسباب ومستوى الكفاءة ومزيج النماذج ومعدل الاستهلاك.

تستعرض Cognition حالتين واقعيتين من شركتين مختلفتين؛ ففي الأولى التي اعتمدت الموافقة اليدوية، توقف عمل المهندس لمدة أربعة أيام، وهبطت طلبات السحب المدمجة لديه خلال ذلك الأسبوع إلى ثلث المعدل المعتاد. وفي الثانية التي استخدمت الموافقة التلقائية، بلغ المهندس حده الأقصى 22 مرة، ورفع Devin السقف في كل مرة، ليرتفع عدد طلبات السحب المدمجة أسبوعياً لديه من 30 إلى ما يقارب 80. ومع ذلك، لا يمكن اعتبار ملاحظتين بديلاً عن دراسة منهجية، كما تظل ساعات العمل الإنتاجية مجرد تقدير داخلي تعتمده شركة Cognition.

ما الذي يجب على الفرق التحقق منه قبل الاعتماد؟

يجب أولاً مراجعة المعايير التي يستند إليها سقف الاستخدام الحالي؛ فإذا كان رقماً موحداً للجميع، فالأرجح أنه يفرض قيوداً غير مبررة على المستخدمين الأكثر إنتاجية. وفي المقابل، لا ينبغي التسليم بتقييمات Cognition دون تدقيق، بل يتعين مطابقتها مع مؤشرات الأداء الفعلية لديكم، كنسبة طلبات PR التي تنتهي بالدمج وتكلفة وحدات ACU لكل طلب سحب مدمج.

ومن الأفضل تحديد سقف متحفظ للموافقة التلقائية في البداية وتوسيعه تدريجياً وفق البيانات الفعلية. يُنصح أيضاً بتشغيل أداة Coach في وضع تقديم الإرشادات فقط، ومراقبة نسبة التوصيات المقبولة، حيث تشير النسبة المنخفضة إما إلى عدم دقة المصنف أو إلى حاجة الفريق لمزيد من التدريب. ويجب الأخذ في الحسبان أن مستخدمي فئة Needs Improvement سيُحولون إلى قائمة المراجعة اليدوية، ما يتطلب اتفاقاً مسبقاً حول آلية التواصل مع هؤلاء المهندسين والمسؤول عنها.

وتعتزم Cognition خلال الأشهر القادمة توفير نظام مرن للميزانيات، يتيح للمشرف توزيع الاعتمادات المالية على مديري الإدارات، ليتولوا بدورهم تقسيم الحدود بين فرقهم واعتماد الطلبات مباشرةً.