Codex في اختبار بالروسية توقف عن البحث في الإنترنت وانخفض نجاحه من 100% إلى 0%

تطلبون من الوكيل إصلاح تصدير تمرين إلى ساعة رياضية. يغيّر الحقول ويضع قيم النبض ويعرض تصحيحًا أنيقًا. لكن الساعة لا تفهم هذه الصيغة. الجواب الصحيح موجود في أحد المنتديات، والوكيل لم يلقِ نظرة عليه حتى. في تجربة نُشرت على Habr ظهر هذا السلوك بعد ترجمة المهمة من الإنجليزية إلى الروسية. الخلاصة العملية بسيطة: عند ظهور إصلاحات غريبة، من المفيد فحص سجل الرجوع إلى المصادر وتزويد الوكيل بالخصائص المعروفة للمشروع.

أرادت الباحثة معرفة ما إذا كانت لغة المهمة تؤثر في عمل الوكلاء، وهل يلزم ترجمة القصص من مشروعها worklore، وهو مكتبة لحالات هندسية محلَّلة. بلغ المجموع 1350 تشغيلًا: ست مهام، وتسع تهيئات للوكلاء، وخمسة أنماط لتقديم المهمة، وخمس تكرارات لكل توليفة. هذه تجربة صغيرة من إعداد مؤلفتها، لكنها تُظهر خللًا يسهل تفويته في العمل المعتاد.

أين بدأ الوكيل بالتخمين

أوضح الحالات هي صيغة نطاق النبض في تمرين لساعة Garmin. وفق شروط التجربة، كانت الخاصية المطلوبة موصوفة في منتدى وغائبة عن التوثيق. وعندما كانت المهمة بالإنجليزية، كان Codex بمستوى استدلال منخفض يبحث عن الصيغة في الإنترنت في كل مرة، ونجح في المحاولات الخمس جميعها.

بعد ترجمة المهمة إلى الروسية لم يلجأ الوكيل نفسه إلى الإنترنت ولو مرة. وبدلًا من التحقق، جرّب تعديلات معقولة: حذف الهدف المنظَّم، والانتقال إلى قيم نبض مطلقة، وإضافة حقول جديدة بجانب المفتاح القديم. وكان عدد المحاولات الناجحة صفرًا. أي انخفاض من 100% إلى 0%، لكن وراء كل نسبة خمس تشغيلات فقط.

وظهرت صورة مشابهة لدى Kimi K3.1 في مهمة تتعلق بخصائص مزوّد OAuth. أعطت النسخة الإنجليزية خمسة حلول ناجحة من خمسة، والروسية لم تعطِ أي حل. كان الوكيل يتخطى البحث ويُبقي افتراضات خاطئة بشأن معلمات الوصول ومدة صلاحية الرمز. ولم تتحقق الباحثة من سبب تأثير اللغة في قرار استخدام الأداة.

المعلومة الصحيحة كانت أنفع من الترجمة

إضافة ملاحظة عن حالة مشابهة أزالت جزءًا كبيرًا من المشكلات. فمثلًا، إذا كان المزوّد يصدر رموزًا بلا مدة انتهاء، فمن المفيد إبلاغ الوكيل بهذه الخاصية مباشرة. عندها لا يضطر إلى استنتاج سلوك خدمة بعينها من تصورات عامة عن OAuth.

في أربع مهام احتوت فيها الملاحظة على المعلومة الناقصة، ارتفعت نسبة النجاح من 47% إلى 94% للمهام الإنجليزية، ومن 35% إلى 92% للمهام الروسية. وفي مهمتين ضابطتين كانت الإجابة موجودة أصلًا في التوثيق أو في السجل، وكانت الزيادة صغيرة. وهذا يدعم فكرة عملية تمامًا: حفظ خصائص التكامل التي اكتشفها الفريق وتمريرها إلى الوكيل مع المهمة.

أما ترجمة الملاحظة نفسها فلم تغيّر شيئًا تقريبًا. ومع المهمة الروسية أعطت النسخة الروسية نحو نقطتين مئويتين إضافيتين من الحلول الناجحة، لكن مجال عدم اليقين شمل انعدام الأثر. وبقيت المعرّفات والمسارات ورسائل الأخطاء بالإنجليزية في الحالتين. وفي هذا النوع من الذاكرة التقنية، كانت التفاصيل الدقيقة أهم من لغة العرض.

ما الذي ينبغي فحصه في عمليتكم

من المبكر وفق هذه البيانات إعلان اللغة الروسية سببًا لضعف عمل الوكلاء. فهناك ست مهام أُعدت خصيصًا فقط، ولغة واحدة غير إنجليزية، وخمس تكرارات لكل توليفة. كما قورنت تهيئات كاملة: النموذج والغلاف والأدوات المتاحة. ولا يمكن نقل النتيجة تلقائيًا إلى إصدارات أو إعدادات أخرى.

وهناك قيد إضافي: في جزء من التشغيلات وجد الوكلاء عبر البحث القصص المنشورة لمشروع worklore نفسه. وهذا غيّر السياق المتاح لهم. وأعادت الباحثة حساب النتائج العامة منفصلةً بدون هذه التشغيلات؛ وبقيت الملاحظة الأساسية، لكن لم تعد هناك مقارنة نظيفة لبعض توليفات النموذج والمهمة.

يحسن بالمطوّر أن يختار مشكلة مألوفة تتطلب مصدرًا خارجيًا، وأن يشغّلها عدة مرات بلغتين. والمهم النظر إلى استدعاءات الأدوات ونتيجة فحص الشيفرة. وإذا تكرر تخطي البحث، يمكن المطالبة صراحةً بالتحقق من المصدر وإعادة المقارنة. والأفضل إرفاق المعلومة المعروفة بالمهمة فورًا مع رابط أو مقتطف. أما مدير المنتج الذي يقيّم وكيلًا لفريقه، فمن المفيد أن يُدخل لغة المهام العملية في الفحص: تطابق معنى الطلب لا يضمن تطابق مسار الحل.