Anthropic تطلق Message Threads: بدء الاستجابة أسرع بنسبة 35% في الجلسات الطويلة

يعرف كل من بنى وكيلا يعتمد على سياق طويل هذه المعاناة: تكبر الجلسة، وتبدأ كل خطوة جديدة بفترة انتظار. لم يقل النموذج أي شيء بعد، لكنك تكون قد أرسلت بالفعل عبر الشبكة مئات الآلاف من توكنات السجل. أطلقت Anthropic ميزة Message Threads لإزالة هذه الفترة تحديدا.

ما الذي تغير

كانت الآلية سابقا بسيطة، لكنها غير مريحة. في كل خطوة، كان العميل يجمع الحوار بأكمله، بما يشمل موجه النظام ونتائج الأدوات والرسائل السابقة، ثم يرسله دفعة واحدة. وكلما ازداد حجم السجل، طال زمن الوصول إلى أول توكن.

بات طلب API يتضمن الآن المعامل thread. تُرسل مصفوفة البيانات الكاملة مرة واحدة، وبعد ذلك لا يرسل العميل سوى الرسائل الجديدة ومعرّف الاستجابة السابقة. وبين الطلبات، تحتفظ Anthropic بالسياق مشفرا في ذاكرة الوصول العشوائي. ويظل مسار المحادثة فعالا لمدة خمس دقائق بعد آخر طلب، ثم يجب إعادة إرسال السجل.

وفقا لبيانات الشركة، ينخفض انتظار بدء الاستجابة بنسبة 35% في المتوسط لدى الوكلاء والجلسات التي يتراوح حجمها بين 500 ألف ومليون توكن. والنسخة التجريبية العامة متاحة على منصة Claude وفي AWS وMicrosoft Foundry وGoogle Cloud.

كيف يبدو ذلك عمليا

تخيل وكيلا برمجيا يحلل مستودعا كبيرا. قرأ الوكيل 40 ملفا، وشغل الاختبارات، وحصل على السجلات، وأصبح السياق يشغل الآن 600 ألف توكن. في السابق، كان كل استدعاء لاحق لأداة يعني إعادة إرسال جميع التوكنات البالغ عددها 600 ألف. أما الآن، فيرسل الوكيل رسالة قصيرة مثل «هذه نتيجة الاختبار الأخير»، إلى جانب معرّف الاستجابة السابقة. وهكذا ينخفض العبء على الشبكة وعلى عملية إعداد الطلب، ويرى المستخدم الاستجابة في وقت أبكر.

ثمة تنبيه مهم: لا يؤثر ذلك في الفاتورة. لا يزال النموذج يعالج الحجم الكامل، ولذلك تُحتسب التوكنات كما في السابق. هذا تحسين لزمن الاستجابة، وليس وسيلة لتوفير الميزانية. إذا كانت مشكلتك الأساسية هي التكلفة، فانظر إلى التخزين المؤقت للموجهات وضغط السياق، لا إلى Threads.

القيود وما ينبغي فعله

المأخذ الرئيسي هو نافذة الدقائق الخمس. وهي كافية لوكيل تفاعلي يعمل بصورة متواصلة. أما في محادثة يغادر فيها المستخدم لتناول الغداء، فستنتهي صلاحية المسار، وسيصبح أول طلب بعد الانقطاع ثقيلا من جديد. لذلك يجب أن يكون كود العميل قادرا على إعادة بناء السجل الكامل: احتفظ به لديك، واستخدم thread كأداة تسريع لا كمصدر للحقيقة.

هناك نقطة أخرى: الميزة لا تزال تجريبية. لا تجعلها مسار التنفيذ الوحيد قبل التحقق من سلوكها عند انتهاء صلاحية المسار وحدوث الأخطاء. تتمثل الخطة المعقولة في تفعيل thread ضمن سيناريو واحد لوكيل، وقياس زمن الوصول إلى أول توكن في جلسات حقيقية، ثم مقارنة النتيجة بنسبة التحسن الموعودة البالغة 35%. هذا الرقم متوسط؛ وسيكون المكسب أقل في المحادثات القصيرة.

أخبار أخرى ذات صلة

ظهرت في اليوم نفسه أخبار أخرى يجدر وضعها في الحسبان. وفقا لصحيفة FT، تطالب Nvidia مشغلي مراكز البيانات بصورة غير رسمية بألا يشغل العملاء من الصين أكثر من 49% من القدرات المؤجرة بموجب العقود الجديدة. إذا كنت تستأجر وحدات GPU من مزودي خدمات سحابية صغار، فتوقع أسئلة عن تركيبة عملائك وتحولات محتملة في مدى توافر الموارد.

رفعت OpenAI قيمة المكافأة الأساسية للثغرات الحرجة في ChatGPT وCodex إلى 30 ألف دولار، بينما يصل الحد الأقصى مع المكافآت الإضافية إلى 172 ألف دولار. وبالنسبة إلى الفرق التي تبني منتجات فوق هذه الخدمات، فهذه إشارة واضحة: يجري فحص سطح الهجوم بجدية، وينبغي لكم أن تفعلوا الشيء نفسه.