ttok 1.0 ينتقل إلى مُجزِّئ GPT-5/6: سبعة نماذج تعطي 44 794 رمزًا

أصدر سايمون ويليسون ttok 1.0، وهي أداة سطر أوامر لعدّ الرموز، وصارت تستخدم افتراضيًا مُجزِّئ عائلة GPT-5/GPT-6 بدل مُجزِّئ GPT-4. كان السبب أمرًا بسيطًا. فقد أصدر المطوّر ttok 0.4، وحدّث الأداة بالأمر `uv tool upgrade ttok`، ثم مرّر ملفًا عبر النسخة الجديدة، فرأى أنها تعدّ الرموز وفق مخطط الجيل السابق. وقرر أن يُصدر تصحيح الإعداد الافتراضي كإصدار رئيسي. ويشير ويليسون إلى اختبار مستقل يُظهر أن سبعة نماذج من OpenAI أحصت العدد نفسه، 44 794 رمزًا، على 31 ملف اختبار.

لماذا تغيّر الإعداد الافتراضي

عدّ الرموز حاجة دائمة. فبه تُقدَّر تكلفة الطلب، ويُتحقق من أن المستند يتّسع في نافذة السياق، وتُقصّ النصوص الطويلة قبل إرسالها إلى النموذج. وتؤدي ttok هذه المهمة من سطر الأوامر: تُدخل النص وتحصل على رقم. وإذا كان مُجزِّئ GPT-4 مضمّنًا في الأداة، فإن الأرقام تبتعد عن الواقع. الخطأ صغير، لكنه يتراكم عند حساب ميزانية آلاف الطلبات.

ويقرّ ويليسون بأن 1.0 شكلي جزئيًا، فهو فرصة مناسبة لوضع رقم إصدار مستدير أخيرًا. لكن تغيير السلوك الافتراضي يكسر فعلًا التوافق مع الإصدارات السابقة، لذلك فالرقم الرئيسي مناسب هنا.

ماذا أظهرت تجربة وليام ليو

ليس لدى ويليسون يقين بأن GPT-6 يستخدم المُجزِّئ نفسه الذي يستخدمه GPT-5. وOpenAI لم تؤكد ذلك. وفي مستودع tiktoken توجد issue رقم 608 يصفها المطوّر بأنها «غاضبة»، إذ يطالب المستخدمون بالوضوح. وجاء رد غير مباشر من وليام ليو. ففي commit ضمن مستودع token-count-compare وصف تجربة على سبعة نماذج:

• GPT-5.5؛
• GPT-5.6 بنسخ Sol وTerra وLuna؛
• GPT-6 بنسخ Astra وSol وLuna.

النتائج بحسب ليو:

• أعادت النماذج السبعة كلها 44 794 رمزًا؛
• تطابقت النتائج على كل ملف من ملفات الاختبار الـ31؛
• لم يغيّر GPT-6 عدّ رموز الإدخال على هذه المجموعة من الملفات.

وعلى هذا الأساس رأى ويليسون أن من المعقول جعل GPT-5/GPT-6 الخيار الافتراضي.

أين الإشكال

يبقى الدليل غير مباشر. فهو مقارنة لعدّادات رموز الإدخال على مجموعة واحدة من 31 ملفًا، وليس نشرًا للمعجم وقواعد التجزئة. وتطابق المجاميع والقيم لكل ملف على مجموعة كهذه يرجّح بقوة وجود مُجزِّئ مشترك، لكن لا يمكن حتى الآن استبعاد اختلافات في اللغات النادرة أو الترميز غير المألوف أو التسلسلات الطويلة. وما دامت OpenAI صامتة، يبقى الاستنتاج فرضية عمل.

كما ينبغي مراعاة الفرق بين رموز الإدخال ورموز الإخراج. فاختبار ليو يخص عدّ الإدخال تحديدًا، ولا يقول شيئًا عن سلوك النماذج أثناء التوليد.

كيف تطبّق ذلك الآن

إذا كانت ttok مثبّتة لديك عبر uv، فحدّثها بالأمر `uv tool upgrade ttok`. بعد ذلك سيجري العدّ افتراضيًا وفق مخطط GPT-5/GPT-6. وإذا كنت قد وضعت ميزانيات أو حدودًا للسياق اعتمادًا على أرقام GPT-4، فأعد حسابها، إذ قد تتغير النتيجة على النصوص نفسها. ومن الأفضل فحص السكربتات التي اعتمدت على الإعداد الافتراضي القديم. وإذا كانت الدقة حاسمة بالنسبة إليك، فقارن تقدير ttok بحقل usage في ردود API على عدة مستندات حقيقية. وينبغي انتظار رد OpenAI على issue رقم 608 قبل اعتبار المسألة محسومة.