Simon Willison يطلق ttok 0.4: عدّاد الرموز يحصل على الأمر --list-models

أصدر Simon Willison الإصدار ttok 0.4، وهو أول تحديث لعدّاده المخصص للرموز في سطر الأوامر منذ نحو عامين. يتضمن الإصدار ثلاثة تغييرات: إصلاح تحذير مكتبة Click، وتحديث CI، وإضافة الأمر --list-models الذي يعرض قائمة النماذج المتاحة. وما زالت المكتبة الأساسية هي tiktoken، مكتبة OpenAI المفتوحة المصدر لتجزئة النصوص إلى رموز. الإصدار صغير، لكنه يعيد إلى العمل إحدى أبسط الأدوات للتعامل مع نافذة السياق وميزانية الطلبات.

ما الذي تغيّر في 0.4

التحديث تقني في معظمه. كان تحذير Click يظهر عند تشغيل الأداة ويشوّش على المخرجات، وقد أُصلح الآن. كما رتّب المطوّر إعدادات CI، أي عملية البناء والفحص الآلية للمشروع. وبعد عامين من التوقف تكتسب هذه الخطوة أهمية: فالأداة تُبنى وتُختبر الآن في بيئة حديثة، ولا تعتمد على إعدادات مضى عليها زمن طويل.

الميزة الجديدة الوحيدة في الإصدار هي الخيار --list-models. فهو يعرض النماذج التي يستطيع ttok عدّ رموزها. في السابق كان لا بد من مطابقة اسم النموذج مع الوثائق أو مع شيفرة tiktoken. أما الآن فيمكن الحصول على القائمة مباشرة من الطرفية.

كيف يجري التشغيل

يعمل ttok مع uvx، أي مع تشغيل أدوات Python عبر uv في بيئة معزولة مؤقتة. ولا حاجة إلى تثبيت الحزمة مسبقًا. يبدو عدّ الرموز في أي نص على النحو التالي:

``` cat file.txt | uvx ttok ```

يصل النص عبر الإدخال القياسي، والناتج هو عدد الرموز. هذه الصيغة تنسجم جيدًا مع خطوط الأنابيب (pipelines) في unix: إذ يمكن تمرير مخرجات أي أمر آخر إلى ttok، سواء كانت سجلًّا أو نسخة كاملة من مستودع أو نتيجة بحث في المستندات.

باختصار عن الإصدار

• الإصدار: ttok 0.4، ونُشر على GitHub.
• المطوّر: Simon Willison.
• الأساس: مكتبة tiktoken المفتوحة المصدر من OpenAI.
• الأمر الجديد: --list-models، لعرض قائمة النماذج المتاحة.
• الإصلاحات: تحذير Click وتحديث CI.
• التشغيل دون تثبيت: عبر uvx.
• التحديث السابق: قبل نحو عامين.

أين تفيد هذه الأداة

تحدد الرموز أمرين عمليين: مقدار النص الذي يتسع في نافذة سياق النموذج، وتكلفة الطلب. أما التقدير «بالعين» استنادًا إلى عدد الأحرف أو الكلمات فكثيرًا ما يخطئ. ويظهر ذلك خصوصًا في الشيفرة البرمجية وJSON والجداول والنصوص بغير الإنجليزية، حيث يزيد عدد الرموز عادةً عمّا يتوقعه المرء. أما العدّ المحلي بواسطة tokenizer حقيقي فيعطي رقمًا دقيقًا دون الاتصال بـ API.

السيناريوهات المعتادة بسيطة. التحقق قبل إرسال ملف كبير إلى النموذج من أنه يتسع في النافذة. تقدير تكلفة المعالجة الدفعية لمجموعة مستندات. مقارنة مدى قِصَر الـ prompt بعد تنقيحه. إدراج فحص الطول في سكربت أو في pre-commit hook، حتى لا يصل سياق أطول من اللازم إلى الطلب.

يعود القيد إلى أساس الأداة. فمكتبة tiktoken تصف مُجزّئات OpenAI. أما بالنسبة إلى نماذج المطوّرين الآخرين، الذين لهم قواميس رموز خاصة بهم، فستكون النتيجة تقريبية، والأفضل أخذ الأرقام الدقيقة من المزوّد. وللحصول على تقدير لمرتبة الحجم يكفي ذلك عادةً.

إذا لم تحتج إلى ttok إلا من حين إلى آخر، فليس من الضروري تثبيته: يكفي uvx وسطر واحد في الطرفية. أما إذا كنت تستخدمه بانتظام، فسيوفّر عليك الأمر --list-models عناء البحث في الوثائق عن الاسم الصحيح للنموذج.