ttok 1.0 переключился на токенизатор GPT-5/6: семь моделей дали 44 794 токена

Саймон Уиллисон выпустил ttok 1.0. Это консольная утилита для подсчёта токенов, и теперь по умолчанию она использует токенизатор семейства GPT-5/GPT-6, а не GPT-4. Поводом стала мелочь. Автор выпустил ttok 0.4, обновился командой `uv tool upgrade ttok`, пропустил через новую версию файл и увидел, что инструмент считает токены по схеме предыдущего поколения. Исправление дефолта он решил оформить как мажорный релиз. Независимый тест, на который ссылается Уиллисон, показывает: семь моделей OpenAI насчитали одни и те же 44 794 токена на 31 тестовом файле.

Зачем менялся дефолт

Подсчёт токенов нужен постоянно. По нему оценивают стоимость запроса, проверяют, влезает ли документ в контекстное окно, и режут длинные тексты перед отправкой в модель. ttok делает это из командной строки: подаёшь текст на вход и получаешь число. Если в инструменте зашит токенизатор GPT-4, цифры расходятся с реальностью. Ошибка небольшая, но когда считаешь бюджет на тысячи запросов, она накапливается.

Уиллисон признаёт, что 1.0 отчасти формальность: хороший повод наконец поставить круглый номер версии. Но смена поведения по умолчанию действительно ломает обратную совместимость, так что мажорный номер здесь уместен.

Что показал эксперимент Уильяма Лю

Уверенности, что GPT-6 использует тот же токенизатор, что и GPT-5, у Уиллисона нет. OpenAI этого не подтверждала. В репозитории tiktoken есть issue №608, которую автор называет «сердитой»: пользователи требуют ясности. Косвенный ответ дал Уильям Лю. В коммите в репозитории token-count-compare он описал эксперимент с семью моделями:

• GPT-5.5;
• GPT-5.6 в вариантах Sol, Terra и Luna;
• GPT-6 в вариантах Astra, Sol и Luna.

Итоги, по словам Лю:

• все семь моделей вернули 44 794 токена;
• результаты совпали на каждом из 31 тестового файла;
• GPT-6 не изменил подсчёт входных токенов на этом корпусе.

На основании этого Уиллисон и счёл разумным сделать GPT-5/GPT-6 дефолтом.

Где подвох

Доказательство остаётся косвенным. Это сравнение счётчиков входных токенов на одном наборе из 31 файла, а не публикация словаря и правил разбиения. Совпадение сумм и пофайловых значений на таком корпусе сильно говорит в пользу общего токенизатора, но расхождение на редких языках, экзотической разметке или длинных последовательностях пока исключить нельзя. Пока OpenAI молчит, вывод остаётся рабочей гипотезой.

Стоит учитывать и разницу между токенами на входе и на выходе. Тест Лю касается именно подсчёта входа. О том, как модели ведут себя при генерации, он ничего не говорит.

Как применять уже сейчас

Если ttok стоит у вас через uv, обновитесь командой `uv tool upgrade ttok`. После этого счёт по умолчанию пойдёт по схеме GPT-5/GPT-6. Если вы закладывали бюджеты или лимиты контекста на цифрах от GPT-4, пересчитайте их: на тех же текстах результат может измениться. Скрипты, которые полагались на старый дефолт, лучше проверить. Если для вас критична точность, сверяйте оценку ttok с полем usage в ответах API на нескольких реальных документах. А ответа от OpenAI по issue №608 стоит ждать, прежде чем считать вопрос закрытым.