Ввод на амхарском в GPT-5 обходится в 6 раз дороже английского: 78 токенов против 13

Представьте, что вы запускаете чат-бота поддержки и сначала считаете бюджет на английских текстах. Потом выходите на рынок Эфиопии, и тот же ответ клиенту внезапно стоит в шесть раз больше. Причина в токенизаторе: он режет текст на кусочки (токены), а провайдеры моделей берут деньги именно за токены, а не за смысл. Коалиция Coalition for Language Equity in AI Research (CLEAR) опубликовала первое исследование, где эту разницу измерили и назвали налогом на токенизатор. Одна и та же фраза в токенизаторе GPT-5 занимает 13 токенов по-английски, 26 на малаялам и 78 на амхарском. Модели получили оценки от A до F, а GPT-5 получил худшую — F. Если вы делаете продукт не только для англоязычных пользователей, эти цифры напрямую влияют на ваш счёт.

Откуда берётся налог

Токенизаторы обучали в основном на английском и десятке высокоресурсных языков. Поэтому английские слова часто остаются целыми токенами, а текст на менее представленных языках рассыпается на мелкие фрагменты. Смысл тот же, а токенов больше, и платить приходится за каждый.

У амхарского языка есть особая причина разрыва: каждый знак эфиопского письма разбивается на два токена по одному байту. В итоге ввод на амхарском выходит примерно в шесть раз дороже английского при том же содержании и почти том же числе символов.

Замеры проводили на наборе фраз FLORES-200, в анализ вошли 203 пары языка и письменности. Главная метрика — отношение числа токенов у самого дорогого языка к самому дешёвому. Дополнительно считали коэффициент Джини — меру неравномерности из экономики, которой обычно описывают расслоение доходов. Шкала CLEAR такая: до трёх раз — A, до шести — B, до девяти — C, до двенадцати — D, выше — F.

Кто какую оценку получил

На двадцати самых представленных в интернете языках модели почти не различаются: разброс составляет от 1,5 до 3,1 раза. Проблема видна на всех 200 языках. Высшую оценку A там получила только переводческая NLLB-200, которую с самого начала собирали под 200+ языков. Gemini и Gemma получили B. Китайский стек (Qwen 3, DeepSeek V4.1 Flash и Kimi K3), а также Fable 5, Opus 4.8 и Llama 4 Scout получили D. GPT-5 — F.

Письменность оказалась важнее числа говорящих. Языки на латинице экономнее даже при малом распространении: астурийского нет в данных Common Crawl, но он выигрывает от латиницы и родства с романскими языками. Хуже всего приходится бирманскому, тибетскому, тифинагу, кхмерскому, лаосскому и ол-чики. Налог платят и крупные языки: урду (288 млн говорящих), бенгальский (266 млн) и панджаби (200 млн).

Не только цена

Авторы называют ещё два следствия от того же раздутого числа токенов. Первое — задержка: на тот же текст модель считает больше токенов, и ответ приходит дольше. Второе — полезный контекст: в те же номинальные 128 тысяч токенов на редком языке влезает лишь часть текста, который по-английски поместился бы целиком. Если грубо перенести соотношение 78 к 13, на амхарском в окно войдёт примерно шестая часть английского объёма. Это наша арифметическая прикидка, в отчёте такой цифры нет. Для RAG и длинных документов это значит, что их придётся резать раньше, а часть контекста терять чаще.

Что делать на практике

CLEAR просит вендоров три вещи: публиковать обе метрики в карточках моделей, закладывать долю языков в словарь следующего поколения токенизаторов и, поскольку токенизатор нельзя поменять до обучения новой базовой модели, уже сейчас нормировать цену по символам.

Разработчикам и продактам советы проще:

• не считайте бюджет по английскому прототипу — прогоните реальные тексты через токенизатор нужной модели и посмотрите множитель;
• сравнивайте провайдеров не только по цене за миллион токенов, но и по тому, сколько токенов уходит на ваш язык;
• закладывайте запас по задержке и контекстному окну для языков с неэффективной разбивкой;
• код теста лежит в открытом репозитории проекта, его можно запустить на других моделях.

Это только первая часть работы: она измеряет число токенов на коротких фразах, а не качество ответов. Продолжение про равенство качества по языкам CLEAR обещает опубликовать позже.