Entrada em amárico no GPT-5 custa 6 vezes mais que em inglês: 78 tokens contra 13

Imagine que você vai lançar um chatbot de suporte e calcula o orçamento primeiro com textos em inglês. Depois entra no mercado da Etiópia, e a mesma resposta ao cliente de repente custa seis vezes mais. A causa está no tokenizador: ele corta o texto em pedaços (tokens), e os provedores de modelos cobram justamente por token, não pelo significado.

A coalizão Coalition for Language Equity in AI Research (CLEAR) publicou o primeiro estudo que mede essa diferença e a batizou de imposto do tokenizador. No tokenizador do GPT-5, a mesma frase ocupa 13 tokens em inglês, 26 em malaiala e 78 em amárico. Os modelos receberam notas de A a F, e o GPT-5 ficou com a pior, F.

Se você desenvolve um produto para além do público anglófono, esses números afetam diretamente a sua conta.

De onde vem o imposto

Os tokenizadores foram treinados principalmente em inglês e em uma dezena de idiomas com muitos recursos. Por isso, palavras em inglês muitas vezes viram tokens inteiros, enquanto textos em idiomas menos representados se desfazem em fragmentos pequenos. O significado é o mesmo, mas há mais tokens, e cada um deles é cobrado.

O amárico tem um motivo específico para a diferença: cada caractere da escrita etíope é dividido em dois tokens de um byte cada. Com isso, a entrada em amárico sai cerca de seis vezes mais cara que a em inglês, com o mesmo conteúdo e quase o mesmo número de caracteres.

As medições usaram o conjunto de frases FLORES-200, e a análise abrangeu 203 pares de idioma e escrita. A métrica principal é a razão entre o número de tokens do idioma mais caro e o do mais barato. Também foi calculado o coeficiente de Gini, uma medida de desigualdade vinda da economia, normalmente usada para descrever a concentração de renda. A escala do CLEAR é a seguinte: até três vezes, A; até seis, B; até nove, C; até doze, D; acima disso, F.

Quem recebeu qual nota

Nos vinte idiomas mais representados na internet, os modelos quase não diferem: a variação vai de 1,5 a 3,1 vezes. O problema aparece quando se olham todos os 200 idiomas. Nesse cenário, só o NLLB-200, modelo de tradução criado desde o início para mais de 200 idiomas, recebeu a nota máxima, A. Gemini e Gemma ficaram com B. O conjunto chinês (Qwen 3, DeepSeek V4.1 Flash e Kimi K3), além de Fable 5, Opus 4.8 e Llama 4 Scout, recebeu D. O GPT-5 ficou com F.

A escrita pesou mais que o número de falantes. Idiomas em alfabeto latino são mais econômicos, mesmo quando pouco difundidos: o asturiano não aparece nos dados do Common Crawl, mas se beneficia do alfabeto latino e do parentesco com as línguas românicas. Os mais prejudicados são birmanês, tibetano, tifinague, khmer, laosiano e ol chiki. O imposto também atinge idiomas grandes: urdu (288 milhões de falantes), bengali (266 milhões) e punjabi (200 milhões).

Não é só o preço

Os autores apontam mais duas consequências desse mesmo excesso de tokens. A primeira é a latência: para o mesmo texto, o modelo processa mais tokens, e a resposta demora mais. A segunda é o contexto útil: nos mesmos 128 mil tokens nominais, um idioma menos comum comporta apenas parte do texto que caberia por inteiro em inglês. Aplicando a proporção de 78 para 13 de forma aproximada, a janela em amárico comportaria cerca de um sexto do volume em inglês. Essa é uma estimativa aritmética nossa; o relatório não traz esse número. Para RAG e documentos longos, isso significa que será preciso dividi-los mais cedo e que mais contexto será perdido com mais frequência.

O que fazer na prática

O CLEAR pede três coisas aos fornecedores: publicar as duas métricas nas fichas dos modelos, incluir a participação dos idiomas no vocabulário da próxima geração de tokenizadores e, como o tokenizador não pode ser trocado antes do treinamento de um novo modelo base, normalizar desde já o preço por caractere.

Para desenvolvedores e product managers, as recomendações são mais simples:

• não calcule o orçamento com base em um protótipo em inglês: passe textos reais pelo tokenizador do modelo escolhido e veja o multiplicador;
• compare provedores não só pelo preço por milhão de tokens, mas também por quantos tokens seu idioma consome;
• reserve margem de latência e de janela de contexto para idiomas com segmentação ineficiente;
• o código do teste está no repositório aberto do projeto e pode ser executado em outros modelos.

Esta é apenas a primeira parte do trabalho: ela mede o número de tokens em frases curtas, não a qualidade das respostas. O CLEAR promete publicar mais tarde a continuação, sobre a igualdade de qualidade entre idiomas.