Escribir en amárico en GPT-5 cuesta 6 veces más que en inglés: 78 tokens frente a 13

Imagine que lanza un chatbot de soporte y calcula primero el presupuesto con textos en inglés. Después entra en el mercado de Etiopía y la misma respuesta al cliente cuesta de repente seis veces más. La causa está en el tokenizador: corta el texto en fragmentos (tokens), y los proveedores de modelos cobran precisamente por tokens, no por significado.

La coalición Coalition for Language Equity in AI Research (CLEAR) ha publicado el primer estudio que mide esta diferencia y la llama «impuesto del tokenizador». Una misma frase ocupa en el tokenizador de GPT-5 13 tokens en inglés, 26 en malayalam y 78 en amárico. Los modelos recibieron notas de la A a la F, y GPT-5 obtuvo la peor: F.

Si desarrolla un producto que no se dirige solo a usuarios anglófonos, estas cifras afectan directamente a su factura.

De dónde viene el impuesto

Los tokenizadores se entrenaron sobre todo con inglés y una decena de idiomas con muchos recursos. Por eso las palabras inglesas suelen quedar como tokens enteros, mientras que el texto en idiomas menos representados se desmenuza en fragmentos pequeños. El significado es el mismo, pero hay más tokens, y se paga por cada uno.

El amárico tiene una razón particular para esa brecha: cada carácter de la escritura etíope se divide en dos tokens de un byte cada uno. El resultado es que escribir en amárico sale aproximadamente seis veces más caro que en inglés, con el mismo contenido y casi el mismo número de caracteres.

Las mediciones se hicieron con el conjunto de frases FLORES-200 y el análisis abarcó 203 pares de idioma y escritura. La métrica principal es la relación entre el número de tokens del idioma más caro y el del más barato. Además, los autores calcularon el coeficiente de Gini, una medida de desigualdad que se usa en economía y con la que suele describirse la estratificación de los ingresos. La escala de CLEAR es esta: hasta 3 veces, A; hasta 6, B; hasta 9, C; hasta 12, D; por encima, F.

Quién obtuvo qué nota

En los veinte idiomas más representados en internet, los modelos apenas se diferencian: la dispersión va de 1,5 a 3,1 veces. El problema aparece al considerar los 200 idiomas. Allí solo obtuvo la nota máxima, A, el modelo de traducción NLLB-200, diseñado desde el principio para más de 200 idiomas. Gemini y Gemma recibieron una B. La pila china (Qwen 3, DeepSeek V4.1 Flash y Kimi K3), además de Fable 5, Opus 4.8 y Llama 4 Scout, obtuvo una D. GPT-5, una F.

La escritura resultó ser más importante que el número de hablantes. Los idiomas que usan alfabeto latino salen más baratos incluso cuando tienen poca difusión: el asturiano no aparece en los datos de Common Crawl, pero se beneficia del alfabeto latino y de su parentesco con las lenguas romances. Los más perjudicados son el birmano, el tibetano, el tifinagh, el jemer, el laosiano y el ol chiki. También pagan el impuesto idiomas grandes: el urdu (288 millones de hablantes), el bengalí (266 millones) y el panyabí (200 millones).

Más allá del precio

Los autores señalan otras dos consecuencias del mismo aumento en el número de tokens. La primera es la latencia: el modelo procesa más tokens para el mismo texto y la respuesta tarda más. La segunda es el contexto útil: en los mismos 128 000 tokens nominales, en un idioma poco común cabe solo una parte del texto que en inglés entraría completo.

Si se traslada de forma aproximada la proporción de 78 a 13, en amárico la ventana admitiría más o menos una sexta parte del volumen en inglés. Es una estimación aritmética nuestra; el informe no ofrece esa cifra. Para RAG y documentos largos, esto implica que habrá que trocearlos antes y que se perderá contexto con más frecuencia.

Qué hacer en la práctica

CLEAR pide a los proveedores tres cosas: publicar ambas métricas en las fichas de los modelos, incluir la proporción de idiomas en el vocabulario de la próxima generación de tokenizadores y, dado que el tokenizador no se puede cambiar hasta entrenar un nuevo modelo base, normalizar ya el precio por caracteres.

Para desarrolladores y responsables de producto, los consejos son más sencillos:

• no calcule el presupuesto a partir de un prototipo en inglés: pase textos reales por el tokenizador del modelo que le interesa y compruebe el multiplicador;
• compare proveedores no solo por el precio por millón de tokens, sino también por cuántos tokens consume su idioma;
• prevea margen en latencia y ventana de contexto para los idiomas con una segmentación ineficiente;
• el código de la prueba está en el repositorio abierto del proyecto y puede ejecutarse con otros modelos.

Esta es solo la primera parte del trabajo: mide el número de tokens en frases cortas, no la calidad de las respuestas. CLEAR promete publicar más adelante la continuación sobre la igualdad de calidad entre idiomas.