En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

Por qué GPT se equivoca al contar letras: el secreto de la tokenización

Los LLM procesan el texto como una secuencia de tokens numéricos, no como letras individuales. Eso explica una paradoja curiosa: GPT puede confundirse fácilmente al contar las letras de palabras como strawberry. Entender la tokenización es clave para escribir prompts más eficaces, anticipar con precisión el comportamiento extraño de los modelos, optimizar la ventana de contexto y trabajar con textos multilingües.

Procesado por IA desde Habr AI; editado por Hamidun News
Por qué GPT se equivoca al contar letras: el secreto de la tokenización
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Errores al contarGPT no puede contar letras sin más, porque trabaja con números y no con caracteres
Ilegibilidad de las palabras raraslas combinaciones de letras poco comunes se dividen en varios tokens y el modelo las ve como fragmentos separados
Asimetría entre idiomasel inglés se tokeniza de forma más eficiente que el ruso, el chino o el árabe
Por qué GPT se equivoca al contar letras: el secreto de la tokenización
Video destacado / Demo
Haz clic para reproducir el video original o lee el análisis completo a continuación.Ver en YouTube ↗

Cuando escribes un prompt en ChatGPT, ves texto normal formado por letras. Pero el modelo ve algo muy distinto: una secuencia de números llamados tokens. Esa discrepancia provoca efectos extraños. GPT puede no saber cuántas letras tiene la palabra strawberry o confundirse en un conteo sencillo.

Cómo ven el texto los LLM

Para una red neuronal, el texto no es un conjunto de letras, sino una secuencia de códigos numéricos. Cada token corresponde a un número, y el modelo trabaja solo con números, sin ver nunca la letra en sí. Es como leer un libro a través de un sistema que primero convierte las palabras en códigos; tú procesas esos códigos y después vuelven a convertirse en texto.

Una palabra frecuente puede ser un único token, mientras que una palabra rara se divide en varios fragmentos. Por ejemplo, «hello» se codifica con un solo número, mientras que «strawberry» puede ocupar tres o cuatro. En ruso la situación es aún más complicada: su rica morfología hace que las palabras se dividan de forma menos eficiente.

Por qué esto genera problemas

La diferencia entre cómo ven el texto las personas y cómo lo ve el modelo provoca toda una serie de inconvenientes:

  • Errores al contar: GPT no puede contar letras sin más, porque trabaja con números y no con caracteres
  • Ilegibilidad de las palabras raras: las combinaciones de letras poco comunes se dividen en varios tokens y el modelo las ve como fragmentos separados
  • Asimetría entre idiomas: el inglés se tokeniza de forma más eficiente que el ruso, el chino o el árabe
  • Consumo de contexto: si una palabra se divide en 3 tokens en lugar de 1, tu prompt ocupa más espacio en la ventana de contexto
  • Comportamiento impredecible: el modelo puede comportarse de forma extraña con números, códigos y nombres poco comunes, porque están troceados

El algoritmo entre bastidores

Detrás de la tokenización está el algoritmo Byte Pair Encoding (BPE). Funciona así: primero, el texto se divide de modo que cada carácter sea un token independiente. Después, el algoritmo busca qué pares de caracteres aparecen con más frecuencia y los fusiona en un nuevo token. A continuación busca los pares más frecuentes entre los tokens resultantes y vuelve a fusionarlos. El proceso se repite miles de veces.

Como resultado, el vocabulario de GPT contiene unos 50 mil tokens. Las palabras y fragmentos de palabras frecuentes son tokens propios; las combinaciones de letras raras quedan fragmentadas. No es perfecto, pero resulta más eficiente que codificar cada letra por separado.

Qué significa esto

Entender la tokenización cambia la forma de trabajar con los LLM. Si sabes que el modelo se confundirá al contar letras, puedes pedirle que lo haga de otra manera: por ejemplo, que primero escriba las letras por separado y luego las cuente. No es una panacea, pero ayuda a escribir prompts más fiables.

Conocer la tokenización también resulta útil para optimizar prompts largos: puedes prever dónde el modelo «desperdiciará» tokens. Es importante para cualquiera que trabaje a fondo con LLM, desde los ingenieros de prompts hasta los desarrolladores de aplicaciones basadas en redes neuronales.

Historia

Preguntas frecuentes sobre la noticia

Cómo ven el texto los LLM?

Para una red neuronal, el texto no es un conjunto de letras, sino una secuencia de códigos numéricos. Cada token corresponde a un número, y el modelo trabaja solo con números, sin ver nunca la letra en sí. Es como leer un libro a través de un sistema que primero convierte las palabras en códigos; tú procesas esos códigos y después vuelven a convertirse en texto. Una palabra frecuente puede ser un único token, mientras que una palabra rara se divide en varios fragmentos.

¿Qué se sabe sobre Por qué esto genera problemas?

La diferencia entre cómo ven el texto las personas y cómo lo ve el modelo provoca toda una serie de inconvenientes: Errores al contar: GPT no puede contar letras sin más, porque trabaja con números y no con caracteres Ilegibilidad de las palabras raras: las combinaciones de letras poco comunes se dividen en varios tokens y el modelo las ve como fragmentos separados Asimetría entre idiomas: el inglés se tokeniza de forma más eficiente que el ruso, el chino o el árabe Consumo de contexto: si una…

¿Qué se sabe sobre El algoritmo entre bastidores?

Detrás de la tokenización está el algoritmo Byte Pair Encoding (BPE). Funciona así: primero, el texto se divide de modo que cada carácter sea un token independiente. Después, el algoritmo busca qué pares de caracteres aparecen con más frecuencia y los fusiona en un nuevo token. A continuación busca los pares más frecuentes entre los tokens resultantes y vuelve a fusionarlos. El proceso se repite miles de veces. Como resultado, el vocabulario de GPT contiene unos 50 mil tokens.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…