BPE contra morfemas: por qué tu IA todavía no sabe leer

Imagina que estudias un idioma extranjero, pero tu libro de texto está cortado en trozos de papel al azar. En lugar de aprender la raíz «ход» («paso, marcha») y entender decenas de palabras, desde «выход» («salida») hasta «переход» («paso, transición»), tienes que memorizar cada combinación de letras como si fuera un ideograma único. Así ven hoy el mundo los modelos de lenguaje más avanzados.

Mientras admiramos las capacidades de GPT-4 o Claude 3, en sus cimientos hay una bomba de relojería arquitectónica llamada BPE, o Byte Pair Encoding. Este algoritmo se convirtió en el estándar de la industria ya en 2016 y, desde entonces, casi nadie lo ha cuestionado. El problema es que BPE es un matemático sociópata al que la lingüística le trae sin cuidado.

Corta el texto en tokens basándose exclusivamente en la frecuencia de aparición de los caracteres. Como resultado, para el modelo la palabra paratrooper se convierte en una secuencia sin sentido: par, atro y oper. El modelo gasta miles de millones de ciclos de cómputo y una parte enorme de sus parámetros solo en reconstruir las conexiones lógicas entre estos jirones, algo que tu cerebro capta al instante.

Durante mucho tiempo se dio por hecho que, si se alimentaba a una red neuronal con suficientes datos, aprendería por sí sola las reglas de la gramática y la morfología. Y las aprende, pero de forma muy ineficiente. Un grupo de investigadores decidió comprobar qué ocurre si se devuelven al entrenamiento el sentido común y la estructura lingüística.

Probaron los enfoques MorphBPE y MorphPiece, que obligan al tokenizador a respetar los límites de los morfemas: prefijos, raíces y sufijos. Los resultados fueron un jarro de agua fría para los defensores de las «matemáticas puras». Los modelos con tokenización morfológica mejoran un 25% su precisión en la prueba LAMBADA, que mide la capacidad de predecir la última palabra de una oración.

Pero aún más importante es la velocidad de convergencia: estas redes se entrenan el doble de rápido. En uno de los experimentos, un modelo con la tokenización adecuada y solo 200.000 pasos de entrenamiento igualó en calidad de respuestas a GPT-2 Large, que tiene seis veces más parámetros.

Es una señal directa para el mercado: podemos obtener los mismos resultados con hardware mucho más barato si dejamos de alimentar a los algoritmos con «carne picada de palabras».

¿Por qué entonces OpenAI, Google y Anthropic todavía no han adoptado este método? La respuesta está en la inercia y en la complejidad de implementarlo en sistemas multilingües. BPE es universal: le da igual procesar texto en inglés, código en Python o caracteres chinos.

El análisis morfológico, en cambio, exige ajustes para cada idioma concreto, lo que complica el pipeline de preparación de datos. Sin embargo, la actual crisis de costes de entrenamiento y la escasez de textos de calidad están obligando a los ingenieros a buscar nuevas vías de optimización. Cuando entrenar un modelo insignia supera los cientos de millones de dólares, ahorrar un 50% del tiempo de convergencia se convierte en una cuestión de supervivencia empresarial.

Además, el enfoque morfológico resuelve el problema de las palabras raras y los neologismos. Si el modelo entiende el significado de los morfemas, puede deducir lógicamente el sentido de una palabra que ve por primera vez, en lugar de adivinarlo leyendo los posos de los tokens.

Estamos presenciando una revancha silenciosa de la lingüística clásica en plena euforia por las redes neuronales. Cada vez resulta más evidente que escalar sin fin a base de fuerza bruta, sumando más GPU, es un callejón sin salida. El futuro pasa por soluciones híbridas, en las que una comprensión profunda de la estructura del lenguaje en la entrada evita que el modelo tenga que reinventar la rueda dentro de sus capas.

Lo más probable es que en la arquitectura de GPT-5 o de sus sucesores veamos el abandono del rudimentario BPE en favor de sistemas de segmentación de texto más inteligentes. Más que un detalle técnico, se trata de un cambio fundamental en cómo las máquinas perciben la cultura humana codificada en las palabras. Mientras los investigadores pulen los algoritmos MorphPiece y Unigram con capas morfológicas, los desarrolladores deberían prepararse: los viejos métodos de preparación de datasets pronto acabarán en el basurero de la historia.

Lo esencial: usar morfemas en lugar de sílabas aleatorias hace que los modelos sean más inteligentes y que entrenarlos cueste la mitad. ¿Está la industria dispuesta a admitir que los lingüistas tenían razón desde el principio, o seguiremos quemando electricidad para enseñar a la IA a leer sílaba a sílaba?