BPE vs. morfemas: por que sua IA ainda não sabe ler

Imagine que você está aprendendo um idioma estrangeiro, mas seu livro didático foi recortado em pedaços aleatórios de papel. Em vez de aprender a raiz "ход" e entender dezenas de palavras derivadas, de "выход" (saída) a "переход" (passagem), você precisa decorar cada combinação de letras como se fosse um ideograma único. É assim que os modelos de linguagem mais avançados enxergam o mundo hoje.

Enquanto admiramos as capacidades do GPT-4 ou do Claude 3, há em sua base uma bomba-relógio arquitetônica chamada BPE, ou Byte Pair Encoding. O algoritmo virou padrão da indústria ainda em 2016 e, desde então, quase ninguém o questionou. O problema é que o BPE é um matemático sociopata que não está nem aí para a linguística.

Ele corta o texto em tokens com base exclusivamente na frequência de ocorrência dos caracteres. Resultado: para o modelo, a palavra paratrooper vira uma sequência sem sentido de par, atro e oper. O modelo gasta bilhões de ciclos de computação e uma enorme parte de seus parâmetros só para reconstruir as relações lógicas entre esses fragmentos, que o seu cérebro lê instantaneamente.

Por muito tempo, acreditou-se que, se uma rede neural recebesse dados suficientes, aprenderia sozinha as regras de gramática e morfologia. E ela aprende, mas de forma extremamente ineficiente. Um grupo de pesquisadores decidiu verificar o que aconteceria se o bom senso e a estrutura linguística voltassem ao processo de treinamento.

Eles testaram as abordagens MorphBPE e MorphPiece, que obrigam o tokenizador a respeitar os limites dos morfemas: prefixos, raízes e sufixos. Os resultados foram um balde de água fria para os adeptos da "matemática pura". Modelos com tokenização morfológica mostram ganho de 25% de precisão no teste LAMBADA, que avalia a capacidade de prever a última palavra de uma frase.

Mais importante ainda é a velocidade de convergência: essas redes treinam duas vezes mais rápido. Em um dos experimentos, um modelo com a tokenização correta e apenas 200 mil passos de treinamento alcançou a qualidade de respostas do GPT-2 Large, que tem seis vezes mais parâmetros. É um recado direto ao mercado: podemos obter os mesmos resultados em hardware muito mais barato se pararmos de alimentar os algoritmos com "carne moída de palavras".

Então por que OpenAI, Google e Anthropic ainda não migraram para esse método? A resposta está na inércia e na complexidade de implementação em sistemas multilíngues. O BPE é universal: tanto faz se ele recebe texto em inglês, código em Python ou ideogramas chineses.

Já a análise morfológica exige ajustes para cada idioma, o que complica o pipeline de preparação de dados. Mesmo assim, a atual crise de custos de treinamento e a escassez de textos de qualidade estão forçando engenheiros a buscar novas formas de otimização. Quando treinar um modelo flagship passa de centenas de milhões de dólares, economizar 50% do tempo de convergência vira questão de sobrevivência do negócio.

Além disso, a abordagem morfológica resolve o problema de palavras raras e neologismos. Se o modelo entende o significado dos morfemas, pode deduzir logicamente o sentido de uma palavra que vê pela primeira vez, em vez de tentar adivinhar lendo a borra de café dos tokens.

Estamos assistindo a uma revanche silenciosa da linguística clássica em plena era do hype das redes neurais. Fica cada vez mais claro que escalar indefinidamente na força bruta, empilhando GPUs, é um beco sem saída. O futuro pertence às soluções híbridas, em que uma compreensão profunda da estrutura da língua já na entrada poupa o modelo de reinventar a roda dentro de suas camadas.

É provável que, na arquitetura do GPT-5 ou de seus sucessores, vejamos o abandono do BPE primitivo em favor de sistemas mais inteligentes de segmentação de texto. Mais do que um detalhe técnico, trata-se de uma mudança fundamental na forma como as máquinas percebem a cultura humana codificada nas palavras. Enquanto pesquisadores refinam os algoritmos MorphPiece e Unigram com camadas morfológicas, os desenvolvedores devem se preparar: os velhos métodos de preparação de datasets logo vão parar na lata de lixo da história.

O principal: usar morfemas em vez de sílabas aleatórias torna os modelos mais inteligentes e o treinamento duas vezes mais barato. A indústria está pronta para admitir que os linguistas tinham razão desde o início, ou vamos continuar queimando eletricidade tentando ensinar a IA a ler soletrando sílabas?