BPE contre morphèmes : pourquoi votre IA ne sait toujours pas lire

Imaginez que vous appreniez une langue étrangère avec un manuel découpé en morceaux de papier aléatoires. Au lieu d'apprendre la racine « ход » et de comprendre des dizaines de mots, de « выход » à « переход », vous devez mémoriser chaque combinaison de lettres comme un idéogramme unique. C'est exactement ainsi que les modèles de langage les plus avancés voient le monde aujourd'hui.

Nous admirons les capacités de GPT-4 ou de Claude 3, mais leurs fondations recèlent une bombe à retardement architecturale : le BPE, ou Byte Pair Encoding. Cet algorithme s'est imposé comme standard de l'industrie dès 2016, et depuis, presque personne ne l'a remis en question. Le problème, c'est que le BPE est un mathématicien sociopathe qui se moque éperdument de la linguistique.

Il découpe le texte en tokens en se fondant uniquement sur la fréquence d'apparition des caractères. Résultat : pour le modèle, le mot paratrooper devient une suite absurde de par, atro et oper. Le modèle dépense des milliards de cycles de calcul et une part énorme de ses paramètres simplement pour reconstituer les liens logiques entre ces lambeaux, que votre cerveau déchiffre instantanément.

On a longtemps cru qu'il suffisait de gaver un réseau de neurones de données pour qu'il apprenne seul les règles de la grammaire et de la morphologie. Il les apprend, mais de façon extrêmement inefficace. Un groupe de chercheurs a voulu vérifier ce qui se passe lorsqu'on réintroduit du bon sens et de la structure linguistique dans l'entraînement.

Ils ont testé les approches MorphBPE et MorphPiece, qui obligent le tokenizer à respecter les frontières des morphèmes : préfixes, racines et suffixes. Les résultats ont de quoi dégriser les adeptes des « mathématiques pures ». Les modèles dotés d'une tokenisation morphologique affichent un gain de précision de 25 % sur le test LAMBADA, qui évalue la capacité à prédire le dernier mot d'une phrase.

La vitesse de convergence compte plus encore : ces réseaux s'entraînent deux fois plus vite. Dans l'une des expériences, un modèle entraîné sur seulement 200 000 étapes avec la bonne tokenisation a rattrapé la qualité de réponse de GPT-2 Large, six fois plus gros en nombre de paramètres. Le signal envoyé au marché est clair : nous pouvons obtenir les mêmes résultats sur du matériel bien moins coûteux, à condition de cesser de nourrir les algorithmes de « hachis de mots ».

Pourquoi OpenAI, Google et Anthropic n'ont-ils toujours pas adopté cette méthode ? La réponse tient à l'inertie et à la complexité de mise en œuvre pour les systèmes multilingues. Le BPE est universel : peu lui importe qu'on lui fournisse du texte anglais, du code Python ou des idéogrammes chinois.

L'analyse morphologique exige un réglage propre à chaque langue, ce qui complique le pipeline de préparation des données. Mais la crise actuelle des coûts d'entraînement et la pénurie de textes de qualité poussent les ingénieurs à chercher de nouvelles pistes d'optimisation. Quand l'entraînement d'un modèle phare dépasse les centaines de millions de dollars, économiser 50 % du temps de convergence devient une question de survie économique.

L'approche morphologique règle en outre le problème des mots rares et des néologismes. Si le modèle comprend le sens des morphèmes, il peut déduire logiquement le sens d'un mot qu'il rencontre pour la première fois, au lieu de lire dans le marc de café des tokens.

Nous assistons à une revanche silencieuse de la linguistique classique en pleine euphorie autour des réseaux de neurones. Il devient évident que le passage à l'échelle infini et frontal, à coups de GPU supplémentaires, est une impasse. L'avenir appartient aux solutions hybrides, où une compréhension fine de la structure de la langue en entrée évite au modèle de réinventer la roue dans ses couches.

L'architecture de GPT-5 ou de ses successeurs abandonnera probablement le BPE primitif au profit de systèmes de découpage du texte plus intelligents. Il ne s'agit pas d'un simple détail technique, mais d'un basculement fondamental dans la manière dont les machines perçoivent la culture humaine encodée dans les mots. Pendant que les chercheurs affinent MorphPiece et Unigram enrichi de couches morphologiques, les développeurs ont intérêt à se préparer : les anciennes méthodes de préparation des datasets finiront bientôt dans les poubelles de l'histoire.

L'essentiel : utiliser des morphèmes plutôt que des syllabes aléatoires rend les modèles plus intelligents et deux fois moins chers à entraîner. L'industrie est-elle prête à reconnaître que les linguistes avaient raison depuis le début, ou allons-nous continuer à brûler de l'électricité pour apprendre à l'IA à lire syllabe par syllabe ?