Le LLM comme un poste de radio : pourquoi le traitement du signal compte plus que la linguistique

On a l'habitude de voir les réseaux de neurones comme des linguistes numériques qui engloutissent des bibliothèques entières pour apprendre à exprimer des idées de façon cohérente. Mais si l'on ouvre le capot d'un transformer en partant des premiers principes, on n'y trouve ni grammaire ni syntaxe au sens habituel. On y découvre en revanche un système de traitement du signal extrêmement complexe.

C'est la grande ironie de l'industrie actuelle de l'IA : nous avons construit des systèmes qui parlent comme des humains avec des méthodes autrefois employées pour débruiter du son ou transmettre des données par satellite. Comprendre cela change tout, de la façon dont on entraîne les modèles à la raison pour laquelle ils se mettent soudain à halluciner.

Pour un modèle, tout texte commence par une discrétisation. Quand on découpe une phrase en tokens, on discrétise en réalité le flux continu de la pensée humaine. Imaginez la conversion d'un enregistrement analogique en fichier MP3. Chaque token devient un vecteur dans un espace multidimensionnel, mais ce n'est pas un simple point. Dans l'architecture moderne, c'est un signal doté de sa propre fréquence et de sa propre phase. C'est là que réside le secret de la réussite des transformers face aux anciens réseaux récurrents. Avant, on transmettait l'information de maillon en maillon, comme au jeu du téléphone arabe ; désormais, on travaille sur tout le spectre de données en même temps, en lui appliquant des filtres.

Il faut s'attarder sur la manière dont les modèles comprennent l'ordre des mots. Dans les premières versions, c'était une béquille, mais l'arrivée des embeddings positionnels rotatifs (RoPE) a tout changé. Les ingénieurs ont en fait injecté des principes de trigonométrie dans les réseaux de neurones : la position d'un mot dans la phrase est codée par la rotation d'un vecteur.

C'est de la physique pure : on modifie la phase du signal pour que le modèle saisisse la distance entre les concepts. Si vous comprenez comment fonctionne la modulation de phase dans votre routeur Wi-Fi, vous êtes déjà à mi-chemin pour comprendre comment GPT-4 saisit le contexte d'un long roman. Ce n'est pas la magie des associations, c'est de l'interférence mathématique d'ondes dans l'espace latent du modèle.

Dans ce paradigme, le mécanisme d'attention (Attention) n'est pas une « focalisation » au sens humain, mais un filtre dynamique. Lorsque le modèle génère le token suivant, il fait passer tout le contexte précédent par un ensemble de filtres apprenables qui suppriment le bruit et amplifient le signal utile. Nous parlons de « compréhension du contexte », mais pour le processeur, il s'agit d'un produit scalaire qui isole les harmoniques utiles du flux global.

Plus un modèle a de paramètres, plus les filtres qu'il peut régler sont étroits et précis. Cela explique pourquoi les petits modèles « dérivent » souvent dans leur logique : leurs filtres sont trop grossiers et laissent passer trop de bruit, que nous interprétons comme des erreurs idiotes.

Pourquoi est-ce important maintenant ? Parce que nous avons atteint le plafond du simple passage à l'échelle des données. L'industrie commence à comprendre que donner toujours plus de texte aux modèles mène à des rendements décroissants.

L'avenir passe par l'optimisation de la partie signal. De nouvelles architectures apparaissent, comme Mamba ou des solutions hybrides, qui cherchent à traiter l'information plus efficacement que l'Attention standard. Elles traitent les données comme des signaux continus, ce qui leur permet de « se souvenir » de séquences infiniment longues sans s'étouffer sous le volume de calcul.

Si nous apprenons à maîtriser ce signal avec autant de finesse que les radioélectriciens maîtrisent les ondes radio, le problème des hallucinations pourrait être résolu au niveau physique.

Au bout du compte, le succès des LLM confirme une vieille vérité : les mathématiques sont une. Que l'on analyse l'activité sismique, encode de la vidéo ou tente d'apprendre à une machine à écrire des poèmes, les lois de propagation et de filtrage de l'information restent les mêmes. Nous avons cessé d'enseigner la langue aux machines pour leur enseigner la physique du champ informationnel. Et à en juger par les derniers benchmarks, c'était la meilleure décision de toute l'histoire de l'informatique. Devant nous s'annonce le passage des tokens discrets à des systèmes entièrement continus, où la frontière entre texte, son et vidéo finira par s'effacer, parce que tout deviendra un signal unique.

À retenir : les LLM ne sont pas des philologues numériques, mais des processeurs de signaux ultrapuissants. Pour comprendre où va l'IA, lisez des manuels de radiotechnique et de théorie de l'information, pas de linguistique.