LLM Écrit, Code Fonctionne, Personne ne Comprend : Pourquoi

Le code fonctionne, les tests sont verts, tout le système est stable — cela signifie-t-il que la qualité va bien? Pas vraiment. Il s'avère qu'il existe une troisième dimension que personne ne suit : la compréhensibilité humaine.

Quand le code fonctionne mais est incompréhensible

Le LLM écrit du code de la façon que la machine le comprend. Les variables sont nommées logiquement, la syntaxe est impeccable, l'algorithme fonctionne. Mais lire ce code pour un humain est une torture.

La logique est nouée, il y a des commentaires, mais ils n'aident pas à saisir l'essence. Le modèle génère une documentation qui peut être volumineuse et contenir une description de chaque paramètre, chaque fonction, chaque exception. Et en même temps, elle est complètement inutile pour répondre à la question principale : pourquoi tout cela a-t-il été écrit?

Le problème n'est pas que le LLM a été mal entraîné. Le problème est que les humains et les modèles pensent littéralement par des mécanismes différents. Et quand leurs connaissances entrent en collision, voici ce qui émerge : du code qui fonctionne parfaitement mais reste une boîte noire pour celui qui le lit.

Deux architectures de compréhension

Un humain pense en structures : début, développement, fin. Objectif, chemin vers lui, résultat. La complexité pour un humain est du stress, c'est de la douleur. Plus la logique est tortueuse, plus la charge cognitive, plus difficile le code à maintenir. Le LLM fonctionne complètement différemment. Le modèle prédit le token suivant en fonction des probabilités. Ce n'est pas une structure — c'est juste une séquence d'étapes probabilistes. Pour le modèle, il n'y a pas de différence fondamentale entre un algorithme simple et un complexe : les deux sont simplement des chaînes de tokens. Et surtout : pour le modèle, il n'y a pas de souffrance liée à la complexité. C'est juste des données.

• Un humain recherche le sens et les modèles, un modèle prédit des tokens
• Les humains sont confus par les détails excessifs sans contexte objectif
• Un modèle ne « comprend » pas au sens humain — il prédit
• Pour un humain, la simplicité est une bénédiction, un modèle ne la remarque simplement pas

Documentation comme un piège

Un modèle peut écrire une documentation volumineuse. Décrire chaque paramètre, chaque type de retour, chaque exception. Le code sera entièrement documenté. Et un humain ne comprendra toujours pas pourquoi cette architecture particulière a été choisie. Parce que la documentation répond à la question « qu'est-ce que c'est », mais pas « pourquoi ». Un humain peut lire cinquante pages de description et rester dans une confusion totale sur l'intention. La connaissance de tous les détails ne donne pas la compréhension de l'ensemble.

Personne ne remarque la perte de contrôle

Le moment le plus effrayant de cette histoire, c'est quand personne ne remarque la perte de contrôle. Le code fonctionne. Les tests réussissent.

Le système est stable. Et soudainement quelque chose doit changer, une nouvelle fonction doit être ajoutée, un bug doit être corrigé. Et il s'avère que personne, pas même l'auteur du code, ne peut expliquer comment cela fonctionne réellement.

Dans la paire « humain + LLM », voici ce qui se passe : un humain clique sur le bouton « approuver », le modèle considère son travail terminé (les tests sont verts après tout !), et pendant ce temps la compréhension est lentement et imperceptiblement perdue. Il n'y a pas de moment « arrête, les ennuis arrivent maintenant ».

La perte de contrôle se produit imperceptiblement, comme le crépuscule.

« Le code fonctionne, les tests sont verts — donc tout va bien », pense l'humain, cliquant sur approuver.

Et ne remarque pas comment la capacité à changer quoi que ce soit disparaît au même moment.

Que signifie cela pour nous

Nous avons besoin de nouvelles métriques pour la qualité du code. Pas seulement « ça fonctionne » et « les tests réussissent ». Nous avons besoin de questions : un humain peut-il comprendre cela? peuvent-ils le maintenir? peuvent-ils l'étendre? Sinon, chaque ligne de code devient un fragment qui fonctionne mais dont le but est perdu. Ce n'est pas un reproche aux développeurs et ce n'est pas une critique du LLM. C'est simplement une conséquence du fait que les humains et les modèles parlent des langages de compréhension différents. L'un voit l'arbre entier, l'autre voit les branches individuelles. Et quand ils travaillent ensemble, un écart subsiste entre eux dans lequel le sens disparaît.