Pourquoi les assistants IA cachent délibérément la pensée systémique aux utilisateurs

Les concepteurs d'assistants IA brident délibérément leur pensée systémique : selon les chercheurs, les utilisateurs se détournent d'une IA qui parle de façon trop savante et complexe, si bien que les modèles s'alignent par défaut sur le niveau modeste de leur interlocuteur.

D'où vient ce dilemme

Il y a quelques années, l'auteur de l'article publié sur Habr a présenté la pensée systémique à la conférence Analyst Days et a reçu cette question en retour : « C'est intéressant, mais pourquoi faire si compliqué ? Pourquoi ne pas simplement prendre c4-model et bâtir le modèle dessus ? C'est bien plus simple. » Aujourd'hui, une question semblable se pose pour les assistants IA : doivent-ils appliquer une approche systémique quand l'utilisateur conçoit avec eux des projets complexes ?

Pour les concepteurs de modèles, la réponse était évidente dès le départ, et elle est négative. Une IA qui maîtrise l'approche systémique parlerait « trop savamment », et les études montrent que les gens n'aiment pas cela : ils se détournent d'un tel interlocuteur. Le modèle se cale donc par défaut sur le niveau statistiquement modeste de l'interlocuteur, pour ne pas effrayer l'utilisateur grand public.

Pourquoi la formule « utilise une approche systémique » ne fonctionne pas

Demander simplement à une IA d'« utiliser une approche systémique » ne suffit pas, car ces mots recouvrent de nombreux sens différents. Dans le cas le plus simple, il s'agit de savoir appliquer au moins une suite de raisonnements plutôt que de sauter chaotiquement d'une idée à l'autre. Mais une petite part seulement de ces sens relève de la véritable pensée systémique : savoir repérer des systèmes dans le monde, établir entre eux les bonnes relations, distinguer les propriétés émergentes du système pris comme un tout de celles de ses parties, et ne pas confondre la décomposition fonctionnelle du système avec la décomposition modulaire.

• L'objectif est d'apprendre au modèle à distinguer les propriétés émergentes d'un système de celles de ses parties
• Par défaut, les assistants se calent sur le niveau modeste de l'interlocuteur, car c'est statistiquement plus confortable pour la majorité des utilisateurs
• Une consigne simple comme « pense en systèmes » n'explicite pas le contenu de l'approche systémique et peut conduire le modèle à l'erreur
• L'auteur affirme qu'il existe aujourd'hui une solution accessible et gratuite pour expliciter ce contenu

Expliciter ce contenu, c'est-à-dire décrire clairement quels schémas composent l'approche systémique, n'est pas une tâche facile. Sans description explicite, le modèle confond aisément différents niveaux de raisonnement : il applique une suite d'étapes là où il faudrait identifier des systèmes et les liens entre eux, ou il mélange la décomposition fonctionnelle et la décomposition modulaire.

Ce que cela signifie

L'histoire de la pensée systémique révèle un problème plus général dans la conception des assistants IA : l'équilibre entre accessibilité pour l'utilisateur grand public et profondeur experte par défaut n'est pas tranché en faveur de la profondeur. Pour les tâches complexes, qu'il s'agisse d'architecture logicielle ou d'analyse de systèmes, l'utilisateur devra lui-même formuler explicitement quelle approche systémique il attend de l'assistant, au lieu de compter sur le modèle pour comprendre la demande au pied de la lettre.