L'assistant IA a fait grimper les notes des lycéens de 48 %, mais sans lui, ils ont obtenu des résultats inférieurs de 17 %

Imaginez un développeur junior qui accepte les suggestions de Copilot les unes après les autres. Les tâches sont closes rapidement, les métriques grimpent, mais lors de la revue de code, il est incapable d'expliquer pourquoi la solution est construite ainsi. Une analyse récente publiée sur Habr explique pourquoi ce n'est pas un hasard, et ce que doivent faire ceux qui conçoivent des produits avec de l'IA.

Une expérience qui ternit les belles métriques

Une méta-analyse de 69 travaux publiés entre 2022 et 2024 montre que ChatGPT améliore les résultats scolaires et la motivation, et réduit l'effort mental. Pour une équipe produit, cela ressemble à un résultat idéal. Pourtant, dans une expérience de terrain menée auprès de près d'un millier de lycéens résolvant des exercices de mathématiques, GPT-4 dans son interface classique a fait progresser les notes à l'entraînement de 48 %, et de 127 % dans la version dotée de garde-fous.

Après la coupure de l'accès, les élèves du premier groupe ont obtenu des résultats inférieurs de 17 % à ceux qui n'avaient jamais utilisé d'IA. L'assistant a joué le rôle de béquille : tant qu'il est là, le résultat augmente, mais l'apprentissage n'a pas eu lieu.

Pourquoi l'IA n'est pas synonyme de bonne interface

La théorie de la charge cognitive distingue trois types d'effort : intrinsèque (la difficulté de la matière elle-même), extrinsèque (due à une présentation maladroite) et pertinente (le travail de construction des connaissances). En UX, le principal levier est la réduction de la charge extrinsèque, et cela suffit presque : l'utilisateur d'un CRM veut que sa commande parte, pas comprendre le référentiel de nomenclature.

Avec l'IA, c'est différent. Dans une expérience menée auprès de 91 étudiants, ceux qui travaillaient avec ChatGPT-3.5 déclaraient une charge plus faible sur les trois échelles, et leurs argumentations finales se sont révélées moins bonnes que celles des utilisateurs de Google.

Une série de sept expériences portant sur 10 462 participants confirme que les connaissances tirées d'une synthèse de LLM sont plus superficielles que celles obtenues à partir de liens de moteur de recherche. Le moteur de recherche fournit des sources, qu'il faut relier soi-même. Le LLM livre une synthèse toute faite : le travail sur la complexité intrinsèque est accompli avant même que la personne voie le résultat.

Une bonne interface supprime le bruit autour de la tâche, tandis que l'IA peut supprimer la tâche elle-même.

Il y a aussi un détail inquiétant. Une étude portant sur 589 étudiants et jeunes professionnels distingue le délestage dépendant (la réflexion est déléguée à l'IA) et le délestage autonome (l'IA comme appui, les décisions restant à l'humain). Le bénéfice immédiat est identique dans les deux modes ; l'utilisateur ne les distingue donc pas à l'usage, et les métriques de satisfaction ne montreront rien. Réserve : ces travaux sont corrélationnels, et les résultats de certains reposent sur l'autoévaluation.

Que faire en tant que product manager ou développeur

Il faut intégrer des mécanismes de préservation des compétences dans le produit, plutôt que de compter sur la bonne volonté de l'utilisateur :

• L'assistant d'IDE demande d'abord au développeur junior de deviner où se trouve l'erreur, puis seulement montre la correction avec une explication.
• L'assistant de recherche ne fournit pas une synthèse, mais des sources avec leurs divergences, et demande de formuler soi-même la conclusion.
• L'assistant de support donne un lien vers la section de la base de connaissances et vérifie la réponse de l'opérateur.
• Le bot éducatif guide par des questions au lieu de résoudre à la place de l'étudiant.

Le soutien ne doit pas être permanent. L'effet d'inversion de l'expertise montre que les méthodes qui aident un débutant gênent un expert ; l'aide doit donc s'atténuer à mesure que la compétence progresse : appui, puis vérification, puis travail autonome.

Le minimum pratique

Confiez à l'IA la recherche, la mise en forme et la routine. Laissez à l'humain la mise en relation, la conclusion et l'évaluation. Ajoutez des explications et une vérification avant l'acceptation de la réponse. Et surtout, changez de métriques : la charge globale et la satisfaction ne distinguent pas un délestage utile d'un délestage nocif. Vérifiez périodiquement ce que la personne sait faire sans l'outil. Si elle doit rester dans la boucle et répondre du résultat, c'est le seul test honnête.