Ce n'est pas l'IA qui a dévalué les seniors : pourquoi le recrutement ne distingue pas un débutant équipé d'un LLM d'un expert

Le débat sur l'utilité des seniors à l'ère des réseaux de neurones repose généralement sur de beaux chiffres. Dans une étude portant sur 5 172 employés du support, un assistant IA a augmenté la productivité de 15 % en moyenne, et surtout chez les moins expérimentés. Dans une expérience menée auprès de 453 spécialistes rédigeant des textes professionnels, le temps de travail a diminué de 40 % tandis que la qualité a progressé de 18 %. La conclusion s'impose : le modèle a mis le débutant et l'expert sur un pied d'égalité. Mais et si cette propriété ne venait pas du modèle, mais de notre manière de les comparer ?

Ce qu'est réellement l'expertise

Selon la psychologie cognitive, l'expert se distingue du novice non par la capacité de sa mémoire de travail, mais par le contenu de sa mémoire à long terme. Il a déjà vu de nombreuses fois des tâches similaires et conserve des schémas de résolution tout prêts. Cela se manifeste de trois façons.

Premièrement, l'expert reconnaît les configurations significatives : un joueur d'échecs mémorise d'un coup d'œil une position issue d'une vraie partie, et le même effet a été observé chez les programmeurs. Deuxièmement, il classe les problèmes selon leur structure profonde et non selon leurs traits de surface : les physiciens regroupaient les problèmes par loi à appliquer, les étudiants par ce qui était dessiné dans l'énoncé. Troisièmement, il voit immédiatement la première étape de la solution.

D'où l'idée clé : le LLM remplace l'exécution, tandis que l'expertise est de la reconnaissance. C'est elle qui permet de vérifier la réponse du modèle et de remarquer que la tâche dépasse ses capacités. Dans l'expérience menée avec 758 consultants, le gain se situait à l'intérieur de cette frontière, et au-delà, la part de solutions correctes chutait de 19 %.

Pourquoi le recrutement ne voit pas la différence

Parcourez un entonnoir de recrutement typique. L'offre est souvent rédigée par quelqu'un qui ne connaît pas le domaine, et décrit le poste par une stack, des années d'expérience et des mots à la mode. L'ATS compare des mots-clés à des mots-clés : surface contre surface.

La présélection est faite par un non-expert que convainc un récit bien lissé. Les études sur les entretiens non structurés montrent que les gens évaluent avec assurance même des réponses aléatoires, et que la prédiction issue de l'entretien ne fait que se dégrader. La méthode STAR sans échelles mesure la capacité à raconter.

Les exercices algorithmiques et le live coding sont des tâches types, c'est-à-dire situées dans les limites du modèle, et avec un LLM en entretien, un débutant ne fera pas moins bien qu'un senior.

Au final, aucune étape ne vérifie la reconnaissance, la vérification et le travail au-delà des capacités du modèle. Le recrutement ne regarde que là où le débutant avec LLM et l'expert sont réellement à égalité.

Le coût de l'erreur et ce qu'il faut changer

Les conséquences sont doubles. La première, ce sont les erreurs directes : un débutant placé sur un poste exigeant de la vérification se trompe au-delà de la frontière des capacités du modèle et ne s'en aperçoit pas. La seconde, c'est un pipeline brisé. Les experts naissent de débutants, or un débutant embauché comme opérateur de modèle ne construit pas ses propres schémas. C'est l'« ironie de l'automatisation » de Lisanne Bainbridge (1983), transposée aux LLM.

Adaptations disposant d'une base de preuves solide :

• Analyse du travail plutôt que mots-clés : l'expert établit 5 à 10 tâches typiques du poste et note lesquelles sont réalisées par le LLM, lesquelles par le LLM avec vérification humaine, et lesquelles dépassent les capacités du modèle.
• Entretien structuré avec échelles : mêmes questions pour tous, niveaux de réponse décrits, moindre influence de l'impression. La validité de STAR avec échelles atteignait 0,63 dans une méta-analyse.
• Mises en situation sur des tâches réelles. Mais une épreuve à la maison se fait facilement avec un LLM, et elle cesse alors de distinguer le débutant de l'expert.

Adaptations fondées sur la théorie mais non éprouvées en recrutement : de courtes épreuves du « premier pas » (log, diff, schéma d'architecture avec la question « que faites-vous en premier ? »), des exercices « trouvez l'erreur dans une solution plausible produite par le modèle », le choix par le candidat de son domaine fort, et un live coding sans observateur suivi d'une discussion.

Limites et conclusion pratique

Une réserve honnête s'impose : si un poste est presque entièrement constitué de tâches types situées dans les limites du modèle, la dévalorisation de l'expérience est réelle, et le recrutement n'y est pour rien. Par ailleurs, les épreuves de reconnaissance et de vérification de la réponse d'un LLM ne sont pas encore validées, et toutes ces méthodes demandent du temps d'expert.

Pour les entreprises, la conclusion est simple : économiser sur l'expérience aujourd'hui, c'est manquer de vérificateurs demain. Pour les développeurs et les product managers : la valeur croît là où vous savez reconnaître et vérifier un résultat, et non là où vous obtenez une réponse plus vite que les autres. Si vous recrutez, commencez par la liste des tâches du poste et ajoutez au processus au moins une épreuve où le candidat doit trouver l'erreur dans une réponse du modèle.