Anthropic durcit sans cesse ses tests de recrutement à cause de la triche avec Claude

ANTHROPIC DURCIT SANS CESSE SES TESTS DE RECRUTEMENT À CAUSE DE LA TRICHE AVEC CLAUDE

Alors que l'intelligence artificielle progresse à grande vitesse et que des modèles de langage puissants deviennent accessibles au grand public, les méthodes traditionnelles d'évaluation des compétences se heurtent à des difficultés sans précédent. L'équipe d'optimisation des performances de l'américain Anthropic, connu pour son modèle de pointe Claude, se retrouve face à un problème singulier : sa propre création, ou plus exactement des outils d'IA comparables, s'est mise à « souffler les réponses » lors des entretiens d'embauche.

Depuis début 2024, Anthropic recourt à des exercices techniques à réaliser chez soi pour évaluer les candidats aux postes d'ingénieur. Ce format doit leur permettre de démontrer leurs connaissances et leur savoir-faire dans un cadre plus serein et propice à la réflexion qu'un entretien classique. Mais l'essor des assistants de programmation comme GitHub Copilot, ainsi que les progrès des grands modèles de langage eux-mêmes, ont rendu ces exercices bien trop faciles à résoudre avec leur aide. Évaluer objectivement un candidat est donc devenu difficile : impossible de savoir avec certitude qui avait réellement résolu le problème, le candidat ou l'intelligence artificielle.

Pour enrayer cette tendance et empêcher la triche, les ingénieurs d'Anthropic doivent sans cesse revoir et complexifier leurs exercices. L'objectif : concevoir des problèmes qui exigent une compréhension contextuelle approfondie, une approche non conventionnelle et de la créativité, autant de domaines où les modèles d'IA actuels, malgré des capacités impressionnantes, restent encore en deçà de l'humain. Il ne s'agit pas de reproduire des algorithmes connus ou d'écrire du code standard, mais plutôt d'analyser des systèmes complexes, de prendre des décisions en situation d'incertitude, d'intégrer des connaissances éparses et de faire preuve d'une pensée originale.

Ce type de tâche se prête plus difficilement à l'automatisation et se laisse moins facilement « donner en pâture » à un modèle de langage pour obtenir une solution toute faite.

Cette situation souligne la difficulté croissante d'évaluer les compétences humaines alors que de puissants outils d'IA sont accessibles partout. La frontière entre compétence humaine et capacités de l'intelligence artificielle devient de plus en plus floue. Partout dans le monde, des entreprises commencent à réfléchir à de nouvelles approches du recrutement et de l'évaluation du personnel, adaptées aux réalités du paysage technologique actuel.

L'avenir passera peut-être par l'évaluation non seulement du résultat final, mais aussi du processus de résolution lui-même : l'analyse du raisonnement, la vérification de la capacité d'adaptation et d'apprentissage. Confronté à ce problème en première ligne, Anthropic montre de fait comment le secteur doit s'adapter à un contexte mouvant, où l'IA n'est plus seulement un outil de travail, mais aussi un facteur qui change les règles du jeu en matière de recrutement.

En définitive, le durcissement permanent des tests chez Anthropic illustre de manière frappante comment le progrès technologique exige souplesse et innovation dans tous les domaines de l'activité humaine, y compris le recrutement. Il oblige à repenser la notion même d'aptitude professionnelle et à rechercher de nouvelles méthodes d'évaluation, plus fiables, capables de distinguer les véritables talents humains des réponses habilement générées par l'IA. À l'heure où l'IA devient un assistant universel, il nous faut de nouvelles approches pour évaluer ce que signifie réellement être un spécialiste compétent.