Epoch AI : les modèles récents n'ont pas su reproduire une idée algorithmique humaine

Epoch AI a publié InnovationEval, et son titre résume l'essentiel : les modèles d'IA récents ont eu du mal à égaler une innovation algorithmique conçue par un humain. La publication est sortie le 9 octobre 2026. Sur Hacker News, elle a recueilli 86 points et 71 commentaires : la communauté s'est donc emparée du sujet immédiatement. Une précision d'emblée : le matériel parvenu à la rédaction ne contient que le titre, un lien et les compteurs de discussion. Il n'y a aucun tableau de résultats par modèle, et nous ne les extrapolons pas.

Ce que l'on sait de la publication

Epoch AI réalise depuis plusieurs années des évaluations indépendantes des capacités des modèles ; ses conclusions sont donc généralement lues avec plus d'attention que les communiqués des laboratoires. Le nom InnovationEval indique que le test porte précisément sur la capacité d'invention. Les modèles ne résolvent pas un problème appris par cœur. Ils doivent parvenir à une idée qu'un chercheur humain a proposée auparavant. La formulation du titre (« struggled to match ») laisse entendre que le résultat est inférieur aux attentes.

Voici ce que l'on peut affirmer à partir des données disponibles :

• Source : Epoch AI, page publications/innovationeval.
• Date de publication sur l'agrégateur : 9 octobre 2026.
• Conclusion principale : les modèles récents n'ont pas réussi à reproduire de façon fiable une innovation algorithmique humaine.
• Réaction sur Hacker News : 86 points, 71 commentaires.
• Non précisé dans notre source : la liste des modèles, le nombre de tentatives, les critères de réussite et les pourcentages exacts.

Pourquoi ce test compte

La plupart des benchmarks populaires mesurent la capacité d'un modèle à résoudre des problèmes dont la réponse est connue : mathématiques de niveau olympiade, correction de bugs dans des dépôts de code, programmation compétitive. Sur ces tâches, les progrès des dernières années ont été rapides, et les courbes butent souvent sur un plafond. Un test d'invention fonctionne autrement. Il cherche à savoir si un modèle peut proposer une technique nouvelle, plutôt que d'assembler une bonne solution à partir de ce qui figure déjà dans ses données d'entraînement.

Cela touche directement à la grande promesse de l'industrie : des agents IA qui accélèrent la recherche en IA elle-même. Si un modèle ne reproduit même pas une idée déjà trouvée par un humain, il faut cantonner à un cadre plus étroit les discours sur l'automatisation du travail scientifique. L'inverse est vrai aussi : un seul test ne clôt pas le sujet. Le résultat dépend de la formulation de la tâche, des indices fournis, du budget de raisonnement et de l'innovation retenue comme référence.

Comment lire le résultat

Trois points méritent l'attention dans la source originale. Premièrement, la manière dont les auteurs distinguent l'invention du simple rappel : si l'idée a pu figurer dans le jeu d'entraînement, le test mesure la mémoire, pas la nouveauté. Deuxièmement, le nombre de tentatives accordées au modèle et la façon dont la meilleure réponse a été sélectionnée. Troisièmement, ce qui a été considéré comme un succès : une correspondance complète avec la solution humaine, ou une approche fonctionnellement équivalente. Ces détails déterminent la portée de la conclusion.

Le niveau de discussion sur Hacker News (71 commentaires pour 86 points) suggère que les lecteurs s'interrogent précisément sur la méthodologie. C'est normal pour un travail de ce type : mesurer l'« inventivité » est bien plus difficile que mesurer la précision sur un test doté d'un corrigé.

Que faire en pratique

Pour les équipes qui bâtissent des produits sur des agents de code et de recherche, il est utile de répartir les tâches en deux classes. L'ingénierie de routine, le refactoring, le portage d'algorithmes connus et le réglage de paramètres relèvent de ce que les modèles font de façon fiable. La conception de nouvelles approches algorithmiques reste un domaine où l'humain continue de fixer la direction, tandis que le modèle joue le rôle d'exécutant rapide et de générateur de variantes à tester.

Avant de revoir vos plans, ouvrez l'original sur epoch.ai et vérifiez trois paramètres : la liste des modèles testés, le nombre d'exécutions et le critère de réussite. Si vous achetez des outils d'IA pour la R&D, il est judicieux de demander au fournisseur des résultats sur des tâches impliquant de la nouveauté, et pas seulement sur des benchmarks standard. Et gardez à l'esprit que la prochaine version peut changer la donne : ce type d'évaluation vieillit vite.