Passé sous la coupe de Google DeepMind, Kaggle lance un Benchmarks SDK pour comparer les grands modèles d'IA

Kaggle, que des millions de data scientists connaissent comme la principale arène de compétitions en machine learning, change d'identité. Le slogan « Your Home for Data Science » cède la place à « The World's AI Proving Ground », et il ne s'agit pas d'un simple rebranding marketing. En 2026, Kaggle est officiellement passé sous la responsabilité d'AI Frontier, une nouvelle division de Google DeepMind.

Ce changement de tutelle s'accompagne d'un changement de cap stratégique. Kaggle n'est plus seulement un lieu de compétitions de prédiction ou de classification d'images. Sa mission consiste désormais à évaluer de manière systématique les grands modèles de langage et les modèles multimodaux dans des conditions standardisées.

La principale nouveauté technique tient en deux éléments : une nouvelle rubrique Benchmarks sur le site et le Kaggle Benchmarks SDK, publié en open source sur GitHub. Il s'agit d'un framework complet pour créer, gérer et exécuter des jeux de tests. Le principe est simple.

Le chercheur décrit un test (données d'entrée, résultat attendu, métrique de qualité), regroupe plusieurs tests, et ce groupe devient un benchmark. Le SDK se charge ensuite de faire tourner les modèles dans des conditions identiques et produit les résultats : logs, JSON, tableaux comparatifs, classements. La flexibilité du système permet d'implémenter presque n'importe quelle mécanique de test, de la simple accuracy aux tâches complexes en plusieurs étapes avec évaluation du raisonnement.

Les données et le code des benchmarks peuvent par ailleurs rester dans des datasets privés, fermés au public. Les entreprises peuvent ainsi bâtir leurs propres standards internes d'évaluation des modèles sans dévoiler leur méthodologie ni leurs cas de test à la concurrence. Si elles le souhaitent, elles peuvent rendre un benchmark public, qui deviendra alors un standard partagé par la communauté.

Pourquoi est-ce important maintenant ? La question d'une évaluation honnête des modèles d'IA se pose avec une acuité extrême. Les benchmarks publics les plus populaires, comme MMLU, HumanEval ou GPQA, font régulièrement l'objet de critiques : leurs données fuient dans les corpus d'entraînement, si bien que les modèles passent en réalité l'examen avec une antisèche au lieu de démontrer de véritables capacités.

Les grands laboratoires conçoivent des tests internes fermés, mais les petites équipes et les groupes universitaires ne disposent pas d'une telle infrastructure. Le Kaggle Benchmarks SDK met ces outils à leur portée. Google DeepMind tire de cette transformation des avantages évidents.

Forte d'une communauté de plusieurs millions de membres, Kaggle devient une vitrine pour démontrer les capacités de ses propres modèles face à la concurrence, dans un cadre perçu comme neutre. Pour la communauté, le bénéfice est tout aussi clair : concevoir un benchmark honnête et reproductible exigeait auparavant un travail d'ingénierie conséquent, alors qu'un SDK standard suffit désormais. La nostalgie de l'ancien Kaggle se comprend.

L'époque où la victoire d'un XGBoost bien réglé sur un réseau de neurones avec des données tabulaires faisait sensation est révolue. L'enjeu de l'industrie s'est déplacé : on est passé de « qui prédit le plus juste » à « comment mesurer objectivement ce que fait un grand modèle ». Kaggle s'adapte à ce basculement et, à en juger par l'ampleur des changements, entend devenir la référence de cette mesure.