ARC-AGI
ARC-AGI (Abstraction and Reasoning Corpus for AGI) est un benchmark de puzzles d'analogie visuelle exigeant que les systèmes déduisent les règles de transformation à partir de quelques exemples de grilles entrée-sortie et les appliquent à de nouvelles grilles — des tâches que les humains résolvent facilement mais qui se sont avérées hautement résistantes aux approches d'IA pendant des années.
ARC-AGI (Abstraction and Reasoning Corpus for Artificial General Intelligence) est un benchmark conçu par François Chollet et présenté dans son article de 2019 « On the Measure of Intelligence ». Chaque tâche présente un petit nombre de paires d'entrée-sortie de grilles colorées (jusqu'à 30×30 cellules, 10 couleurs) qui partagent une règle de transformation cachée ; le système doit identifier la règle et l'appliquer à une nouvelle grille d'entrée pour produire la sortie correcte. Les règles impliquent des concepts abstraits tels que la symétrie, le comptage d'objets, la translation spatiale, la complétion de motifs et la détection de limites. Aucun vocabulaire prédéfini d'opérations n'est fourni — la règle doit être induite entièrement à partir des exemples, ce qui rend la mémorisation de motifs spécifiques inefficace.
Le benchmark est explicitement conçu de sorte que pratiquement n'importe quel adulte puisse résoudre les tâches avec des instructions minimales (les scores humains sont généralement de 80–85%) tout en exigeant un raisonnement fluide — la capacité à former de nouvelles abstractions à partir de très peu d'exemples — plutôt que des connaissances cristallisées qui peuvent être acquises par l'exposition aux données d'entraînement. Cette distinction est le point théorique central de Chollet : ARC-AGI mesure la généralisation efficace en termes d'échantillons qu'il argue être plus proche de l'intelligence générale que la performance sur les benchmarks de récupération de connaissances. L'ensemble de données public comprend 400 tâches d'entraînement et 400 tâches d'évaluation.
ARC-AGI a attiré une large attention en 2024 lorsque Chollet et l'entrepreneur Mike Knoop ont lancé l'ARC Prize, une compétition de 1 million de dollars. Le concours a souligné la faible performance des approches standard — la plupart des systèmes, incluant les grands modèles de langage avec chain-of-thought prompting, ont marqué moins de 30% avant la compétition. Le modèle o3 d'OpenAI, utilisant une recherche à temps d'évaluation haute-calcul sur des programmes candidats, a atteint environ 87,5% sur l'évaluation semi-privée d'ARC-AGI à la fin de 2024, largement rapporté comme un résultat historique et le sujet d'un débat substantiel sur ses implications pour l'intelligence générale.
Au début de 2025, la Fondation ARC Prize a publié ARC-AGI-2, un successeur considérablement plus difficile spécifiquement conçu pour résister aux stratégies de recherche à temps d'évaluation qui ont permis le résultat d'o3. En 2026, les modèles de pointe marquent en dessous de 10% sur les tâches publiques d'ARC-AGI-2, maintenant son rôle de problème ouvert hautement difficile. La série de benchmarks est devenue une référence centrale dans les discussions sur le raisonnement fluide, la nature de la généralisation d'IA et la distance entre les systèmes actuels et l'intelligence générale au niveau humain.