ARC-AGI

ARC-AGI (Corpus de Abstracción y Razonamiento para Inteligencia Artificial General) es un conjunto de datos de referencia diseñado por François Chollet y presentado en su artículo de 2019 «On the Measure of Intelligence». Cada tarea presenta un pequeño número de pares de entrada-salida de cuadrículas de colores (hasta 30×30 celdas, 10 colores) que comparten una regla de transformación oculta; el sistema debe identificar la regla y aplicarla a una nueva cuadrícula de entrada para producir la salida correcta. Las reglas implican conceptos abstractos como simetría, conteo de objetos, traslación espacial, finalización de patrones y detección de límites. No se proporciona ningún vocabulario predefinido de operaciones — la regla debe inducirse completamente a partir de los ejemplos, lo que hace que la memorización de patrones específicos sea ineficaz.

El conjunto de datos está explícitamente diseñado de modo que prácticamente cualquier adulto pueda resolver las tareas con instrucciones mínimas (las puntuaciones humanas suelen ser 80–85%) mientras requiere razonamiento fluido — la capacidad de formar nuevas abstracciones a partir de muy pocos ejemplos — en lugar de conocimiento cristalizado que pueda adquirirse mediante la exposición a datos de entrenamiento. Esta distinción es el punto teórico central de Chollet: ARC-AGI mide la generalización eficiente en muestras que él argumenta es más cercana a la inteligencia general que el desempeño en conjuntos de datos de referencia de recuperación de conocimiento. El conjunto de datos público comprende 400 tareas de entrenamiento y 400 tareas de evaluación.

ARC-AGI ganó amplia atención en 2024 cuando Chollet y el empresario Mike Knoop lanzaron el Premio ARC, una competencia de $1M. El concurso destacó qué tan mal se desempeñaron los enfoques estándar — la mayoría de los sistemas, incluidos los grandes modelos de lenguaje con prompts de cadena de pensamiento, obtuvieron menos del 30% antes de la competencia. El modelo o3 de OpenAI, utilizando búsqueda en tiempo de prueba de alto cómputo sobre programas candidatos, logró aproximadamente 87,5% en la evaluación privada semi ARC-AGI a finales de 2024, ampliamente reportado como un resultado histórico y tema de debate sustancial sobre sus implicaciones para la inteligencia general.

A principios de 2025, la Fundación ARC Prize lanzó ARC-AGI-2, un sucesor sustancialmente más difícil diseñado específicamente para resistir las estrategias de búsqueda en tiempo de prueba que permitieron el resultado de o3. A partir de 2026, los modelos frontera tienen una puntuación inferior al 10% en las tareas públicas de ARC-AGI-2, manteniendo su función como un problema abierto altamente desafiante. La serie de conjuntos de datos se ha convertido en una referencia central en discusiones sobre razonamiento fluido, la naturaleza de la generalización de IA y la distancia entre los sistemas actuales e inteligencia general a nivel humano.

Ejemplo

“Una tarea de ARC-AGI muestra tres pares de cuadrículas de entrada-salida en los que una pequeña forma asimétrica siempre se refleja para crear un patrón simétrico; el sistema debe aplicar esta regla a una cuarta cuadrícula de entrada y producir la salida correctamente reflejada, sin instrucciones previas sobre qué significa «reflexión».