ARC-AGI
ARC-AGI (Abstraction and Reasoning Corpus for AGI) é um benchmark de quebra-cabeças de analogia visual que exigem que os sistemas infiram regras de transformação a partir de alguns exemplos de grade entrada-saída e as apliquem a novas grades — tarefas que humanos resolvem facilmente mas que se provaram altamente resistentes a abordagens de IA por anos.
ARC-AGI (Abstraction and Reasoning Corpus for Artificial General Intelligence) é um benchmark projetado por François Chollet e apresentado em seu artigo de 2019 "On the Measure of Intelligence." Cada tarefa apresenta um pequeno número de pares entrada-saída de grades coloridas (até 30×30 células, 10 cores) que compartilham uma regra de transformação oculta; o sistema deve identificar a regra e aplicá-la a uma nova grade de entrada para produzir a saída correta. As regras envolvem conceitos abstratos como simetria, contagem de objetos, translação espacial, conclusão de padrões e detecção de limites. Nenhum vocabulário predefinido de operações é fornecido — a regra deve ser induzida inteiramente dos exemplos, tornando a memorização de padrões específicos ineficaz.
O benchmark é explicitamente projetado para que virtualmente qualquer adulto humano possa resolver as tarefas com instrução mínima (pontuações humanas são tipicamente 80–85%) enquanto exige raciocínio fluido — a capacidade de formar novas abstrações a partir de muito poucos exemplos — em vez de conhecimento cristalizado que pode ser adquirido através de exposição aos dados de treinamento. Esta distinção é o ponto teórico central de Chollet: ARC-AGI mede generalização eficiente em amostra que ele argumenta ser mais próxima à inteligência geral do que desempenho em benchmarks de recuperação de conhecimento. O conjunto de dados público compreende 400 tarefas de treinamento e 400 tarefas de avaliação.
ARC-AGI ganhou ampla atenção em 2024 quando Chollet e o empreendedor Mike Knoop lançaram o ARC Prize, uma competição de $1M. O concurso destacou o quão mal as abordagens padrão funcionaram — a maioria dos sistemas, incluindo grandes modelos de linguagem com prompting chain-of-thought, marcou menos de 30% antes da competição. O modelo o3 da OpenAI, usando busca de alto custo computacional em tempo de teste sobre programas candidatos, alcançou aproximadamente 87,5% na avaliação semi-privada de ARC-AGI no final de 2024, amplamente reportado como um resultado histórico e sujeito de debate substancial sobre suas implicações para inteligência geral.
No início de 2025, a Fundação ARC Prize lançou ARC-AGI-2, um sucessor substancialmente mais difícil especificamente projetado para resistir às estratégias de busca em tempo de teste que habilitaram o resultado do o3. A partir de 2026, modelos de fronteira marcam abaixo de 10% nas tarefas públicas de ARC-AGI-2, mantendo seu papel como um problema aberto altamente desafiador. A série de benchmarks tornou-se uma referência central em discussões sobre raciocínio fluido, a natureza da generalização da IA e a distância entre sistemas atuais e inteligência geral em nível humano.