ARC-AGI
ARC-AGI (Abstraction and Reasoning Corpus for AGI) — бенчмарк абстрактного мышления, в котором модель должна вывести правило преобразования цветных сеток по 2–5 примерам и применить его к новому входу, не опираясь на накопленные фактические знания.
ARC-AGI (Abstraction and Reasoning Corpus for Artificial General Intelligence) предложен Франсуа Шолле (создатель Keras, Google) в 2019 году как операциональное определение одного из аспектов общего интеллекта. Каждая задача представляет собой набор из 2–5 пар «вход–выход» в виде небольших цветных сеток (обычно до 30×30 клеток); модель должна вывести правило преобразования и применить его к тестовому входу. Ни одна задача не требует специализированных знаний; все они опираются на базовые перцептивные концепции — симметрию, заливку, копирование, счёт — доступные любому человеку.
Бенчмарк намеренно спроектирован так, чтобы его нельзя было пройти статистическим сопоставлением паттернов или запоминанием: каждая задача уникальна, тестовый набор закрытый, а обучающих примеров слишком мало для обычного gradient-based обучения. Шолле противопоставляет «crystallized intelligence» (накопленные знания, которые хорошо измеряют MMLU и аналоги) и «fluid intelligence» (способность выводить правила из минимума примеров), утверждая, что ARC-AGI измеряет именно второе. Люди без специальной подготовки решают около 85% задач.
До 2023 года лучшие системы на основе языковых моделей решали не более 5–10% задач ARC-AGI, несмотря на отличные результаты на других бенчмарках. Переломный момент наступил в конце 2024 года: модель OpenAI o3 в режиме высоких вычислительных затрат набрала около 88% на скрытом тестовом наборе — результат, вызвавший широкую дискуссию о природе этого прорыва и о том, является ли он подлинным обобщением или следствием массового перебора.
В 2025 году был выпущен ARC-AGI-2 — существенно усложнённый вариант с многошаговыми зависимостями и составными правилами. По состоянию на 2026 год ARC-AGI-2 остаётся серьёзным вызовом для всех известных систем: человеческие результаты значительно превышают показатели лучших моделей, что сохраняет бенчмарк в качестве актуального ориентира в исследованиях обобщения и AGI.