DeepSeek V3.2 достигла 67% точности на тесте абстрактного мышления ARC-AGI

Исследователи опубликовали на arXiv метод, позволяющий открытой модели DeepSeek V3.2 решать задачи теста абстрактного мышления ARC-AGI-1 с точностью 67% на pass@2, используя только агентские архитектуры, работая в режиме без thinking-токенов и без специального обучения на данных ARC.

• DeepSeek V3.2 — открытая модель, режим без thinking
• Explorer-Definer Pipeline: 57.50% pass@2 за $0.25 на задачу
• Reflective Orchestrator: 67.25% pass@2 за $0.62 на задачу
• Улучшение на 52 пункта от базового одноshot результата (15.50%)
• Выявлено: качество генерации вариантов важнее их отбора

Как работает двухстадийный агент

Исследователи разделили задачу на две стадии: открытие паттернов и синтез программ. Explorer-Definer Pipeline — это два последовательных агента. На первой стадии модель находит закономерности в примерах; на второй — преобразует паттерны в исполняемый код трансформации. Такое разделение позволяет систематически разбирать задачу вместо попытки решить её «с нуля».

Результат: pipeline достиг 57.50% точности pass@2 на публичном наборе из 400 задач, потратив $0.25 на задачу. Для сравнения, baseline одноshot (один пример) дал 15.50%.

Reflective Orchestrator: итеративное переисследование

На базе pipeline авторы построили Reflective Orchestrator — систему, которая автономно переисследует задачу, когда гипотеза отказывает на примерах обучения. Когда найденная трансформация не работает, Orchestrator ищет новые варианты, а не просто перебирает уже найденные. Это увеличило точность до 67.25% pass@2, но стоимость выросла до $0.62 за задачу — компромисс между точностью и бюджетом.

Критическое наблюдение: анализ показал, что модель — generation-bound, а не selection-bound. Выбор лучшего ответа из предложенных улавливает ~95% потенциала, остаток нужно получить расширением самой генерации. Orchestrator подтвердил это: unbiased pass@1 улучшилась на 9.81 пункта благодаря новым вариантам, а не переранжированию старых.

Почему это вызов для фронтиерных моделей

Авторы обошли два популярных подхода: heavy test-time compute (эволюционный поиск, цепное мышление) над GPT-5/Claude и benchmark-specific fine-tuning маленьких моделей. Вместо этого показали: открытая DeepSeek V3.2 достигает 67% только через архитектуру агентского типа, без дообучения. Think-инструмент модели — заметный компонент: его отключение снизило результат на 5.75 пункта, что подтверждает скрытые рассуждения даже в режиме без thinking.

Что это значит

Исследование предлагает альтернативу масштабу: правильное разделение задачи и итеративное переисследование дают больший прирост, чем просто большая модель с большим compute. Для разработчиков это сигнал: хорошая система может обойти масштаб через инженерию архитектуры.

Частые вопросы

Чем ARC-AGI-1 отличается от обычных тестов способностей?

ARC-AGI-1 — это 400 задач на открытие скрытых паттернов. Модель видит 3–5 примеров (входы-выходы) и должна предложить логику трансформации для новых входов. Это ближе к «научиться из примеров за считаные шаги», чем к знаниевым вопросам.

Почему это дешевле, чем fine-tuning?

Fine-tuning требует подготовки датасета, обучения, валидации на GPU. Здесь — только инфера с агентскими вызовами: три-четыре обращения к модели за задачу. Всё происходит в inference-time, без обновления весов.

Когда это появится в реальных продуктах?

Пока это исследование на arXiv от 6 июля 2026 года. Внедрение в продукты зависит от обобщаемости метода вне ARC-AGI — это пока неясно.