DeepSeek V3.2 достигла 67% точности на тесте абстрактного мышления ARC-AGI

Des chercheurs ont publié sur arXiv une méthode permettant au modèle ouvert DeepSeek V3.2 de résoudre les tâches du test de raisonnement abstrait ARC-AGI-1 avec 67% de précision en pass@2, utilisant uniquement des architectures d'agents, fonctionnant en mode sans thinking-tokens et sans entraînement spécialisé sur les données ARC.

• DeepSeek V3.2 — modèle ouvert, mode sans thinking
• Explorer-Definer Pipeline: 57,50% pass@2 pour $0,25 par tâche
• Reflective Orchestrator: 67,25% pass@2 pour $0,62 par tâche
• Amélioration de 52 points par rapport au résultat baseline single-shot (15,50%)
• Découverte: la qualité de la génération de variantes importe plus que leur sélection

Comment fonctionne l'agent à deux étapes

Les chercheurs ont divisé la tâche en deux étapes: la découverte de motifs et la synthèse de programmes. Explorer-Definer Pipeline est composé de deux agents séquentiels. À la première étape, le modèle trouve des motifs dans les exemples; à la deuxième étape, il transforme les motifs en code de transformation exécutable. Cette division permet une décomposition systématique du problème au lieu de tenter de le résoudre à partir de zéro.

Résultat: le pipeline a atteint 57,50% de précision pass@2 sur un ensemble public de 400 tâches, dépensant $0,25 par tâche. Pour comparaison, le baseline single-shot (un exemple) a donné 15,50%.

Reflective Orchestrator: ré-exploration itérative

Sur la base du pipeline, les auteurs ont construit Reflective Orchestrator—un système qui ré-explore autonomement la tâche quand une hypothèse échoue sur les exemples d'entraînement. Quand la transformation trouvée ne fonctionne pas, Orchestrator recherche de nouvelles variantes plutôt que de simplement parcourir celles déjà trouvées. Cela a augmenté la précision à 67,25% pass@2, mais le coût est passé à $0,62 par tâche—un compromis entre précision et budget.

Observation critique: l'analyse a montré que le modèle est limité par la génération, non par la sélection. Sélectionner la meilleure réponse parmi celles proposées capture ~95% du potentiel, le reste doit venir de l'expansion de la génération elle-même. Orchestrator a confirmé ceci: le pass@1 impartial s'est amélioré de 9,81 points grâce à de nouvelles variantes, pas au ré-classement des anciennes.

Pourquoi cela constitue un défi pour les modèles frontier

Les auteurs ont contourné deux approches populaires: le heavy test-time compute (recherche évolutionnaire, chain-of-thought) sur GPT-5/Claude et le fine-tuning spécifique aux benchmarks de petits modèles. À la place, ils ont montré: DeepSeek V3.2 ouvert atteint 67% uniquement via une architecture de type agent, sans entraînement supplémentaire. L'outil thinking du modèle est un composant notable: le désactiver a réduit les résultats de 5,75 points, confirmant le raisonnement caché même en mode sans thinking.

Que signifie tout cela

L'étude propose une alternative à l'échelle: la division correcte des tâches et la ré-exploration itérative génèrent des gains plus importants qu'un simple modèle plus grand avec plus de compute. Pour les développeurs, c'est un signal: un système bien conçu peut dépasser l'échelle par l'ingénierie architecturale.

Questions fréquemment posées

Comment ARC-AGI-1 diffère-t-il des tests de capacité typiques?

ARC-AGI-1 est 400 tâches sur la découverte de motifs cachés. Le modèle voit 3–5 exemples (entrées-sorties) et doit proposer une logique de transformation pour de nouvelles entrées. C'est plus proche d'«apprendre à partir d'exemples en quelques étapes» que de questions de connaissance.

Pourquoi c'est moins cher que le fine-tuning?

Le fine-tuning nécessite la préparation des données, l'entraînement, la validation sur GPU. Ici—seulement l'inférence avec des appels d'agents: trois ou quatre accès au modèle par tâche. Tout se passe au temps d'inférence, sans mises à jour de poids.

Quand cela apparaîtra-t-il dans des produits réels?

Pour l'instant, c'est de la recherche sur arXiv du 6 juillet 2026. L'implémentation dans les produits dépend de la généralisabilité de la méthode au-delà d'ARC-AGI—cela reste actuellement flou.