DeepSeek V3.2 достигла 67% точности на тесте абстрактного мышления ARC-AGI

Investigadores publicaron en arXiv un método que permite al modelo abierto DeepSeek V3.2 resolver tareas de la prueba de razonamiento abstracto ARC-AGI-1 con 67% de precisión en pass@2, utilizando solo arquitecturas de agentes, operando en modo sin thinking-tokens y sin entrenamiento especializado en datos ARC.

• DeepSeek V3.2 — modelo abierto, modo sin thinking
• Explorer-Definer Pipeline: 57,50% pass@2 por $0,25 por tarea
• Reflective Orchestrator: 67,25% pass@2 por $0,62 por tarea
• Mejora de 52 puntos del resultado baseline single-shot (15,50%)
• Descubrimiento: la calidad de la generación de variantes importa más que su selección

Cómo funciona el agente de dos etapas

Los investigadores dividieron la tarea en dos etapas: descubrimiento de patrones y síntesis de programas. Explorer-Definer Pipeline son dos agentes secuenciales. En la primera etapa, el modelo encuentra patrones en los ejemplos; en la segunda etapa, transforma patrones en código de transformación ejecutable. Esta división permite descomposición sistemática del problema en lugar de intentar resolverlo desde cero.

Resultado: el pipeline logró 57,50% de precisión pass@2 en un conjunto público de 400 tareas, gastando $0,25 por tarea. Para comparación, el baseline single-shot (un ejemplo) produjo 15,50%.

Reflective Orchestrator: re-exploración iterativa

Con base en el pipeline, los autores construyeron Reflective Orchestrator—un sistema que re-explora autónomamente la tarea cuando una hipótesis falla en los ejemplos de entrenamiento. Cuando la transformación encontrada no funciona, Orchestrator busca nuevas variantes en lugar de simplemente iterar a través de las ya encontradas. Esto aumentó la precisión a 67,25% pass@2, pero el costo subió a $0,62 por tarea—un compromiso entre precisión y presupuesto.

Observación crítica: el análisis mostró que el modelo está limitado por generación, no por selección. Seleccionar la mejor respuesta entre las propuestas captura ~95% del potencial, el resto debe provenir de expandir la generación misma. Orchestrator confirmó esto: el pass@1 imparcial mejoró 9,81 puntos gracias a nuevas variantes, no a re-ranking de las antiguas.

Por qué esto desafía los modelos frontier

Los autores evitaron dos enfoques populares: heavy test-time compute (búsqueda evolutiva, chain-of-thought) sobre GPT-5/Claude y fine-tuning específico de benchmark en modelos pequeños. En su lugar, mostraron: DeepSeek V3.2 abierto logra 67% únicamente a través de arquitectura de tipo agente, sin entrenamiento adicional. La herramienta thinking del modelo es un componente notable: desactivarla redujo resultados en 5,75 puntos, confirmando razonamiento oculto incluso en modo sin thinking.

Qué significa esto

El estudio propone una alternativa a la escala: la división correcta de tareas y la re-exploración iterativa generan mayores ganancias que simplemente un modelo más grande con más compute. Para los desarrolladores, esta es una señal: un sistema bien diseñado puede superar la escala mediante ingeniería arquitectónica.

Preguntas frecuentes

¿Cómo se diferencia ARC-AGI-1 de las pruebas típicas de capacidad?

ARC-AGI-1 son 400 tareas sobre descubrimiento de patrones ocultos. El modelo ve 3–5 ejemplos (entradas-salidas) y debe proponer lógica de transformación para nuevas entradas. Esto es más cercano a "aprender de ejemplos en pocos pasos" que a preguntas de conocimiento.

¿Por qué esto es más barato que fine-tuning?

El fine-tuning requiere preparación de dataset, entrenamiento, validación en GPU. Aquí—solo inferencia con llamadas de agentes: tres o cuatro accesos al modelo por tarea. Todo ocurre en inference-time, sin actualizaciones de pesos.

¿Cuándo aparecerá esto en productos reales?

Por ahora, esta es investigación en arXiv del 6 de julio de 2026. La implementación en productos depende de la generalización del método más allá de ARC-AGI—actualmente no está claro.