DeepSeek V3.2 достигла 67% точности на тесте абстрактного мышления ARC-AGI

Pesquisadores publicaram no arXiv um método que permite ao modelo aberto DeepSeek V3.2 resolver tarefas do teste de raciocínio abstrato ARC-AGI-1 com 67% de precisão em pass@2, usando apenas arquiteturas de agentes, operando em modo sem thinking-tokens e sem treinamento especializado em dados ARC.

• DeepSeek V3.2 — modelo aberto, modo sem thinking
• Explorer-Definer Pipeline: 57,50% pass@2 por $0,25 por tarefa
• Reflective Orchestrator: 67,25% pass@2 por $0,62 por tarefa
• Melhoria de 52 pontos do resultado baseline single-shot (15,50%)
• Descoberta: a qualidade da geração de variantes importa mais que sua seleção

Como funciona o agente de dois estágios

Pesquisadores dividiram a tarefa em dois estágios: descoberta de padrões e síntese de programas. Explorer-Definer Pipeline são dois agentes sequenciais. No primeiro estágio, o modelo encontra padrões nos exemplos; no segundo estágio, transforma padrões em código executável de transformação. Essa divisão permite decomposição sistemática do problema em vez de tentar resolvê-lo do zero.

Resultado: o pipeline alcançou 57,50% de precisão pass@2 em um conjunto público de 400 tarefas, gastando $0,25 por tarefa. Para comparação, o baseline single-shot (um exemplo) produziu 15,50%.

Reflective Orchestrator: re-exploração iterativa

Com base no pipeline, os autores construíram o Reflective Orchestrator—um sistema que re-explora autonomamente a tarefa quando uma hipótese falha nos exemplos de treinamento. Quando a transformação encontrada não funciona, o Orchestrator busca novas variantes em vez de simplesmente iterar pelas já encontradas. Isso aumentou a precisão para 67,25% pass@2, mas o custo subiu para $0,62 por tarefa—um compromisso entre precisão e orçamento.

Observação crítica: a análise mostrou que o modelo é generation-bound, não selection-bound. Selecionar a melhor resposta entre as propostas captura ~95% do potencial, o restante deve vir da expansão da própria geração. Orchestrator confirmou isso: o pass@1 imparcial melhorou 9,81 pontos graças a novas variantes, não re-ranking das antigas.

Por que isso desafia modelos frontier

Os autores contornaram duas abordagens populares: heavy test-time compute (busca evolutiva, chain-of-thought) sobre GPT-5/Claude e fine-tuning específico de benchmark em modelos pequenos. Em vez disso, mostraram: o DeepSeek V3.2 aberto alcança 67% apenas através de arquitetura de tipo agente, sem treinamento adicional. A ferramenta thinking do modelo é um componente notável: desativá-la reduziu resultados em 5,75 pontos, confirmando raciocínio oculto até mesmo em modo sem thinking.

O que isso significa

O estudo propõe uma alternativa à escala: divisão correta da tarefa e re-exploração iterativa geram ganhos maiores do que simplesmente um modelo maior com mais compute. Para desenvolvedores, este é um sinal: um sistema bem projetado pode superar a escala através de engenharia arquitetônica.

Perguntas frequentes

Como ARC-AGI-1 difere dos testes típicos de habilidade?

ARC-AGI-1 são 400 tarefas sobre descoberta de padrões ocultos. O modelo vê 3–5 exemplos (entradas-saídas) e deve propor lógica de transformação para novas entradas. Isso é mais próximo de "aprender com exemplos em poucos passos" do que perguntas de conhecimento.

Por que isso é mais barato que fine-tuning?

Fine-tuning requer preparação de dataset, treinamento, validação em GPU. Aqui—apenas inferência com chamadas de agentes: três ou quatro acessos ao modelo por tarefa. Tudo acontece em inference-time, sem atualizações de pesos.

Quando isso aparecerá em produtos reais?

Por enquanto, esta é pesquisa no arXiv de 6 de julho de 2026. A implementação em produtos depende da generalizabilidade do método além de ARC-AGI—atualmente não está claro.