NVIDIA crava 100% no ARC-AGI-3: o protagonista não é o modelo, e sim o harness

A NVIDIA informou que sua arquitetura agêntica AVO alcançou 100% no benchmark ARC-AGI-3 e classificou o feito como uma demonstração de uma "arquitetura de uso geral de nível de fronteira para tarefas agênticas longas". Os engenheiros da empresa detalharam o resultado no blog NVIDIA Developer.

O que aconteceu

O ARC-AGI-3 é a terceira geração do benchmark de raciocínio abstrato criado por François Chollet e um dos testes mais difíceis da indústria. Diferentemente dos antecessores, ele usa ambientes interativos em formato de jogo, nos quais o agente precisa descobrir sozinho as regras do mundo, experimentando com ele, sem instruções nem dicas. Os resultados dos modelos de fronteira aqui ficaram modestos por bastante tempo: até pouco tempo atrás, números abaixo de 40% já eram considerados um avanço notável.

Nesse contexto, os 100% da AVO representam um salto enorme. Mas a parte mais importante do anúncio não é o número, e sim a explicação de como ele foi alcançado.

• O ARC-AGI-3 é um benchmark interativo: o agente deduz as regras do ambiente por conta própria, por tentativa e erro
• A AVO atingiu o resultado máximo, 100%
• Segundo a avaliação da NVIDIA, a contribuição decisiva veio da arquitetura do agente, e não da potência "bruta" do modelo

Harness: o novo centro de gravidade

A tese central da NVIDIA é que o modelo de linguagem de fronteira é apenas um dos componentes de um agente de IA. Todo o resto fica a cargo do sistema ao redor, que a indústria chama de harness. É ele que define como o modelo recebe contexto, como chama ferramentas, como preserva o estado entre os passos, como reage ao feedback do ambiente, como se recupera de falhas e como mantém o progresso em tarefas de dezenas ou centenas de passos.

O TechCrunch foi ainda mais direto: a NVIDIA mostrou que o verdadeiro herói agora é o harness, não o modelo. O mesmo "cérebro", com harnesses diferentes, produz resultados radicalmente distintos. Isso explica por que as empresas que constroem produtos agênticos competem cada vez mais pela engenharia do circuito ao redor do modelo, e não pelo acesso ao próximo modelo da vez.

O que isso significa

O resultado da AVO desloca o foco da corrida do treinamento de modelos para a engenharia de sistemas em torno deles. É uma disciplina em que levam vantagem as equipes com forte cultura de infraestrutura, e não apenas os laboratórios com os maiores clusters. Há também um lado negativo: quando um benchmark é fechado em 100%, ele deixa de medir progresso. O ARC-AGI-3 deve seguir o destino de seus antecessores, e a indústria volta a precisar de um teste que ainda ninguém resolveu.

Perguntas frequentes

O que é o ARC-AGI-3?

É um benchmark interativo de inteligência geral da série ARC, de François Chollet: um conjunto de ambientes em formato de jogo cujas regras o agente precisa deduzir sozinho, interagindo com o mundo. É considerado um dos testes mais difíceis de generalização, e não de conhecimento decorado.

O que é harness?

É a camada de software em torno de um agente de IA: os subsistemas de entrega de contexto, chamada de ferramentas, memória, tratamento de erros e controle de tarefas longas. O resultado da NVIDIA mostra que a qualidade do harness influencia o desfecho tanto quanto a qualidade do próprio modelo.