Cientistas propuseram nova forma de medir inteligência de IA acima do nível humano

Um grupo de pesquisadores em julho de 2026 publicou um trabalho no arXiv propondo uma nova abordagem para medir as capacidades de sistemas de IA que já superam os humanos: em vez de testes fixos escritos por humanos, os modelos mesmos geram ensaios públicos entre si, e os resultados são agregados em uma classificação psicométrica competitiva.

Qual é o Problema Com os Benchmarks Existentes

A pergunta colocada no título do trabalho — "como medir a inteligência além da escala humana" — torna-se cada vez mais prática à medida que os modelos principais um a um ultrapassam os humanos em exames profissionais, testes de programação e olimpíadas científicas. Os benchmarks escritos por humanos ficam saturados ao longo do tempo (saturate) — os modelos gradualmente acumulam pontuações máximas ou próximas a máximas neles, e o teste deixa de distinguir sistemas pela qualidade. Para modelos que já superam os humanos em uma área particular, o problema piora: os criadores de testes (examinadores) podem simplesmente não saber quais tarefas são simultaneamente suficientemente difíceis e verificáveis (verifiable) para um sistema desse nível.

Os autores argumentam que esta dificuldade — não uma ocorrência casual de testes específicos, mas uma consequência sistêmica da abordagem de avaliação em uma escala absoluta (absolute-scale evaluation), quando o resultado é comparado contra um padrão humano fixo.

Como a Nova Abordagem Funciona

Em vez de uma escala absoluta, os autores propõem um paradigma de medição relativa (relative measurement): os modelos mesmos geram ensaios públicos (public challenges) projetados para separar outros sistemas pela qualidade — ou seja, o teste é criado não por um especialista humano, mas pelo sistema de IA mesmo competindo com outros.

• Os resultados de tais ensaios são agregados em um sistema de classificação psicométrica competitiva (adversarial psychometric rating system)
• Tal sistema, de acordo com o design dos autores, é capaz de escalar junto com o crescimento das capacidades dos sistemas avaliados — ou seja, não "bate no teto" como benchmarks estáticos
• Os autores descrevem protocolos práticos que reduzem incentivos para ataques baseados em informações privadas (private-information attacks) — ou seja, tentativas de "espiar" respostas ou condições de teste
• Os protocolos suportam adjudicação sem a participação de um juiz (judge-free), ou seja, não requerem um modelo-árbitro separado ou humano para render um veredicto
• A estrutura é testada tanto em tarefas verificáveis quanto em domínios abertos, não sujeitos a verificação formal (open-ended non-verifiable)

Por Que Um Sistema de Avaliação Tal É Necessário

A ideia é que a avaliação pudesse "continuar funcionando" mesmo depois que os sistemas superem o nível humano (human frontier) em uma área particular — onde os benchmarks escritos por humanos já são incapazes de distinguir um modelo bom de um excelente, porque o criador do teste mesmo não pode garantir avaliar a complexidade e correção de uma tarefa para um sistema sobre-humano.

O desafio chave de engenharia de tal abordagem é prevenir que os modelos se "confabulem" entre si ou adaptem testes às fraquezas de competidores de formas injustas. É precisamente por isso que os autores descrevem separadamente protocolos contra ataques baseados em informações privadas e insistem em adjudicação sem um juiz separado: quanto menos pontos no sistema que podem ser "enganados" por ações coordenadas de participantes de avaliação, mais confiável é a classificação resultante.

O Que Isso Significa

O trabalho se encaixa em uma discussão mais ampla sobre a saturação de benchmarks de IA existentes: à medida que os modelos ultrapassam testes humanos um a um, a indústria precisa de métodos de medição que não dependem da capacidade dos humanos de pensar em tarefas suficientemente complexas. Uma abordagem onde os modelos mesmos geram e avaliam ensaios entre si é uma resposta possível para este desafio, embora sua confiabilidade prática e resistência a manipulação ainda precisem ser testadas em sistemas reais e amplamente utilizados.

Perguntas Frequentes

Qual é a

Ideia Central Por Trás da Nova Abordagem de Benchmark?

Em vez de usar testes fixos escritos por humanos, os modelos mesmos geram desafios públicos entre si e são classificados em um sistema de classificação psicométrica competitiva. Isso permite medição contínua mesmo quando os modelos superam os níveis de desempenho humano.

Como Esta Abordagem Lida Com o Problema de Saturação?

Ao ter modelos que geram testes dinamicamente com base em competição com outros sistemas, a abordagem inerentemente escala com a capacidade dos sistemas avaliados. À medida que os modelos se tornam mais fortes, testes mais desafiadores são naturalmente gerados, prevenindo o problema do "teto" de benchmarks estáticos.

Que Salvaguardas Impedem que os Modelos Joguem o Sistema?

Os autores descrevem protocolos contra ataques de informação privada e suportam adjudicação sem juiz, minimizando pontos de manipulação no sistema de classificação e garantindo a confiabilidade da classificação final.