Cientistas propõem nova forma de medir a inteligência da IA acima do nível humano

Em julho de 2026, um grupo de pesquisadores publicou no arXiv um trabalho que propõe uma nova abordagem para medir as capacidades de sistemas de IA que já superam os humanos. Em vez de testes fixos escritos por pessoas, os modelos geram desafios públicos uns para os outros, e os resultados são agregados em um ranking psicométrico adversarial.

Qual é o problema dos benchmarks atuais

A pergunta que dá título ao trabalho, como medir inteligência além da escala humana, torna-se cada vez mais prática à medida que os modelos de ponta ultrapassam as pessoas, um após o outro, em exames profissionais, testes de programação e olimpíadas científicas. Os benchmarks escritos por humanos saturam com o tempo: os modelos vão atingindo a pontuação máxima ou quase máxima, e o teste deixa de diferenciar os sistemas por qualidade. Para modelos que já superam os humanos em uma área específica, o problema se agrava: os elaboradores de testes (examiners) podem simplesmente não saber quais tarefas são, ao mesmo tempo, difíceis o bastante e verificáveis para um sistema desse nível.

Os autores afirmam que essa dificuldade não é acaso de testes específicos, mas consequência sistêmica da própria abordagem, a avaliação em escala absoluta, na qual o resultado é comparado a uma referência humana fixa.

Como funciona a nova abordagem

No lugar da escala absoluta, os autores propõem um paradigma de medição relativa: os modelos geram desafios públicos feitos para separar outros sistemas por qualidade. Ou seja, o teste é criado não por um especialista humano, mas por um sistema de IA que compete com os demais.

• Os resultados desses desafios são agregados em um sistema de classificação psicométrica adversarial
• Pelo projeto dos autores, o sistema pode escalar conforme crescem as capacidades dos sistemas avaliados, ou seja, não «bate no teto» como os benchmarks estáticos
• Os autores descrevem protocolos práticos que reduzem os incentivos a ataques baseados em informação privada, isto é, tentativas de «espiar» as respostas ou as condições do teste
• Os protocolos permitem adjudicação sem juiz, ou seja, não exigem um modelo árbitro separado nem uma pessoa para dar o veredito
• O framework foi testado tanto em tarefas verificáveis quanto em domínios abertos, que não permitem verificação formal

Por que um sistema de avaliação assim é necessário

A ideia é que a avaliação possa «continuar funcionando» depois que os sistemas superarem a fronteira humana em determinada área. Ali, os benchmarks escritos por pessoas já não conseguem distinguir um bom modelo de um excelente, porque o elaborador humano não consegue garantir a avaliação da dificuldade e da correção de uma tarefa para um sistema sobre-humano.

O principal desafio de engenharia dessa abordagem é impedir que os modelos «combinem» entre si ou ajustem os desafios, de forma desonesta, aos pontos fracos dos concorrentes. Por isso os autores descrevem à parte protocolos contra ataques baseados em informação privada e defendem a adjudicação sem um juiz separado: quanto menos pontos do sistema puderem ser «enganados» por ações coordenadas dos participantes, mais confiável será o ranking final.

O que isso significa

O trabalho se insere no debate mais amplo sobre a saturação (saturation) dos benchmarks de IA existentes: à medida que os modelos superam os testes humanos um a um, a indústria precisa de formas de medição que não dependam da capacidade das pessoas de criar tarefas suficientemente difíceis. Fazer os próprios modelos gerarem e avaliarem desafios uns para os outros é uma das respostas possíveis, embora sua confiabilidade prática e sua resistência a manipulações ainda precisem ser verificadas em sistemas reais e amplamente usados.