OpenRSI Index chega a 133 mil visualizações: a IA é medida pelo nível dos cientistas

O projeto OpenRSI Index, que tenta responder à pergunta "a que distância a IA está do nível dos pesquisadores de ponta", reuniu mais de 133 mil visualizações no post de lançamento no X. O tema também entrou na seção Today's News da plataforma. A informação é do veículo chinês Jiqizhixin. No trecho disponível da matéria, a metodologia do índice não é revelada. Por isso, abaixo separamos o que se sabe do que ainda precisa ser verificado.

O que se sabe até agora

Há poucos fatos, e eles dizem respeito sobretudo à reação do público, não ao conteúdo do projeto:

• nome: OpenRSI Index (a publicação também usa OpenRSI-Index);
• plataforma de lançamento: X, com um post inicial de mais de 133 mil visualizações;
• sinal adicional: menção no Today's News, seção em que a plataforma destaca discussões de maior visibilidade;
• enquadramento da pergunta: quanto falta para a IA superar os pesquisadores de ponta.

Pelo nome, é possível supor que RSI esteja ligado ao autoaperfeiçoamento recursivo (recursive self-improvement), isto é, a uma IA que acelera o desenvolvimento da própria IA. A fonte não confirma essa leitura no trecho citado, então trata-se de uma hipótese.

Por que o foco saiu dos rankings e foi para a ciência

O título original contrapõe "inflar rankings" a "fazer ciência". Por trás dessa oposição há um problema conhecido: os benchmarks clássicos estão saturados. Os modelos chegam ao teto, e uma diferença de alguns pontos percentuais diz pouco sobre a capacidade de conduzir uma pesquisa.

O setor já tentou migrar para tarefas mais realistas. A OpenAI lançou o MLE-bench, baseado em 75 competições do Kaggle, e o PaperBench, em que o agente reproduz trabalhos da conferência ICML. A METR propôs o RE-Bench, um conjunto de ambientes de engenharia de pesquisa em que o resultado dos agentes é comparado ao de especialistas humanos. Todos esses projetos avaliam partes do trabalho de um pesquisador. Um índice único que pretende comparar a IA com cientistas de ponta precisa abranger mais: a formulação de hipóteses, o desenho de experimentos, a análise de falhas e a escolha do passo seguinte.

O que procurar na metodologia

Muito interesse ainda não significa qualidade de medição. Para avaliar o OpenRSI Index, é preciso responder a algumas perguntas:

• De quais tarefas o índice é composto e o quanto elas se parecem com o trabalho real de pesquisa?
• Quem são os "pesquisadores de ponta" e como se define o nível de referência deles: médio, o melhor, limitado por tempo?
• Como se evita o vazamento de dados de teste para os conjuntos de treinamento?
• Quem avalia o resultado: métricas automáticas, especialistas ou outro modelo?
• Os dados e o código são abertos (o "Open" no nome sugere que sim) e é possível reproduzir os números de forma independente?
• O que exatamente conta como "superioridade": velocidade, precisão, novidade do resultado?

Sem essas respostas, qualquer número final do tipo "a IA está a 40% do caminho" continua sendo bonito, mas difícil de verificar.

Conclusão prática

Para equipes que desenvolvem produtos com agentes ou planejam processos de pesquisa com IA, três medidas fazem sentido por ora. Primeiro, esperar a publicação da metodologia e verificar se a composição das tarefas coincide com a de vocês. Segundo, não transferir o índice final para o seu próprio trabalho: é melhor rodar os modelos em um conjunto interno de casos reais, medindo o tempo e a taxa de erros. Terceiro, ao ler qualquer afirmação sobre "superioridade em relação aos cientistas", perguntar em qual horizonte as tarefas foram avaliadas: horas e semanas de trabalho dão resultados diferentes.

O interesse pelo OpenRSI Index mostra que a discussão sobre IA como pesquisadora já ultrapassa o círculo restrito de especialistas. Quanto o índice merece confiança só ficará claro pelos detalhes que ainda não estão disponíveis publicamente.