Equipe da Tsinghua lança o OSWorld-Science: agentes são testados em softwares científicos

A equipe da Tsinghua apresentou o OSWorld-Science. O benchmark verifica se um agente de IA consegue não apenas explicar um problema científico, mas executá-lo em um programa profissional: da análise de espectros de ressonância magnética nuclear ao processamento de imagens patológicas, cálculos estatísticos e simulação física. O anúncio disponível não traz o número de tarefas nem os resultados de modelos específicos. Por isso, a principal pergunta, qual será a distância mostrada pelo leaderboard, continua em aberto.

Onde terminam as respostas em texto

Os modelos de linguagem atuais se saem bem na primeira etapa do trabalho científico. Eles explicam o método, listam os passos e escrevem um script de análise. Depois disso começa a parte que toma a maior fatia do tempo nos laboratórios: abrir o programa certo, carregar os dados, definir os parâmetros, navegar pelos menus, conferir o resultado intermediário e chegar a um produto final que possa entrar em um artigo.

É justamente esse trecho que os autores do OSWorld-Science escolheram avaliar. Tarefas como processar dados de RMN ou anotar imagens histológicas surgem todos os dias na pesquisa. Cultura geral não basta para executá-las. É preciso entender a área e trabalhar com cuidado em uma interface na qual o erro em um único parâmetro muda todo o resultado.

O que se sabe sobre o benchmark

• Desenvolvedor: equipe de pesquisa da Universidade Tsinghua.
• Formato: o agente controla o software científico por conta própria, em vez de descrever a solução em palavras.
• Áreas das tarefas: análise de RMN, processamento de imagens patológicas, estatística, simulação física.
• Requisitos para o agente: conhecimento especializado e execução confiável de uma sequência de operações.
• Não divulgado no trecho disponível: número de tarefas, lista de programas, metodologia de verificação do resultado, avaliações dos modelos e baseline humano.

Contexto: das tarefas de escritório às de laboratório

O nome remete ao OSWorld, benchmark de 2024 para agentes que operam computadores. Ele tinha 369 tarefas em Ubuntu, Windows e macOS. Os humanos resolviam cerca de 72% das tarefas, e o melhor modelo na época da publicação, pouco mais de 12%. Desde então, os agentes evoluíram bastante, mas os cenários gerais de escritório e navegador continuam sendo bem mais simples que os científicos.

O software científico profissional tem várias características incômodas para um agente. As interfaces são muito especializadas, muitas vezes antiquadas e fora do padrão. Há poucos exemplos de treinamento em acesso aberto. O principal: os erros ali são silenciosos. O programa não emite mensagem de erro, mas sim um gráfico ou um valor-p plausível e incorreto. Esta é a nossa leitura do problema, e não uma citação do anúncio, mas é por isso que a expressão «resultado confiável» parece central. Um benchmark que verifica apenas se as ações foram concluídas não serve aqui. O que importa é como se verifica o arquivo ou o número final.

Como lidar com isso

Para os laboratórios, a conclusão é pé no chão: ainda é cedo para dar autonomia sem supervisão a agentes de software científico. Um esquema razoável hoje é este: o agente prepara e executa os cálculos de rotina, o humano confere os parâmetros e o resultado, e o registro de ações é guardado para garantir a reprodutibilidade.

Para quem desenvolve agentes, o OSWorld-Science provavelmente será mais um teste rigoroso. Ele mostra o quanto o modelo mantém o contexto da área ao longo de uma cadeia longa de ações em uma interface real.

Antes de tirar conclusões, vale esperar pelo artigo e pelo repositório e observar quatro pontos: como funciona a verificação automática dos resultados, quantas tarefas só podem ser resolvidas pela interface gráfica, que resultado os especialistas humanos obtiveram e como os principais modelos comerciais e abertos se comportam no benchmark. Sem esses dados, o título continua sendo uma promessa, e não uma medição.