SciGame testa cinco agentes de LLM: fórmulas conhecidas atrapalham a descoberta de leis alteradas

Pesquisadores apresentaram o SciGame, um benchmark que verifica se agentes baseados em LLM conseguem descobrir leis científicas, e não apenas lembrá-las a partir dos dados de treinamento. Os autores empacotam cada fórmula de um artigo científico em uma "ficha" estruturada e, a partir dela, montam dois ambientes com a mesma interface: o original e o contrafactual. No segundo, a dependência é alterada, mas as dimensões das grandezas continuam consistentes. Se o agente se apoia no que decorou, ele erra no segundo ambiente. Experimentos com cinco modelos de ponta mostraram que é exatamente isso que acontece.

O que faltava nos benchmarks anteriores

Os autores apontam quatro problemas nos testes existentes. Primeiro, eles costumam mudar ao mesmo tempo a tarefa, o protocolo de observação e a métrica, o que impede comparar os regimes em uma mesma interface. Segundo, muitas métricas avaliam o ajuste aos dados, e não a previsão em entradas não vistas, e uma explicação plausível pode receber nota alta mesmo com um preditor incorreto. Terceiro, a maioria dos conjuntos é estática e quase não contém leis publicadas depois da data de corte de conhecimento do modelo. Quarto, as tarefas baseadas em artigos misturam a descoberta da lei com programação e reprodução de experimentos.

Outros trabalhos cobrem parte desses pontos: DiscoveryWorld e Auto-Discovery-Bench estudam a revisão de hipóteses e a escolha de experimentos, LLM-SRBench trata da busca de equações, Gravity-Bench altera o contexto físico, PaperBench avalia a reprodução de pesquisas e SciLaws-Bench monta tarefas a partir de artigos. Mas nenhum deles compara a mesma tarefa com e sem candidatos. No SciLaws-Bench, as configurações Real e Parallel usam protocolos de observação e de avaliação diferentes, então suas acurácias não são comparáveis.

Como funciona a avaliação

A ficha registra a relação entre as grandezas, os parâmetros, as definições das variáveis, as unidades de medida, o domínio válido das entradas e as condições de aplicabilidade. A partir dela, o benchmark gera ambientes com um simulador determinístico. A versão contrafactual é criada por mutações estruturais, nos moldes do NewtonBench (benchmark com leis físicas alteradas): mudam-se coeficientes e expoentes, e são adicionados transformações não lineares e dependências cruzadas entre as entradas. Os autores verificaram que as fórmulas de referência de cada ambiente não passam na avaliação com as observações do ambiente pareado. Isso significa que os ambientes podem ser distinguidos empiricamente.

Há dois tipos de tarefa. Em Identification, o agente escolhe a lei entre candidatos: recebe uma fórmula que combina as expressões original e contrafactual por meio de um parâmetro desconhecido. O simulador sempre define esse parâmetro como 0 ou 1, mas o agente não é informado disso. Em Discovery, não há candidatos, e a relação entre as entradas e as grandezas observadas precisa ser construída a partir da descrição, das restrições e das observações. Nos dois casos, o agente entrega expressões executáveis, uma explicação e as condições de aplicabilidade. Cada família de tarefas resulta em quatro tarefas.

Cada tarefa é executada em três protocolos:

• Prior-only: não há observações, e o agente se apoia no conhecimento decorado;
• Fixed: o agente recebe um conjunto de observações definido previamente;
• Adaptive: o agente propõe os próprios experimentos e decide quando entregar a resposta.

O benchmark inclui duas coleções. A Historical reúne leis canônicas da história da ciência, usadas como referências interpretáveis. A Temporal é montada por um pipeline que pode ser reexecutado: só entram artigos cuja data de publicação em periódico e cuja data do primeiro preprint são posteriores ao corte de conhecimento do modelo avaliado. Uma LLM extrai as dependências quantitativas, outra verifica de forma independente a exatidão e a completude das ffichas e corrige ou remove as incompletas. A janela de tempo se desloca conforme surgem novos modelos, para reduzir o risco de memorização.

O que mostraram os experimentos

São três avaliações: acurácia da previsão em entradas ocultas, sucesso hierárquico do episódio e nota da explicação segundo uma rubrica. Os autores destacam três conclusões. A primeira: fórmulas conhecidas ajudam nas leis originais, mas atrapalham quando a relação é alterada. A segunda: experimentos adaptativos beneficiam os modelos mais fortes e prejudicam os mais fracos quando o orçamento é limitado. A terceira: uma boa explicação pode esconder uma falha quantitativa, quando o texto é convincente, mas o preditor erra.

O principal gargalo continua sendo a recuperação da forma simbólica exata da fórmula, mesmo quando o agente interpreta corretamente as observações. A dependência funcional incorreta é o principal tipo de erro. Os autores concluem que os agentes atuais sabem explorar sistemas de forma ativa, mas a dedução de leis exatas em condições desconhecidas segue como um problema em aberto.

Para quem desenvolve agentes científicos, a lição é prática. A previsão em entradas não vistas deve ser medida separadamente, e uma explicação bem amarrada não deve ser tratada como sucesso. Vale conceder um orçamento adaptativo de experimentos apenas aos modelos que sabem administrá-lo. No trecho do artigo disponível, não há tabelas com pontuações, então não é possível comparar modelos específicos por números. Os autores publicaram o código e os dados.