Claude Opus 5 monta baselines simples que recuperam 95,5% da distância até os modelos de DL publicados na Nature e na Science

Uma equipe da Carnegie Mellon University propôs usar um modelo de linguagem para checar artigos de grande repercussão sobre deep learning, construindo automaticamente baselines simples para eles. No experimento, o Claude Opus 5 recebeu 36 tarefas extraídas de trabalhos da Nature, da Science e de periódicos da família Cell e escreveu, para cada uma, um script com um modelo simples. O resultado mediano foi surpreendentemente alto: os baselines fecharam 95,5% da distância entre um preditor trivial e a rede neural publicada, e a média entre as tarefas foi de 85,7%. Em 12 das 36 tarefas, o modelo simples igualou o deep learning ou o superou.

Como a força do baseline foi medida

Os autores criaram a métrica Simple Baseline Strength (SBS). Ela é uma fração adimensional: parte do resultado de um preditor trivial (uma constante, como a média do alvo ou a classe mais frequente) e vai até o resultado do modelo de DL publicado. Um SBS igual a 0 significa que o baseline não é melhor que o trivial. O valor 1 indica que ele igualou a rede neural, e um valor acima de 1 indica que a superou. A normalização permite comparar tarefas com métricas diferentes. Para métricas em que um valor menor é melhor, a fórmula funciona da mesma forma.

As tarefas foram escolhidas entre artigos abertos publicados de 31 de janeiro de 2024 a 18 de setembro de 2026. A condição era ter dados públicos, de modo que a amostra reflete apenas estudos que abriram seus datasets. A seleção cobre oito áreas científicas, com no mínimo três tarefas em cada uma e no mínimo três tarefas de cada periódico da família Nature. Os resultados dos baselines não foram usados na escolha das tarefas.

Cada tentativa rodou em um contêiner sem rede, exceto pelo acesso à API do provedor do modelo. Os rótulos de teste e os arquivos de resultados ficaram armazenados fora do contêiner. O agente escrevia e executava um único script, com limite de 30 minutos, apenas em CPU e sem pesos pré-treinados: checkpoints treinados em dados abertos poderiam ter visto o conjunto de teste. O prompt pedia um "baseline razoável", e não necessariamente o mais simples, por isso redes neurais eram permitidas. No fim, dos 157 scripts avaliáveis, 47 usaram PyTorch e 85 usaram gradient boosting sobre árvores.

Onde os modelos simples falharam

Cada tarefa foi repetida cinco vezes. Das 180 tentativas, 157 geraram previsões válidas; 16 tarefas tiveram ao menos uma tentativa malsucedida, e três ficaram com no máximo duas execuções avaliáveis. Se as falhas forem contadas como zero, a média cai para 79,6%, enquanto a mediana continua em 95,5%.

Seis tarefas tiveram SBS mediano abaixo de 0,5. Todas as seis tiveram pelo menos uma tentativa malsucedida. Nas seis, o agente recebeu não atributos tabulares, mas sequências brutas, descrições de estruturas em formato de texto ou coordenadas atômicas. Ainda assim, o fracasso não se explica só pelo tipo de entrada: várias tarefas com dados semelhantes ficaram perto de 1 ou acima. Em duas das seis, a mediana foi calculada com apenas duas repetições avaliáveis. A avaliação de validação feita pelo próprio agente tem só uma correlação grosseira com a do teste, e as repetições de uma mesma tarefa costumam render resultados próximos.

Os autores também compararam configurações com diferentes volumes de computação em um conjunto separado de nove tarefas. Parte dessas execuções usou versões anteriores do ambiente, nas quais a documentação das tarefas estava oculta, então a comparação direta exige cautela. Eles também analisam o efeito do nível de contexto da pesquisa, mas o texto disponível não traz números sobre isso. Os autores não testaram diferenças entre periódicos e áreas e não tiram conclusões da ordem entre eles: são poucos grupos, de três a seis tarefas por área.

Por que isso importa para os revisores

A motivação é que a revisão por pares não acompanha o fluxo de artigos. A Springer Nature informou 3,1 milhões de trabalhos submetidos em 2025, 30% a mais que no ano anterior. O número de submissões ao ICLR passou de 11 603 para 19 525, e no NeurIPS foi de 9 467 em 2020 para 21 575 em 2025. No arXiv, o número de trabalhos entre 2023 e 2025 cresceu 36,4%, de 208 493 para 284 486.

Baselines ignorados já distorceram o quadro: na previsão da resposta de células a perturbações, cinco modelos de fundação não superaram métodos simples; na previsão de séries temporais de longo prazo, modelos lineares de uma camada superaram o Transformer em nove datasets; e, em 45 datasets tabulares, as árvores continuaram mais fortes que as redes neurais.

A conclusão prática para autores e revisores é que o baseline automático pode ser usado como uma checagem barata do ganho de qualidade declarado. Isso não prova que o método de DL seja inútil: ele pode trazer vantagens em interpretabilidade ou em outros dados. Mas, se um modelo simples em CPU recupera quase toda a distância em 30 minutos, os autores deveriam explicar o que, exatamente, justifica a arquitetura complexa.