OpenAI apresenta o BioBasicsBench: GPT-6 Astra marca 66,7% em análise de dados de wet-lab

Se você está criando um agente de IA para a ciência, a questão principal não é se ele sabe resumir artigos. O que importa é se ele consegue olhar uma foto borrada de um gel ou de uma placa com colônias e dizer com honestidade: "não dá para tirar nenhuma conclusão disso". É exatamente isso que o novo benchmark da OpenAI, o BioBasicsBench, criado em parceria com a empresa de biotecnologia Ligo, avalia.

O que há no benchmark

O conjunto reúne 100 tarefas de cinco áreas do trabalho laboratorial de rotina: métodos com proteínas, imagem e citometria, ensaios quantitativos, trabalho com ácidos nucleicos e clonagem molecular. Os dados são brutos: géis e blots, fotos de placas, pilhas de microscopia, arquivos FASTQ, exportações de leitores de placas e até vídeos do trabalho na bancada.

As tarefas foram escritas por cientistas com dados de seus próprios experimentos. Cada uma foi verificada por um revisor interno da Ligo, por um especialista externo com nível de PhD e, mais uma vez, pela equipe. As respostas são avaliadas por uma rubrica de especialistas: os pontos são dados por critérios individuais, de modo que uma conclusão correta com raciocínio fraco se distingue de uma resposta totalmente correta. Alguns critérios verificam se o agente reconheceu que os dados eram insuficientes.

Foram avaliados sete modelos em 37 configurações de raciocínio, com cinco tentativas por tarefa, totalizando 18 500 resultados.

Resultados

Na configuração xhigh, o GPT-6 Astra obteve 66,7% (intervalo de confiança de 60,3–73,1%), o GPT-6.1 Sol, 62,0%, o GPT-5.6 Sol, 43,8%, o GPT-6 Luna, 38,3% e o GPT-5.2, 31,2%. Além disso, a Astra gasta menos tokens: cerca de 4 700 por tarefa, contra 9 100 do Sol. Segundo a OpenAI, o fator-chave é uma multimodalidade nativa mais forte: a Astra enxerga melhor os detalhes das fotos.

Os exemplos são ilustrativos. Em uma tarefa de clonagem, o Sol viu uma placa de controle vazia e a aceitou como uma boa verificação de controle. A Astra leu no aro o rótulo "Kan50", ou seja, canamicina em vez de ampicilina, e rejeitou o controle. Em outra tarefa, o Sol procurou uma explicação biológica para células que desapareciam, enquanto a Astra entendeu que se tratava de um z-stack, isto é, uma captura em diferentes profundidades. Em uma terceira, o Sol declarou as células mortas pelo sinal de um corante, embora um segundo corante se sobrepusesse no espectro; a Astra solicitou controles adicionais.

Onde os modelos ainda falham

A OpenAI mostra com honestidade também as falhas da Astra. Ela separou corretamente os grupos de colônias no gel, mas confundiu qual era qual e escolheu as colônias 4, 6, 7, 8 em vez das de referência 5, 9, 10. A suposição habitual de que "um produto de PCR maior significa clonagem bem-sucedida" pesou mais do que as raias de controle. Em outro caso, ela generalizou que os vacúolos são mais escuros que a célula, ignorando vacúolos mais claros no mesmo campo, embora ela mesma tenha notado que o contraste depende do foco. E, ao contar colônias, superestimou o resultado em cerca de 12%, o que infla diretamente a estimativa da eficiência de transformação.

O que fazer com isso

Para as equipes que constroem agentes científicos, a conclusão é prática. Primeiro, avalie não apenas a resposta final, mas também a capacidade de dizer "os dados são insuficientes": esse é um critério separado da rubrica. Segundo, não confie no agente para selecionar amostras automaticamente para a etapa seguinte, como escolher colônias para purificação de plasmídeo: o custo de um erro se propaga em cascata. Terceiro, a contagem de objetos em imagens é melhor verificada com ferramentas clássicas ou por uma pessoa.

As limitações também merecem ser consideradas: o benchmark é pequeno, com 100 tarefas, os intervalos são bastante amplos, e a avaliação foi conduzida pela própria OpenAI com seus próprios modelos, sem comparação com modelos de outros laboratórios. Ainda assim, o formato em si, baseado em dados reais imperfeitos com armadilhas como um rótulo errado, é mais próximo da realidade do que imagens selecionadas de artigos. Para gerentes de produto em biotecnologia, é um bom modelo para a avaliação interna de seus próprios agentes.