OpenAI presenta BioBasicsBench: GPT-6 Astra obtiene un 66,7 % en análisis de datos de wet-lab

Si estás desarrollando un agente de IA para la ciencia, la pregunta clave no es si sabe resumir artículos. Lo importante es si puede mirar una foto borrosa de un gel o de una placa con colonias y decir con honestidad: «de esto no se puede sacar ninguna conclusión». Eso es justo lo que evalúa el nuevo benchmark de OpenAI, BioBasicsBench, creado junto con la empresa biotecnológica Ligo.

Qué contiene el benchmark

El conjunto incluye 100 tareas de cinco áreas del trabajo rutinario de laboratorio: métodos con proteínas, imagen y citometría, ensayos cuantitativos, trabajo con ácidos nucleicos y clonación molecular. Los datos son en bruto: geles y blots, fotos de placas, pilas de microscopía, archivos FASTQ, exportaciones de lectores de placas e incluso vídeos del trabajo en el banco de laboratorio.

Las tareas fueron redactadas por científicos con datos de sus propios experimentos. Cada una fue revisada por un revisor interno de Ligo, por un especialista externo con nivel de doctorado y, una vez más, por el equipo. Las respuestas se evalúan con una rúbrica de expertos: se otorgan puntos por criterios individuales, de modo que una conclusión correcta con un razonamiento deficiente se distingue de una respuesta totalmente correcta. Algunos criterios comprueban si el agente reconoció que los datos eran insuficientes.

Se evaluaron siete modelos en 37 configuraciones de razonamiento, con cinco intentos por tarea, para un total de 18 500 resultados.

Resultados

En la configuración xhigh, GPT-6 Astra obtuvo un 66,7 % (intervalo de confianza 60,3–73,1 %), GPT-6.1 Sol un 62,0 %, GPT-5.6 Sol un 43,8 %, GPT-6 Luna un 38,3 % y GPT-5.2 un 31,2 %. Además, Astra gasta menos tokens: unos 4 700 por tarea frente a 9 100 de Sol. Según OpenAI, el factor clave es una multimodalidad nativa más sólida: Astra ve mejor los detalles de las fotos.

Los ejemplos son muy ilustrativos. En una tarea de clonación, Sol vio una placa de control vacía y la dio por buena como control. Astra leyó en el borde la etiqueta «Kan50», es decir, kanamicina en lugar de ampicilina, y rechazó el control. En otra tarea, Sol buscó una explicación biológica para unas células que desaparecían, mientras que Astra entendió que se trataba de un z-stack, es decir, una captura a distintas profundidades. En una tercera, Sol declaró muertas las células por la señal de un colorante, aunque un segundo colorante se solapaba en el espectro; Astra pidió controles adicionales.

Dónde los modelos siguen fallando

OpenAI muestra con honestidad también los fallos de Astra. Separó correctamente los grupos de colonias en el gel, pero confundió cuál era cuál y eligió las colonias 4, 6, 7, 8 en lugar de las de referencia 5, 9, 10. La suposición habitual de que «un producto de PCR más grande significa clonación exitosa» pesó más que los carriles de control. En otro caso generalizó que las vacuolas son más oscuras que la célula, ignorando vacuolas más claras en el mismo campo, aunque ella misma había señalado que el contraste depende del enfoque. Y al contar colonias sobrestimó el resultado en aproximadamente un 12 %, lo que infla directamente la estimación de la eficiencia de transformación.

Qué hacer con esto

Para los equipos que construyen agentes científicos, la conclusión es práctica. Primero, evalúen no solo la respuesta final, sino también la capacidad de decir «los datos son insuficientes»: es un criterio aparte de la rúbrica. Segundo, no confíen en que el agente seleccione automáticamente muestras para el siguiente paso, como elegir colonias para purificar un plásmido: el coste de un error se propaga en cascada. Tercero, el recuento de objetos en imágenes es mejor verificarlo con herramientas clásicas o con una persona.

También conviene tener en cuenta las limitaciones: el benchmark es pequeño, con 100 tareas, los intervalos son bastante amplios, y la evaluación la realizó la propia OpenAI con sus propios modelos, sin comparación con modelos de otros laboratorios. Aun así, el formato en sí, basado en datos reales imperfectos con trampas como una etiqueta incorrecta, está más cerca de la realidad que las imágenes seleccionadas de artículos. Para los responsables de producto en biotecnología, es una buena plantilla para su propia evaluación interna de agentes.