El equipo de Tsinghua lanza OSWorld-Science: pone a prueba a los agentes en software científico

El equipo de Tsinghua ha presentado OSWorld-Science. Se trata de un benchmark que comprueba si un agente de IA puede no solo explicar una tarea científica, sino ejecutarla en un programa profesional: desde el análisis de espectros de resonancia magnética nuclear hasta el procesamiento de imágenes patológicas, los cálculos estadísticos y la simulación física. El anuncio disponible no indica ni el número de tareas ni los resultados de modelos concretos. Por eso, la pregunta principal, qué brecha mostrará la tabla de clasificación, sigue abierta.

Dónde terminan las respuestas de texto

Los modelos de lenguaje actuales se desenvuelven bien en la primera parte del trabajo científico. Explican el método, enumeran los pasos y escriben un script de análisis. Después empieza lo que en los laboratorios se lleva la parte del león del tiempo: abrir el programa adecuado, cargar los datos, fijar los parámetros, recorrer los menús, comprobar el resultado intermedio y obtener un resultado final que pueda incluirse en un artículo.

Ese tramo es justo el que los autores de OSWorld-Science toman como objeto de evaluación. Tareas como procesar datos de RMN o etiquetar imágenes histológicas surgen a diario en la investigación. Para realizarlas no basta con una cultura general amplia. Hay que entender el dominio y manejar con cuidado una interfaz en la que un error en un solo parámetro cambia todo el resultado.

Qué se sabe del benchmark

• Desarrollador: equipo de investigación de la Universidad de Tsinghua.
• Formato: el agente controla por sí mismo el software científico, en lugar de describir la solución con palabras.
• Áreas de las tareas: análisis de RMN, procesamiento de imágenes patológicas, estadística, simulación física.
• Requisitos para el agente: conocimientos del campo y ejecución fiable de una secuencia de operaciones.
• No se revela en el fragmento disponible: número de tareas, lista de programas, metodología de verificación de resultados, evaluaciones de modelos y nivel humano de referencia.

Contexto: de las tareas de oficina a las de laboratorio

El nombre alude a OSWorld, un benchmark de 2024 para agentes que trabajan con el ordenador. Contenía 369 tareas en Ubuntu, Windows y macOS. Las personas resolvían alrededor del 72% de las tareas; el mejor modelo en el momento de la publicación, algo más del 12%. Desde entonces los agentes han mejorado de forma notable, pero los escenarios generales de oficina y navegador siguen siendo claramente más sencillos que los científicos.

El software científico profesional tiene varias características incómodas para un agente. Las interfaces son muy especializadas, a menudo anticuadas y poco estándar. Hay pocos ejemplos de entrenamiento en abierto. Y, sobre todo, los errores son silenciosos: el programa no muestra un mensaje de error, sino un gráfico o un valor p verosímil pero incorrecto. Esta es nuestra lectura del problema, no una cita del anuncio, pero precisamente por eso la fórmula «un resultado en el que se pueda confiar» parece central. Un benchmark que solo comprueba que se completaron las acciones resulta inútil en este terreno. Lo importante es cómo se verifica el archivo o el número final.

Cómo trabajar con esto

Para los laboratorios, la conclusión es pragmática: aún es pronto para dar autonomía sin control a los agentes que usan software científico. Un esquema razonable hoy es este: el agente prepara y lanza los cálculos rutinarios, una persona revisa los parámetros y el resultado, y se conserva un registro de acciones para garantizar la reproducibilidad.

Para los desarrolladores de agentes, OSWorld-Science probablemente sea otra prueba exigente. Muestra hasta qué punto un modelo mantiene el contexto del dominio a lo largo de una cadena larga de acciones en una interfaz real.

Antes de sacar conclusiones, conviene esperar al artículo y al repositorio y fijarse en cuatro cosas: cómo está diseñada la verificación automática de resultados, cuántas tareas se pueden resolver solo a través de la interfaz gráfica, qué resultado obtuvieron los expertos humanos y cómo se comportan en él los principales modelos comerciales y abiertos. Sin estos datos, el titular sigue siendo una promesa, no una medición.