SciGame puso a prueba a cinco agentes LLM: las fórmulas conocidas les impiden encontrar leyes modificadas

Un grupo de investigadores ha presentado SciGame, un benchmark que comprueba si los agentes LLM saben descubrir leyes científicas en lugar de recordarlas de sus datos de entrenamiento. Los autores empaquetan cada fórmula de un artículo científico en una «ficha» estructurada y, a partir de ella, construyen dos entornos con la misma interfaz: uno original y otro contrafactual. En el segundo, la dependencia está modificada, pero las dimensiones de las magnitudes siguen siendo coherentes. Si el agente se apoya en lo memorizado, fallará en el segundo entorno. Los experimentos con cinco modelos de frontera mostraron que eso es justo lo que ocurre.

Qué les faltaba a los benchmarks anteriores

Los autores señalan cuatro problemas en las pruebas existentes. Primero, a menudo cambian a la vez la tarea, el protocolo de observaciones y la métrica, de modo que los regímenes no se pueden comparar en una misma interfaz. Segundo, muchas métricas evalúan el ajuste a los datos, no la predicción sobre entradas no vistas, y una explicación verosímil puede obtener una puntuación alta con un predictor incorrecto. Tercero, la mayoría de los conjuntos son estáticos y apenas contienen leyes publicadas después de la fecha de corte de conocimiento del modelo. Cuarto, las tareas basadas en artículos mezclan el descubrimiento de una ley con la programación y la reproducción de experimentos.

Otros trabajos cubren parte de estos aspectos: DiscoveryWorld y Auto-Discovery-Bench estudian la revisión de hipótesis y la elección de experimentos, LLM-SRBench se centra en la búsqueda de ecuaciones, Gravity-Bench cambia el contexto físico, PaperBench evalúa la reproducción de investigaciones y SciLaws-Bench construye tareas a partir de artículos. Pero ninguno compara una misma tarea con candidatos y sin ellos. En SciLaws-Bench, las configuraciones Real y Parallel usan protocolos de observación y de evaluación distintos, por lo que su precisión no es comparable.

Cómo funciona la evaluación

La ficha recoge la relación entre las magnitudes, los parámetros, las definiciones de las variables, las unidades de medida, el dominio admisible de entradas y las condiciones de aplicabilidad. A partir de ella se generan entornos con un simulador determinista. La versión contrafactual se crea mediante mutaciones estructurales, siguiendo el modelo de NewtonBench (un benchmark con leyes físicas modificadas): se cambian coeficientes y exponentes, y se añaden transformaciones no lineales y dependencias cruzadas entre las entradas. Los autores comprobaron que las fórmulas de referencia de cada entorno no superan la evaluación con las observaciones del entorno pareado. Esto significa que los entornos se pueden distinguir de forma empírica.

Hay dos tipos de tareas. En Identification, el agente elige la ley entre varios candidatos: recibe una fórmula que combina la expresión original y la contrafactual mediante un parámetro desconocido. El simulador siempre lo fija en cero o en uno, pero no se lo comunica al agente. En Discovery no hay candidatos, y la relación entre las entradas y las magnitudes observables hay que construirla a partir de la descripción, las restricciones y las observaciones. En ambos casos, el agente entrega expresiones ejecutables, una explicación y las condiciones de aplicabilidad. Cada familia de tareas da lugar a cuatro tareas.

Cada tarea se ejecuta en tres protocolos:

• Prior-only: no hay observaciones y el agente se apoya en conocimientos memorizados;
• Fixed: el agente recibe un conjunto de observaciones predefinido;
• Adaptive: el agente propone sus propios experimentos y decide cuándo entregar la respuesta.

El benchmark incluye dos colecciones. Historical contiene leyes canónicas de la historia de la ciencia, que sirven como referencias interpretables. Temporal se genera con un pipeline reejecutable: solo entran artículos cuya fecha de publicación en revista y cuya fecha del primer preprint son posteriores a la fecha de corte de conocimiento del modelo evaluado. Una LLM extrae las dependencias cuantitativas, otra comprueba de forma independiente la exactitud y la completitud de las fichas, y las incompletas se corrigen o se eliminan. La ventana temporal se desplaza con la llegada de nuevos modelos para reducir el riesgo de memorización.

Qué mostraron los experimentos

Hay tres evaluaciones: la precisión de la predicción en entradas ocultas, el éxito jerárquico del episodio y la valoración de la explicación según una rúbrica. Los autores destacan tres conclusiones. La primera: las fórmulas conocidas ayudan con las leyes originales, pero perjudican cuando la relación está modificada. La segunda: los experimentos adaptativos benefician a los modelos más fuertes y perjudican a los débiles cuando el presupuesto es limitado. La tercera: una buena explicación puede ocultar un fallo cuantitativo, cuando el texto resulta convincente y el predictor se equivoca.

El principal cuello de botella sigue siendo la recuperación de la forma simbólica exacta, incluso cuando el agente interpreta bien las observaciones. La dependencia funcional incorrecta es el tipo de error más habitual. Los autores concluyen que los agentes actuales saben explorar sistemas de forma activa, pero que deducir leyes exactas en condiciones desconocidas sigue siendo un problema abierto.

Para quienes desarrollan agentes científicos, la conclusión es práctica. Conviene medir por separado la predicción sobre entradas no vistas y no dar por bueno el éxito de una explicación solo porque sea coherente. Tiene sentido asignar un presupuesto adaptativo de experimentos únicamente a los modelos capaces de gestionarlo. En el fragmento disponible del artículo no hay tablas con puntuaciones, así que no se pueden comparar modelos concretos con números. Los autores han publicado el código y los datos.