OpenProblemBench: GPT-6-Astra resuelve el 14% de los problemas abiertos de matemáticas y física

El benchmark OpenProblemBench comprueba si los modelos de lenguaje son capaces de avanzar en problemas cuya respuesta la ciencia aún desconoce. Incluye 82 problemas sin resolver de la literatura sobre matemáticas y física teórica. El mejor resultado fue el de GPT-6-Astra: la proporción media de problemas que los jueces consideraron resueltos fue del 14,0%. Los modelos abiertos de tamaño completo lograron entre 5,5 y 6,7%, y los modelos Flash, más ligeros, entre 2,4 y 3,7%. En total se compararon siete configuraciones.

Cómo está diseñada la prueba

La mayoría de los benchmarks populares se apoyan en respuestas conocidas: el modelo acierta la clave o no. Aquí no hay clave, por definición, porque los problemas están abiertos. Para cada uno, los autores aportan el contexto de investigación, los supuestos y los avances ya conocidos; es decir, todo lo que necesita una persona para empezar a trabajar en la cuestión.

Para que el resultado pueda verificarse de algún modo, se seleccionaron problemas cuyas afirmaciones matemáticas o computacionales decisivas admiten una comprobación relativamente clara. Aun así, no hay soluciones de referencia. Cada respuesta es evaluada de forma independiente por cuatro modelos jueces según tres criterios: corrección, exhaustividad y grado de avance.

Parámetros clave:

• 82 problemas sin resolver de la literatura sobre matemáticas y física teórica;
• 4 modelos evaluadores independientes, que trabajan sin soluciones de referencia;
• 7 configuraciones probadas;
• GPT-6-Astra: 14,0% de proporción media de soluciones valoradas;
• modelos abiertos de tamaño completo: 5,5–6,7%;
• modelos Flash: 2,4–3,7%.

La brecha es notable. El líder obtiene aproximadamente el doble que los mejores modelos abiertos y varias veces más que la clase Flash.

Qué distingue a las respuestas sólidas

Los autores analizaron casos concretos y vincularon los resultados acertados con tres rasgos.

El primero es el cambio de representación del problema. El modelo sólido reformula la pregunta de una manera que resulta más fácil de abordar, en lugar de empeñarse en el planteamiento original.

El segundo son los argumentos generales que van más allá de un conjunto finito de evidencias. Comprobar unos cuantos casos o hacer un experimento numérico resulta convincente a primera vista, pero no constituye una demostración. Una respuesta que construye el razonamiento para toda la clase de objetos tiene un valor esencialmente mayor.

El tercero es la demostración de los pasos necesarios para completar la solución. Las respuestas débiles suelen quedarse en la idea y dejan sin justificar el lema clave. Los jueces puntúan bajo esos trabajos en exhaustividad.

Cómo leer estas cifras

Hay salvedades. La métrica se llama «judged solve rate»: es una valoración de modelos jueces, no una solución confirmada. El resumen del trabajo no dice nada sobre que cada respuesta haya sido revisada por matemáticos profesionales. Además, el conjunto está sesgado hacia problemas con afirmaciones verificables, por lo que el 14% no puede extrapolarse a toda la ciencia abierta. Es un resultado sobre una muestra seleccionada a propósito.

La conclusión práctica para los equipos que eligen modelos para trabajo de investigación es la siguiente. En primer lugar, la diferencia entre el modelo insignia y los modelos abiertos full-size es aquí considerable, por lo que, en tareas con demostraciones, ahorrar en la clase del modelo se paga con pérdida de calidad. Conviene reservar los modelos Flash para el trabajo preliminar: búsqueda bibliográfica, reformulaciones, comprobación de cálculos concretos.

En segundo lugar, si construyes un pipeline con un investigador de IA, incluye verificación independiente. Un modelo juez sin solución de referencia puede equivocarse, y la comprobación formal o un experto siguen siendo el filtro final. En tercer lugar, los tres rasgos de las respuestas sólidas sugieren cómo redactar los prompts: pide cambiar el planteamiento, exige un argumento general en lugar de ejemplos y solicita por separado la demostración de cada paso. OpenProblemBench resulta valioso como banco de medición que muestra dónde los modelos ya son útiles como coautores y dónde siguen siendo débiles.