PhAI Labs: Claude Opus 5 queda último en una prueba de hipótesis científicas, con un 2,3%

PhAI Labs ha publicado una comparación de modelos según su capacidad para proponer hipótesis científicas, y la primera reacción de los medios chinos es de sorpresa: Claude Opus 5, con un 2,3%, quedó en último lugar entre cinco grupos. El grupo GPT obtuvo un 2,5%. La diferencia es de dos décimas de punto porcentual, y la tabla completa, a juzgar por el fragmento disponible, incluye varios modelos más, entre ellos GLM.

Cómo funciona la prueba

La metodología resulta inusual porque no se apoya en evaluadores expertos ni en un benchmark con respuestas conocidas de antemano. Los modelos proponen hipótesis de investigación y después estas se cotejan con la literatura científica publicada más tarde. Si la idea de un modelo coincide con una línea que realmente se desarrolló en los artículos, se cuenta como una pista útil para investigaciones futuras. Por lo que parece, el porcentaje del informe refleja la proporción de esos aciertos.

El enfoque tiene una ventaja evidente: el futuro no se puede ajustar a la respuesta. También tiene puntos débiles. La coincidencia con publicaciones posteriores refleja a qué se dedicó la comunidad científica, no necesariamente qué habría sido valioso. Una hipótesis audaz que nadie se molestó en comprobar obtendrá un cero.

Qué se sabe de los resultados

• Claude Opus 5: 2,3%, último lugar entre cinco grupos.
• GPT: 2,5%.
• GLM y el resto de participantes: los valores aparecen cortados en el fragmento disponible del material.
• Criterio: intersección de las hipótesis con la literatura publicada después de generarlas.
• Línea paralela: DiscoveryRSI, el proyecto de PhAI Labs sobre autoevolución de agentes de investigación.

Lo principal que conviene tener presente es que todos los valores se mueven en un rango de pocos puntos porcentuales. Cuando el primero y el último están separados por décimas de punto porcentual, y sin intervalos de confianza, número de ejecuciones ni tamaño de la muestra, es difícil afirmar que el orden de los modelos sea estable. Una diferencia de 0,2 p. p. bien puede ser ruido. Los titulares sobre el «fondo» de la clasificación suenan más fuerte que los propios datos.

DiscoveryRSI y la autoevolución de los agentes

En el anuncio de la retransmisión, la comparación de modelos se vincula con DiscoveryRSI. La sigla apunta a la automejora recursiva (recursive self-improvement) aplicada a los descubrimientos científicos: el agente no solo plantea hipótesis, sino que mejora su propia forma de plantearlas. El texto disponible no ofrece detalles de la arquitectura, así que aún es pronto para juzgar cómo se implementa exactamente el ciclo. La lógica, sin embargo, es clara. Si el sistema dispone de una señal medible de calidad, por ejemplo la proporción de hipótesis confirmadas por la literatura posterior, esa señal puede servir para seleccionar y perfeccionar estrategias de agentes.

Aquí es donde la prueba de PhAI Labs resulta más interesante que su tabla. Una métrica que funciona como juez externo sirve no solo para comparar modelos, sino también como función de recompensa para entrenar agentes.

Cómo leer este tipo de clasificaciones

Para los equipos que construyen agentes científicos o de investigación, la conclusión es pragmática. Un único benchmark de hipótesis no sustituye las pruebas en el propio dominio: biología, ciencia de materiales y matemáticas generan distribuciones distintas de ideas «exitosas». Además, el resultado de una versión concreta de un modelo, con un prompt concreto y una infraestructura de agente concreta, no se extrapola a toda la familia.

Antes de cambiar de proveedor por cifras como estas, conviene esperar al informe completo y comprobar tres cosas: cuántas hipótesis se generaron por modelo, cómo se definió la «coincidencia» con la literatura y si los resultados se reproducen en ejecuciones repetidas. Hasta entonces, es más razonable interpretar el 2,3% frente al 2,5% como señal de que todos los participantes resuelven mal esta tarea por ahora, y no como una condena de un modelo concreto.