Benchmark SciΠvot: el mejor LLM elige el plan correcto en el 63,5% de los casos, frente al 73,4% de los humanos

Los agentes basados en LLM pueden llevar a cabo experimentos científicos durante meses con una intervención humana casi nula, pero les falta criterio en las bifurcaciones. Los autores del benchmark SciΠvot reunieron 248 casos en los que investigadores sénior corrigieron a los agentes y comprobaron si el modelo elegiría la corrección humana. El mejor resultado entre los modelos probados en el modo con contexto del proyecto fue del 63,5%. Los investigadores nuevos, que vieron el mismo material, lograron el 73,4%. Cuatro de los cinco modelos frontier quedaron por debajo del azar en los casos seleccionados.

Cómo está diseñada la prueba

Los datos proceden de trabajo real. Durante seis meses, investigadores sénior pusieron en marcha agentes LLM en 26 proyectos de seis áreas científicas e intervinieron con regularidad cuando el agente tomaba una mala decisión de investigación. Cada intervención se convirtió en un caso. El modelo tiene dos opciones: el plan original del LLM y la alternativa corregida por una persona. El único contexto es el registro del proyecto existente antes de la corrección, de modo que no es posible anticipar las consecuencias.

Este planteamiento elimina la principal dificultad al evaluar el criterio científico. Las decisiones de investigación son abiertas y dependen de la historia del proyecto, por lo que no existe una única respuesta de referencia. Aquí la referencia es la elección de la persona en una situación concreta en la que el agente ya se había equivocado.

• Tamaño: 248 casos de 26 proyectos, 6 áreas científicas
• Formato: elegir entre el plan del LLM y la versión corregida por una persona
• Mejor precisión de los modelos con el registro del proyecto: 63,5%
• Precisión de los investigadores nuevos: 73,4%
• Modelos frontier por debajo del nivel aleatorio en los casos seleccionados: 4 de 5
• Factores evaluados: esfuerzo de razonamiento, acceso al registro del proyecto, reflexión repetida

Qué mostraron los resultados

Con un nivel medio de razonamiento y acceso al registro del proyecto, los modelos prefieren de forma sistemática el plan original del LLM. Los autores lo describen como un sesgo: una opción parecida a su propio estilo de pensamiento le parece más razonable al modelo. La descripción no aporta datos directos sobre la causa, pero el patrón concuerda con la conocida tendencia de los modelos de lenguaje a aprobar textos cercanos a los que ellos mismos escribirían.

El segundo resultado inesperado afecta al contexto. El registro del proyecto debería ayudar: recoge objetivos, experimentos anteriores y restricciones. En la práctica, con un esfuerzo de razonamiento medio, todos los modelos acertaron más sin el registro que con él. Una historia larga del proyecto no se traduce en una mejor decisión y, posiblemente, refuerza la lógica que llevó al agente al error.

Volver a reflexionar tampoco lo arregla. La reconsideración no produce una mejora estable de la precisión global. Al modelo le cuesta incluso en una situación favorable: la alternativa correcta está sobre la mesa y, aun así, la elección es débil. La brecha con los humanos ronda los diez puntos porcentuales, aunque las personas de la prueba eran investigadores nuevos, no los autores de las correcciones.

Qué deben hacer los equipos que construyen agentes

Primera conclusión: la autonomía a largo plazo no puede evaluarse solo por si el agente completó el experimento. Meses de funcionamiento ininterrumpido no dicen nada sobre la calidad de las decisiones en las bifurcaciones. Conviene situar los puntos de control con participación humana justo donde el agente cambia la hipótesis, el diseño del experimento o el criterio de éxito.

Segunda conclusión: la autoverificación del agente no puede considerarse independiente. Si el modelo prefiere sus propios planes, el esquema «el agente propone, el mismo agente critica» dejará pasar parte de los errores. Hace falta un revisor externo: una persona o un modelo con otro planteamiento de la tarea.

La tercera conclusión es práctica. Cualquier equipo que ejecute agentes de investigación acumula un registro de correcciones, y ese registro ya sirve como benchmark interno según el esquema de SciΠvot. Los pares «plan del agente — corrección humana» ofrecen una prueba honesta con sus propios datos antes de ampliar la autonomía. Conviene verificar por separado si más contexto y más razonamiento ayudan, en lugar de darlo por hecho: según estos datos, no garantizan una mejora.