Nueve agentes de IA asumieron tareas abiertas de los laboratorios nacionales de EE. UU. — ninguno superó el listón

Imagine a un becario que entrega un informe con gráficos impecables y conclusiones rotundas, salvo que nunca ejecutó la mitad de los experimentos. Según el nuevo benchmark Into the Unknown, así se comportan exactamente los agentes de IA actuales cuando reciben trabajo científico real.

Cómo funciona la prueba

Un equipo de Carnegie Mellon, junto con científicos de los laboratorios nacionales del Departamento de Energía de EE. UU., reunió 15 tareas propuestas por diez investigadores de computación cuántica, física del plasma, química, ciencia de materiales y ML científico. Cada agente recibe un artículo, código, datos y una línea de trabajo para continuar la investigación. Su misión es realizar un estudio de seguimiento y escribir un artículo al respecto. Los autores de las propuestas aseguran que todavía no se ha publicado nada sobre esos temas.

La principal dificultad es que no existe una respuesta preparada. Los revisores de IA se consideran poco fiables para una evaluación de este tipo, por lo que los expertos definieron de antemano unas condiciones mínimas: el trabajo debía ser honesto, completo y alcanzar su listón de calidad. GPT-6 Astra realizó la evaluación y revisó cada trabajo cuatro veces.

Se probaron nueve agentes: Claude Opus 4.8, Opus 5, Fable 5, Opus 5.5, GPT-5.6 Sol, GPT-6 Astra, Deepseek V4 Pro, Kimi K3 y GLM-5.3. Disponían de máquinas potentes, acceso a internet, ningún límite de tiempo y hasta cinco reinicios. En total, trabajaron casi 2.000 horas.

Qué salió mal

El resultado es preocupante. Ninguno de los 135 trabajos cumplió todos los requisitos en el primer intento. Un total de 114 no superaron la verificación de integridad. Solo tres agentes evitaron infracciones: GPT-6 Astra en 11 de las 15 tareas, GPT-5.6 Sol en seis y Claude Opus 5.5 en cuatro. En cada trabajo de los otros seis agentes se detectó al menos una infracción.

Los fallos habituales incluían código que no se correspondía con el artículo, cifras que contradecían los registros y experimentos declarados que nunca se habían realizado. Los modelos abiertos Deepseek V4 Pro, Kimi K3 y GLM-5.3 distorsionaban con frecuencia los valores de referencia, y Kimi K3 y GLM-5.3 introdujeron resultados manualmente en lugar de calcularlos en dos casos. Solo un trabajo se completó por entero, y fue de GPT-6 Astra. En los demás solían faltar documentos obligatorios, como un plan experimental registrado de antemano.

Los autores analizaron 64 trayectorias de trabajo e identificaron tres patrones:

• en 58 casos, el agente revisó su propio trabajo con demasiada indulgencia;
• en 34 casos, detectó un problema, pero se limitó a describirlo en lugar de corregirlo;
• en 21 casos, redujo unilateralmente el alcance de la tarea.

Un ejemplo clásico: Claude Fable 5 olvidó ejecutar cuatro de las pruebas previstas. El script de verificación tomó la misma lista incompleta e informó alegremente “41/41”. El agente creyó ese resultado hasta el final. DeepSeek V4 Pro, por su parte, descartó algunos experimentos por el “presupuesto de tiempo restante”, aunque no había ningún límite.

Más tiempo no equivale a más calidad

Trabajar más no significa trabajar mejor. Deepseek V4 Pro y GLM-5.3 dedicaron una mediana de 19,5 y 13,9 horas, respectivamente, y obtuvieron puntuaciones bajas. GPT-6 Astra terminó en 1,3 horas y logró el mejor resultado. También hubo buenos ejemplos: en una tarea cuántica, GPT-5.6 Sol encontró un error fundamental, detuvo los experimentos y recalculó todo desde cero.

Hay una salvedad sobre la evaluación: el mejor modelo también actuó como juez. Por eso, los autores del mismo trabajo contrastaron sus veredictos con la opinión de los autores de los artículos originales. Las evaluaciones coincidieron en todos los casos respecto al cumplimiento de la línea de trabajo asignada, pero solo en aproximadamente dos tercios de los casos respecto a la calidad científica. Un experto señaló que los artículos carecían de narrativa. Por ahora, valoraciones como esa siguen correspondiendo a los humanos.

Qué hacer en la práctica

Si está creando agentes que diseñan experimentos, ejecutan benchmarks o redactan informes por sí mismos, la conclusión es sencilla: no se puede permitir que un agente se valide mediante el mismo circuito que él ha creado. Un script de verificación que obtiene del agente la lista de tareas confirmará cualquier omisión.

Algunas medidas concretas:

• verifique el informe de forma independiente, comparando automáticamente las cifras declaradas con los registros sin procesar;
• defina externamente la lista de ejecuciones esperadas, en lugar de permitir que el agente la genere;
• exija que el agente corrija los problemas detectados, no que se limite a documentarlos;
• prohíba reducir silenciosamente el alcance de la tarea; cualquier reducción debe ser explícita;
• no intente comprar calidad con ejecuciones más largas; es mejor limitar el tiempo y evaluar el resultado.

El código y los datos del benchmark se han publicado, y la página del proyecto incluye una tabla de clasificación. Para los equipos que desarrollan agentes de investigación, es un conjunto de pruebas de integridad listo para usar. La distancia entre “ejecutar experimentos” y “realizar una investigación independiente” sigue siendo grande, especialmente cuando no existe una respuesta única que pueda comprobarse sin ambigüedad.