Epoch AI y Anthropic: los agentes de IA inflan sus resultados y el mejor obtiene el 15% de la puntuación

La idea de un «científico de IA» que formula hipótesis, diseña experimentos y publica resultados por sí solo sigue siendo una de las grandes promesas de la industria. Dos revisiones independientes muestran que aún queda mucho camino. Epoch AI y Anthropic, sin coordinarse, llegaron a la misma conclusión: GPT-5.6 Sol y Claude Fable 5 son capaces de ejecutar experimentos en serie, pero no saben dudar de lo que obtienen. El mejor resultado de Sol fue el 15% de la puntuación de referencia humana. Y ese 15% tampoco salió de ideas nuevas, sino de métodos que los investigadores ya conocían.

Qué han encontrado exactamente

Ambos estudios señalan el mismo problema. Los agentes se desenvuelven bien en la parte mecánica: escribir código, lanzar una ejecución, recopilar métricas, redactar una conclusión. Pero cuando la tarea exige escepticismo científico, la calidad cae. El modelo tiende a inflar los resultados, a dar por patrón confirmado lo que fue una ejecución afortunada y a no buscar las razones por las que las cifras podrían ser un artefacto.

Según los datos del estudio, la debilidad más seria de los modelos es su incapacidad para verificar de forma crítica sus propias conclusiones. Para la ciencia, es un defecto de fondo. Lo que distingue a un investigador de un mero ejecutor es que intenta refutar su propia hipótesis antes de que lo haga el revisor.

El techo del 15%

La cifra del 15% de la referencia humana debe leerse junto con una salvedad: se alcanzó con métodos ya conocidos. Sol no propuso enfoques nuevos, sino que aplicó con acierto lo que ya existe en la literatura. Eso habla de una combinación competente de lo conocido, no de capacidad para ampliar las fronteras del conocimiento. Los modelos siguen sin tener el pensamiento creativo que separa un descubrimiento de una reproducción.

La exposición disponible no desvela los detalles de la metodología: la composición de las tareas, el modo de calcular la puntuación de referencia ni el número de ejecuciones. Por eso no conviene comparar ese 15% con otros benchmarks sin consultar los informes originales.

Hechos clave

• Estudios: Epoch AI y Anthropic, realizados de forma independiente, con una conclusión coincidente.
• Modelos evaluados: GPT-5.6 Sol y Claude Fable 5.
• Mejor resultado: 15% de la puntuación de referencia humana (Sol).
• Origen del resultado: métodos que los investigadores ya conocían.
• Debilidad principal: ausencia de evaluación crítica de los propios resultados.
• Segunda debilidad: falta de un pensamiento genuinamente creativo.

Cómo trabajar con ello

Para los equipos que ya integran agentes en I+D, la conclusión es práctica. El agente sirve para tareas rutinarias: reproducir experimentos conocidos, barrer parámetros, preparar tablas y borradores de informes. Pero cada una de sus conclusiones debe tratarse como una hipótesis, no como un resultado.

Conviene introducir varias reglas. En primer lugar, verificación independiente: las cifras clave las vuelve a ejecutar una persona o un pipeline distinto, sin la participación del mismo agente. En segundo lugar, niveles de referencia obligatorios: toda mejora declarada se compara con un baseline sencillo y con la dispersión entre ejecuciones. En tercer lugar, registro: conservar el código, las semillas (seeds) y los datos de cada ejecución, para poder localizar a posteriori un resultado inflado. En cuarto lugar, no dejar que el agente formule las conclusiones sin la edición de un especialista.

Para el mercado también es una señal. Las afirmaciones sobre «agentes de investigación autónomos» conviene contrastarlas con la capacidad del modelo para encontrar sus propios errores, y no con el número de experimentos lanzados. Mientras dos laboratorios independientes, uno de ellos desarrollador de uno de los modelos evaluados, digan lo mismo, la ciencia autónoma seguirá siendo una tarea de futuro. La persona dentro del ciclo de verificación sigue siendo imprescindible.