Agent4Sci: Claude Opus mejora los récords en 20 benchmarks científicos un 10,4%

Cada vez es más habitual presentar a los agentes de programación de frontera como investigadores automáticos de ciclo completo. Los autores de Agent4Sci quisieron comprobarlo en tareas donde no basta con la pulcritud técnica: hay que mejorar el mejor modelo científico publicado. El banco de pruebas abarca 20 benchmarks de 11 áreas científicas. El resultado es doble. Los agentes mejoraron el récord en todos los benchmarks y Claude Opus logró una mejora relativa media del 10,4%, pero casi todas las ganancias provinieron de técnicas estándar de ingeniería de ML, no de una intuición investigadora.

Una prueba sin tabla de clasificación

Agent4Sci no construye un leaderboard a propósito. Los autores plantean otra pregunta: qué progreso concreto pueden lograr los agentes en condiciones cercanas al trabajo real («in the wild») y dónde tocan techo. Son tareas largas, en las que el agente decide por sí solo qué probar, cómo repartir el cómputo y cuándo parar. La referencia de comparación son los mejores modelos publicados, es decir, la vara la han puesto investigadores humanos y no un baseline débil.

Los autores señalan además que ninguna ejecución fue marcada como mala conducta académica. En los benchmarks de agentes esto importa: no encontraron motivos para sospechar que hubiera ajustes específicos al test ni trucos deshonestos.

Un saco de trucos de ingeniería en lugar de ideas

Que los agentes ganen en todos los benchmarks suena impresionante, pero el análisis de las trayectorias cambia el enfoque. La mejora se explica casi por completo por un conjunto de técnicas que conoce cualquier ingeniero de ML. Las ideas basadas en conocimiento del dominio, ya sea física, biología o ciencia de materiales, casi no aparecen entre las mejoras.

Los autores identifican tres limitaciones recurrentes:

• Calibración errónea de la novedad. El agente evalúa con poca precisión qué es realmente nuevo y qué es ya práctica estándar.
• Infrautilización de recursos. El presupuesto disponible de cómputo y de tiempo no se gasta por completo.
• Colapso rápido hacia la búsqueda local de ingeniería. El agente se desliza hacia una serie de pequeños ajustes en lugar de buscar hipótesis de fondo.

Los plugins que duplicaron la mejora

Lo más práctico del trabajo es el experimento con plugins ligeros de habilidades. Son tres: generación de ideas de investigación, gestión de experimentos y listas de verificación programadas. Sin reentrenar los modelos ni rehacer la arquitectura, estas capas adicionales elevaron a Claude Opus del 10,4% al 20,1% y a Codex del 4,4% al 8,1%. Además de la mejora en la métrica, cambió el carácter de las intervenciones: se volvieron más variadas y más cercanas a las particularidades de cada área.

La conclusión es que buena parte de la brecha entre ingeniería e investigación no la cierra un modelo nuevo, sino la capa de orquestación que obliga al agente a planificar, registrar los experimentos y volver a la lista de verificación. Aun así, las cifras absolutas siguen siendo modestas, y Codex, incluso con habilidades, queda por debajo de Claude Opus sin ellas.

Qué llevarse al trabajo

Los equipos que construyen agentes para tareas científicas y de I+D reciben una referencia concreta: no basta con medir la métrica final, también hay que medir el tipo de mejoras encontradas. Si la ganancia procede de buscar hiperparámetros y aplicar técnicas estándar, es valiosa, pero no constituye un descubrimiento científico.

La segunda conclusión afecta a la arquitectura de los sistemas de agentes. Las capas de gestión de experimentos, las etapas obligatorias de generación de hipótesis y las revisiones periódicas con listas de verificación aumentan el rendimiento a bajo coste y son aplicables a los modelos existentes. Conviene probarlas antes de esperar a la próxima generación de LLM.

Por último, el propio banco de pruebas es abierto. El código está disponible en GitHub (maszhongming/agent4sci) y los datos, en Hugging Face (MingZhong/agent4sci). Para los laboratorios, es una forma lista para usar de evaluar a su propio agente en 20 tareas de 11 áreas y ver dónde actúa como un ingeniero y dónde empieza a proponer ideas propias de un investigador.