Claude Opus 5 construyó baselines simples que cubrieron el 95,5% de la brecha con los modelos DL de Nature y Science

Un equipo de Carnegie Mellon University propone revisar los artículos científicos más sonados sobre aprendizaje profundo con ayuda de un modelo de lenguaje que construye baselines simples de forma automática. En el experimento, Claude Opus 5 recibió 36 tareas extraídas de trabajos publicados en Nature, Science y revistas de la familia Cell, y escribió para cada una un script con un modelo simple. El resultado mediano fue inesperadamente alto: los baselines cerraron el 95,5% de la brecha entre un predictor trivial y la red neuronal publicada, y la media por tareas fue del 85,7%. En 12 de las 36 tareas, el modelo simple igualó al aprendizaje profundo o lo superó.

Cómo se midió la fuerza del baseline

Los autores introdujeron la métrica Simple Baseline Strength (SBS). Es una fracción adimensional que va del resultado de un predictor trivial (una constante, como el valor medio del objetivo o la clase más frecuente) al resultado del modelo DL publicado. Un SBS igual a 0 significa que el baseline no es mejor que el trivial. Un valor de 1 indica que igualó a la red neuronal, y uno superior a 1, que la superó. La normalización permite comparar tareas con métricas distintas. En las métricas donde un valor menor es mejor, la fórmula funciona igual.

Las tareas se seleccionaron a partir de artículos abiertos publicados entre el 31 de enero de 2024 y el 18 de septiembre de 2026. La condición era que los datos fueran públicos, de modo que la muestra solo refleja investigaciones que abrieron sus conjuntos de datos. Se cubren ocho áreas científicas, con al menos tres tareas en cada una y al menos tres tareas de cada revista de la familia Nature. Los resultados de los baselines no se usaron para seleccionar las tareas.

Cada intento se ejecutó en un contenedor sin red, salvo el acceso a la API del proveedor del modelo. Las etiquetas de prueba y los archivos con resultados se guardaban fuera del contenedor. El agente escribía y ejecutaba un único script con un límite de 30 minutos, solo en CPU y sin pesos preentrenados: los checkpoints entrenados con datos abiertos podrían haber visto la muestra de prueba. El prompt pedía un «baseline razonable», no necesariamente el más simple, por lo que se permitían las redes neuronales. Al final, de los 157 scripts evaluables, 47 usaron PyTorch y 85, boosting de gradiente sobre árboles.

Dónde fallaron los modelos simples

Cada tarea se repitió cinco veces. De 180 intentos, 157 produjeron predicciones válidas; en 16 tareas hubo al menos un intento fallido, y en tres quedaron no más de dos ejecuciones evaluables. Si los fallos se cuentan como ceros, la media cae al 79,6%, mientras que la mediana se mantiene en 95,5%.

Seis tareas mostraron un SBS mediano inferior a 0,5. En las seis hubo como mínimo un intento fallido. En todas ellas, el agente recibió como entrada no rasgos tabulares, sino secuencias en bruto, descripciones de estructuras en forma de cadenas de texto o coordenadas atómicas. Aun así, el tipo de entrada no basta para explicar el fracaso: varias tareas con datos del mismo tipo quedaron en torno a 1 o por encima. En dos de las seis, la mediana se calculó con solo dos repeticiones evaluables. La estimación de validación del propio agente solo se correlaciona de forma aproximada con la de prueba, y las repeticiones de una misma tarea suelen dar resultados cercanos.

Los autores también compararon esquemas con distinto volumen de cómputo en un conjunto aparte de nueve tareas. Parte de esas ejecuciones se hizo con versiones anteriores del entorno, en las que la documentación de las tareas estaba oculta, por lo que la comparación directa exige cautela. También analizan el efecto del nivel de contexto de investigación, pero el texto disponible no incluye cifras al respecto. Los autores no probaron las diferencias entre revistas y áreas, y no extraen conclusiones de su orden: los grupos son pequeños, de tres a seis tareas por área.

Por qué importa a los revisores

La motivación es que la revisión por pares no da abasto con el flujo de artículos. Springer Nature informó de 3,1 millones de trabajos enviados en 2025, un 30% más que el año anterior. El número de envíos a ICLR pasó de 11 603 a 19 525, y en NeurIPS, de 9 467 en 2020 a 21 575 en 2025. En arXiv, entre 2023 y 2025 el número de trabajos creció un 36,4%, de 208 493 a 284 486.

Además, la ausencia de baselines ya ha distorsionado el panorama: en la predicción de la respuesta de las células a perturbaciones, cinco modelos fundacionales no superaron a métodos simples; en la predicción de series temporales a largo plazo, los modelos lineales de una sola capa superaron a Transformer en nueve conjuntos de datos; y en 45 conjuntos de datos tabulares, los árboles siguieron siendo más fuertes que las redes neuronales.

La conclusión práctica para autores y revisores es que un baseline automático puede ejecutarse como una comprobación barata de la mejora de calidad que se declara. Esto no demuestra que el método DL sea inútil: puede aportar ventajas en interpretabilidad o con otros datos. Pero si un modelo simple en CPU recupera casi toda la brecha en 30 minutos, los autores deberían explicar qué justifica exactamente una arquitectura compleja.