Ai2 demuestra que los jueces LLM de novedad se rompen con unas pocas palabras en el prompt

Ai2 ha publicado el estudio Old Ideas, Novel Problems y, junto con él, un benchmark, los datos, el código y un pipeline automático para construir nuevos conjuntos de evaluación. La conclusión es incómoda para quien desarrolla ciencia automatizada: los jueces LLM de novedad son extremadamente inestables. Un solo cambio de redacción en el prompt mueve la precisión de GPT-5.4 en 52,6 puntos: del 93,5% al 40,9%. Además, los costosos sistemas especializados resultaron peores que un prompt simple a Claude Opus 4.6.

Cómo se construyó la referencia a partir de las reseñas de ICLR 2026

Los generadores de ideas como DataVoyager, AutoDiscovery, Theorizer y la plataforma Asta, del ecosistema de Ai2, producen hipótesis más rápido de lo que las personas pueden leerlas. Con frecuencia se encarga de filtrarlas a otro modelo, un «juez de novedad». No existe una receta única para ese juez: cada equipo elige por su cuenta el modelo, el prompt, el formato de comparación, el presupuesto de razonamiento y, a veces, la búsqueda en la literatura. Y los jueces suelen validarse con artículos de personas, no con las ideas de IA que luego tendrán que evaluar.

Para obtener etiquetas de referencia, los autores no tomaron la aceptación de un artículo como señal de novedad. Extrajeron de las reseñas de ICLR 2026 los fragmentos en los que los revisores discuten explícitamente la originalidad. Así se formaron dos grupos:

• 154 ideas de alta novedad: artículos aceptados del 10% superior de su área, en los que la novedad se valoró positivamente y nadie la cuestionó;
• 145 ideas de baja novedad: artículos rechazados del 10% inferior, en los que los revisores dudaron de la originalidad y nadie vio novedad.

Verificación del etiquetado: un anotador coincidió con la polaridad de la señal en 47 de 50 casos, y ninguna discrepancia habría cambiado la interpretación del revisor. El primer escenario, Human-Only, compara ideas de personas. En el segundo, Human+Generated, esas mismas 154 ideas humanas se emparejan con 154 ideas de un generador LLM simple. Este recibía solo el área de investigación y la petición de proponer una idea nueva, sin búsqueda, herramientas ni iteraciones. Las etiquetas de las ideas generadas son débiles, pero un experto revisó 30 pares y en todos prefirió la idea humana; no consideró nueva ninguna de las generadas.

Una frase en el prompt: 52 puntos menos

Los jueces fueron seis: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 y Claude Opus 4.6. Los autores modificaron un factor cada vez: el prompt, el presupuesto de razonamiento, el acceso a artículos relacionados, el formato de las ideas, el número de veredictos agregados y el modelo generador. El factor de mayor influencia fue el prompt.

A GPT-5.4 se le presentaron pares Human+Generated con dos prompts. En el primero se le indicaba que los revisores habían considerado nueva exactamente una de las dos ideas del par, y se le pedía señalarla. En el segundo, simplemente se le preguntaba cuál de las ideas era nueva. La precisión cayó del 93,5% al 40,9% y el veredicto cambió en más de la mitad de los pares. En Human-Only, el mismo cambio costó unos siete puntos, aunque Claude Opus 4.6 perdió allí 21 puntos. Un juez puede parecer estable con trabajos humanos y comportarse de otra manera con ideas de IA.

No existe un prompt universal. Si se elimina la instrucción de no considerar nuevas las contribuciones triviales e incrementales, la precisión sube en unos jueces y baja en otros. Al comparar ideas de dos generadores (Opus 4.5 frente a Sonnet 4.5, GPT-5.4 frente a GPT-5.1), cambia entre una cuarta parte y un tercio de los veredictos. Esto se mide sin suponer cuál de los generadores es más fuerte.

Los sistemas caros perdieron ante un prompt barato

Otra observación inesperada afecta a la búsqueda y el razonamiento. Un juez agéntico basado en GPT-5.6 Sol, con el máximo presupuesto de razonamiento y búsqueda iterativa en arXiv, obtuvo 0,78 macro-F1. Claude Opus 4.6 con cinco resúmenes localizados de antemano alcanzó 0,89. El agente costaba aproximadamente 10 veces más por decisión.

Los sistemas especializados tampoco ayudaron (todos con Claude Opus 4.6, Human+Generated):

• prompt simple de Opus 4.6, nivel bajo de razonamiento, votación por mayoría de tres llamadas: 0,854 macro-F1, $2,59 por toda la ejecución;
• Idea Novelty Checker (búsqueda en la literatura con reranking): 0,642 macro-F1, $30,66;
• AI Scientist de Sakana AI (búsqueda iterativa en Semantic Scholar): 0,772 macro-F1, $82,05.

La variante base simple resultó entre 12 y 32 veces más barata y más precisa que los otros dos.

Qué revisar en tu pipeline de evaluación

Si tu sistema ordena o descarta ideas, hipótesis o tareas de investigación con ayuda de un LLM, no se puede confiar en el veredicto de un único prompt. Ejecuta el juez con al menos dos o tres formulaciones y calcula la proporción de veredictos que cambian: esa discrepancia se mide sin necesidad de etiquetas. Compruébala precisamente con ideas generadas, y no solo con artículos humanos.

No adoptes por defecto la costosa búsqueda agéntica: empieza con un prompt simple y una votación de tres llamadas, y solo después paga entre 10 y 30 veces más por una mejora medible. El código y los datos de Ai2 son abiertos, y el pipeline puede reutilizarse con las reseñas de otras conferencias y áreas.