Ai2: unas pocas palabras en el prompt hicieron caer la precisión de GPT-5.4 al evaluar ideas nuevas del 93,5 % al 40,9 %
Si una red neuronal juzga la novedad de las ideas de otra, el resultado depende de cómo se formula la pregunta. El instituto Ai2 presentó a GPT-5.4 pares de «idea humana frente a idea de IA»: con una pista que indicaba que exactamente una es nueva, el modelo acertó en el 93,5 % de los casos; con una pregunta simple, solo en el 40,9 %, peor que lanzar una moneda. Por eso, antes de usar una IA como juez, conviene comprobarla con varias versiones del prompt.
Procesado por IA desde Ai2 (Allen Institute); editado por Hamidun News
Imagine un sistema en el que una red neuronal formula hipótesis científicas y otra decide cuál es realmente nueva y cuál repite lo ya conocido. A ese segundo modelo se le llama «juez LLM de novedad». El instituto Ai2 (Allen Institute for AI) comprobó si se puede confiar en él y obtuvo un resultado preocupante.
A GPT-5.4 se le pidió que eligiera la idea más nueva de un par «idea humana e idea de IA». Cuando el prompt indicaba que exactamente una de las dos ideas había sido considerada nueva, el modelo acertó en el 93,5 % de los casos.
Cuando simplemente se le preguntaba cuál idea era nueva, la precisión caía al 40,9 %, es decir, por debajo de la adivinación al azar. Cambiaron unas pocas palabras de la consigna; las ideas eran las mismas.
Esto afecta a quienes usan un LLM como filtro o como ranking: quienes seleccionan ideas para agentes investigadores, comparan generadores de hipótesis o evalúan borradores de productos. Si el veredicto depende de la redacción del prompt, las cifras de su panel pueden reflejar no la calidad de las ideas, sino una consulta afortunada.
Cómo se probaron los jueces
El principal problema es que no existe un estándar de referencia para la novedad. Los investigadores tomaron las reseñas de la conferencia ICLR 2026 y buscaron en ellas no si el artículo fue aceptado, sino los pasajes donde los revisores discuten explícitamente su originalidad. Un artículo puede ser aceptado por sus experimentos sólidos aunque su idea sea secundaria, y viceversa.
Con ese criterio se construyeron dos conjuntos. El primero reúne 154 ideas del 10 % superior de los trabajos aceptados, en los que los revisores elogiaban la novedad y nadie la cuestionaba. El segundo reúne 145 ideas del 10 % inferior de los trabajos rechazados, en los que los revisores dudaban de la originalidad y no había elogios. Un anotador coincidió con la valoración extraída en 47 de 50 casos verificados.
Para el segundo escenario, a las mismas 154 ideas humanas fuertes se añadieron 154 ideas de un generador simple. A este se le daba únicamente el área de investigación y la petición de proponer una idea nueva, sin búsqueda bibliográfica ni iteraciones. Estas etiquetas son débiles: por defecto se consideró que las ideas generadas eran menos nuevas. Un experto revisó 30 pares, en todos prefirió la idea humana y no señaló ninguna de las generadas como nueva.
Los jueces fueron seis modelos: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 y Claude Opus 4.6. Asignaban una puntuación a cada idea y elegían la más nueva de cada par.
Unas pocas palabras en el prompt lo cambian todo
El resultado variaba sobre todo según la formulación de la consigna. En el caso de GPT-5.4, la primera versión del prompt indicaba que los revisores habían considerado nueva exactamente una de las dos ideas. En la segunda, el modelo simplemente debía decir cuál idea era nueva. La precisión bajó del 93,5 % al 40,9 %, y el veredicto cambió en más de la mitad de los pares.
En los pares formados por dos ideas humanas, el mismo recurso desplazó la precisión solo siete puntos. Un juez puede parecer estable con trabajos humanos y comportarse de forma impredecible con ideas generadas por IA, justamente aquellas para las que se le utiliza. En Claude Opus 4.6, el desplazamiento en los pares humanos fue de 21 puntos.
No existe un prompt universalmente mejor. Si se elimina la advertencia «no consideres nuevas las mejoras triviales», la precisión sube en unos modelos y baja en otros. Un prompt que funciona bien no se transfiere de un modelo a otro. Al comparar las ideas de dos generadores, por ejemplo Opus 4.5 frente a Sonnet 4.5, entre una cuarta parte y una tercera parte de los veredictos cambiaron al variar el prompt. Para llegar a esta conclusión no hace falta saber qué generador es mejor.
Caro no significa preciso
Otro resultado es importante para quienes construyen agentes. GPT-5.6 Sol, con el presupuesto máximo de razonamiento y búsqueda en vivo en arXiv, obtuvo 78 puntos sobre 100 en la métrica macro-F1, que mide qué tan bien el juez identifica tanto las ideas nuevas como las que no lo son: cuanto más alto, mejor. Claude Opus 4.6, con cinco anotaciones encontradas de antemano, obtuvo 89 puntos. La variante agéntica, por su parte, costó unas diez veces más por decisión.
Los sistemas especializados también quedaron por detrás. El prompt sencillo de Claude Opus 4.6, con bajo presupuesto de razonamiento y votación en tres ejecuciones, logró 85,4 puntos con un coste total de 2,59 $. Idea Novelty Checker, un flujo con búsqueda y reordenación según la literatura, obtuvo 64,2 puntos por 30,66 $. AI Scientist de Sakana AI, que busca iterativamente en Semantic Scholar, obtuvo 77,2 puntos por 82,05 $. Ambos sistemas funcionaban con Opus 4.6.
Qué hacer con esto
En primer lugar, cualquier evaluación automática de la novedad, ya sea para seleccionar ideas, clasificar generadores o filtrar en un sistema agéntico, debe someterse a una prueba de estabilidad. Ejecute varias formulaciones del prompt y cuente cuántos veredictos cambian. En segundo lugar, no pague por un flujo complejo sin haberlo comparado antes con un prompt sencillo y votación. En tercer lugar, valide el juez con los datos que realmente va a evaluar, es decir, con textos generados por IA y no con artículos publicados.
Hay también limitaciones. Las etiquetas para las ideas generadas son débiles, el generador fue deliberadamente simple y la base del benchmark son las reseñas de una sola conferencia de aprendizaje automático. Los propios autores consideran que la evaluación de la novedad es un problema abierto. Ai2 ha publicado el benchmark, los datos, el código y el flujo para crear nuevos conjuntos de evaluación, que pueden aplicarse a otras reseñas y a otras comunidades científicas.
- 22 nov 2026Matemático de Anthropic afirma con Claude haber demostrado la hipótesis de Riemann sin texto legible
- 22 nov 2026El Nasdaq 100 cae un 10,4% en la semana: su peor resultado desde la pandemia
- 22 nov 2026El perfil de trabajo de Android tapa una fuga de IP real que Happ y v2rayNG no detectan
- 22 nov 2026Anthropic sale a bolsa en Nasdaq: las acciones suben de $83 a $111, pero ¿resistirá la seguridad?
Preguntas frecuentes sobre la noticia
Cómo se probaron los jueces?
El principal problema es que no existe un estándar de referencia para la novedad. Los investigadores tomaron las reseñas de la conferencia ICLR 2026 y buscaron en ellas no si el artículo fue aceptado, sino los pasajes donde los revisores discuten explícitamente su originalidad. Un artículo puede ser aceptado por sus experimentos sólidos aunque su idea sea secundaria, y viceversa. Con ese criterio se construyeron dos conjuntos.
¿Qué se sabe sobre Unas pocas palabras en el prompt lo cambian todo?
El resultado variaba sobre todo según la formulación de la consigna. En el caso de GPT-5.4, la primera versión del prompt indicaba que los revisores habían considerado nueva exactamente una de las dos ideas. En la segunda, el modelo simplemente debía decir cuál idea era nueva. La precisión bajó del 93,5 % al 40,9 %, y el veredicto cambió en más de la mitad de los pares. En los pares formados por dos ideas humanas, el mismo recurso desplazó la precisión solo siete puntos.
¿Qué se sabe sobre Caro no significa preciso?
Otro resultado es importante para quienes construyen agentes. GPT-5.6 Sol, con el presupuesto máximo de razonamiento y búsqueda en vivo en arXiv, obtuvo 78 puntos sobre 100 en la métrica macro-F1, que mide qué tan bien el juez identifica tanto las ideas nuevas como las que no lo son: cuanto más alto, mejor. Claude Opus 4.6, con cinco anotaciones encontradas de antemano, obtuvo 89 puntos. La variante agéntica, por su parte, costó unas diez veces más por decisión.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.