Ai2 probó cinco modelos de primer nivel: solo dan prioridad al problema real en el 35–41% de las respuestas
Preguntas cómo espesar el glaseado que resbala de los cupcakes, pero la causa real es que los cupcakes todavía están tibios. Ai2 creó XYBench, una prueba con 8115 preguntas de este tipo, y evaluó cinco modelos, entre ellos GPT-5 y Claude Sonnet 4.6. En las preguntas de Stack Overflow, los modelos se centraron en la causa real solo en el 35–41% de las respuestas, mientras que en el método erróneo mencionado en la pregunta lo hicieron en el 47–57%. Por eso, al elegir un asistente, conviene comprobar si es capaz de contradecir al usuario.
Procesado por IA desde Ai2 (Allen Institute); editado por Hamidun News
Le preguntas a un asistente cómo espesar el glaseado que resbala de los cupcakes. Un buen asistente notará que el problema no es la consistencia: los cupcakes todavía están tibios y el glaseado simplemente se derrite. Uno malo empezará a explicarte con detalle el azúcar glas y el almidón.
El laboratorio Ai2 publicó el benchmark XYBench para medir precisamente esta capacidad y lo probó con cinco modelos potentes. En las preguntas de Stack Overflow (donde los desarrolladores consultan sobre código), los modelos pusieron en el centro de la respuesta el problema real del usuario solo en el 35–41% de los casos. En el 47–57% de los casos se concentraron en el método erróneo por el que el usuario había preguntado.
El trabajo se realizó junto con Carnegie Mellon, NVIDIA y Johns Hopkins y recibió el premio Best Resource Paper en EMNLP 2026.
Qué es el problema XY y cómo se evaluó
La situación es familiar para cualquiera que haya trabajado en soporte o respondido en foros. Una persona quiere lograr el objetivo X, cree que el método Y le ayudará y pide ayuda con Y. En el benchmark, Y se denomina la solicitud declarada, y X, el objetivo real, que puede entenderse a partir del contexto.
XYBench contiene 8115 preguntas de cuatro fuentes:
- 1557 preguntas de Stack Overflow;
- 184 preguntas de Stack Exchange;
- 102 ejemplos seleccionados manualmente;
- 6272 preguntas generadas a partir de guías de WikiHow.
Para las preguntas de foros, el objetivo y las posibles soluciones se determinaron a partir de las tres respuestas mejor valoradas y de la respuesta aceptada. Se descartaron los casos en los que bastaba con responder a la pregunta literal. Las preguntas de WikiHow fueron generadas por el modelo Sonnet 4.5. Después se reelaboraron para que un experto pudiera identificar el objetivo, sin que este apareciera explícitamente en el texto.
Las respuestas se evalúan según tres criterios. El primero: si contienen una solución para Y y para X. El segundo: en qué se pone el énfasis, si en la solicitud declarada, en el objetivo o por igual.
El tercero: si el modelo explica que el camino elegido es erróneo y si orienta hacia el objetivo. El juez es Claude Sonnet 4.5.
Dos personas revisaron de forma independiente 500 respuestas. Coincidieron con el juez en el 97,5–100% de los casos en cuanto a la presencia de solución, en el 84,6–93,3% en la detección del supuesto erróneo y en el 74,2–79,8% en el énfasis. Esta última cifra es notablemente más baja que las demás: el énfasis es lo más difícil de evaluar.
Qué mostraron los modelos
Ai2 probó Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro. Cada modelo respondió una vez a cada pregunta. Los cinco ofrecieron con más frecuencia una solución para la solicitud declarada que para el objetivo real. En Stack Overflow, la solución para Y apareció en el 75–86% de las respuestas, y la solución para X, en el 59–71%.
Mencionar la solución correcta no significa convertirla en la principal. Un modelo puede dedicar varios párrafos a recomendar una aspiradora más potente y añadir en una sola línea que conviene revisar la manguera. En Stack Overflow, el objetivo real estuvo en el centro de atención solo en el 35–41% de las respuestas, y la solicitud declarada, en el 47–57%. En el resto, el énfasis se repartió más o menos por igual. En esta comparación, los expertos humanos obtuvieron mejores resultados: con más frecuencia apartaban al usuario del camino erróneo.
Saber y hacer son habilidades distintas
En dos experimentos adicionales, los autores analizaron el porqué de estos resultados.
En el primero, a los modelos se les indicó explícitamente tanto la solicitud declarada como el objetivo real. En Sonnet 4.6, en Stack Overflow, la proporción de respuestas con solución para el objetivo subió del 59% al 67%. Pero la proporción de respuestas en las que el modelo explica que el supuesto es erróneo bajó del 47% al 34%. Todos los modelos seguían por detrás de los humanos en la detección del supuesto erróneo. Por tanto, adivinar la intención es solo la mitad del trabajo. Los modelos también deben atreverse a contradecir al usuario.
En el segundo experimento, los modelos actuaron como jueces. A seis modelos (los cinco principales y GPT-4.1) se les mostraron dos respuestas ya escritas: una sobre la solicitud literal y otra sobre el objetivo real. Lograron elegir la respuesta sobre el objetivo en el 71–84% de los casos. Es decir, saben identificar qué consejo es más útil bastante mejor de lo que son capaces de redactarlo por sí mismos. Una prueba de selección entre opciones no habría revelado esta diferencia.
Qué hacer con esto
Para los desarrolladores de asistentes y los equipos de producto, la conclusión es práctica. Si los usuarios llegan con preguntas imprecisas, lo cual ocurre casi siempre, una evaluación basada solo en la corrección formal de la respuesta no basta. Conviene comprobar específicamente si el modelo busca la raíz del problema. Entre las posibles técnicas están un prompt de sistema que pida primero aclarar el objetivo y la evaluación de las respuestas con los mismos tres criterios. La idea de elegir la mejor entre dos respuestas sugiere otra opción: que el modelo genere primero varios borradores y luego escoja el que resuelve la tarea real. Los autores no lo comprobaron, así que se trata solo de una hipótesis.
Hay también limitaciones honestas. El benchmark está por ahora en inglés y se centra sobre todo en tareas procedimentales: programación, cocina y reparaciones domésticas. El juez también es un modelo, y en cuanto al énfasis su acuerdo con las personas no supera el 80%. Ai2 solo propone estudiar en trabajos futuros cómo influyen en el resultado el entrenamiento y los prompts.
- 21 nov 2026Anthropic recorta un 20 % el precio de Claude Fable 5.2 y, en una prueba de código, queda casi a la altura de Opus 5.5
- 21 nov 2026Dreamteam recauda 53 millones de dólares para un CRM que se alimenta solo a partir del correo y las llamadas
- 21 nov 2026La IA Claude Opus 5.5 completa el terror Dimension 9 a partir de 15 habitaciones del autor
- 21 nov 202622 agentes de Claude pasaron seis semanas buscando respuestas sobre agujeros negros, y resolvieron dos problemas
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué es el problema XY y cómo se evaluó?
La situación es familiar para cualquiera que haya trabajado en soporte o respondido en foros. Una persona quiere lograr el objetivo X, cree que el método Y le ayudará y pide ayuda con Y. En el benchmark, Y se denomina la solicitud declarada, y X, el objetivo real, que puede entenderse a partir del contexto.
¿Qué se sabe sobre Qué mostraron los modelos?
Ai2 probó Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro. Cada modelo respondió una vez a cada pregunta. Los cinco ofrecieron con más frecuencia una solución para la solicitud declarada que para el objetivo real. En Stack Overflow, la solución para Y apareció en el 75–86% de las respuestas, y la solución para X, en el 59–71%. Mencionar la solución correcta no significa convertirla en la principal.
¿Qué se sabe sobre Saber y hacer son habilidades distintas?
En dos experimentos adicionales, los autores analizaron el porqué de estos resultados. En el primero, a los modelos se les indicó explícitamente tanto la solicitud declarada como el objetivo real. En Sonnet 4.6, en Stack Overflow, la proporción de respuestas con solución para el objetivo subió del 59% al 67%. Pero la proporción de respuestas en las que el modelo explica que el supuesto es erróneo bajó del 47% al 34%. Todos los modelos seguían por detrás de los humanos en la detección del supuesto erróneo.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.