Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
IndustriaAnálisis · En radarAi2 (Allen Institute)→ original

Ai2 probó cinco modelos de primer nivel: solo dan prioridad al problema real en el 35–41% de las respuestas

Preguntas cómo espesar el glaseado que resbala de los cupcakes, pero la causa real es que los cupcakes todavía están tibios. Ai2 creó XYBench, una prueba con 8115 preguntas de este tipo, y evaluó cinco modelos, entre ellos GPT-5 y Claude Sonnet 4.6. En las preguntas de Stack Overflow, los modelos se centraron en la causa real solo en el 35–41% de las respuestas, mientras que en el método erróneo mencionado en la pregunta lo hicieron en el 47–57%. Por eso, al elegir un asistente, conviene comprobar si es capaz de contradecir al usuario.

Procesado por IA desde Ai2 (Allen Institute); editado por Hamidun News
Ai2 probó cinco modelos de primer nivel: solo dan prioridad al problema real en el 35–41% de las respuestas
Fuente: Ai2 (Allen Institute). Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAi2 (Allen Institute) ↗
Editor jefe
8115 preguntasStack Overflow, Stack Exchange, WikiHow y ejemplos manuales
Dato clave #2De dos respuestas ya hechas, se elige la correcta en el 71–84% de los casos
Dato clave #3Añadir el objetivo en el prompt elevó la proporción de soluciones de Sonnet 4.6 del 59% al 67%

Le preguntas a un asistente cómo espesar el glaseado que resbala de los cupcakes. Un buen asistente notará que el problema no es la consistencia: los cupcakes todavía están tibios y el glaseado simplemente se derrite. Uno malo empezará a explicarte con detalle el azúcar glas y el almidón.

El laboratorio Ai2 publicó el benchmark XYBench para medir precisamente esta capacidad y lo probó con cinco modelos potentes. En las preguntas de Stack Overflow (donde los desarrolladores consultan sobre código), los modelos pusieron en el centro de la respuesta el problema real del usuario solo en el 35–41% de los casos. En el 47–57% de los casos se concentraron en el método erróneo por el que el usuario había preguntado.

El trabajo se realizó junto con Carnegie Mellon, NVIDIA y Johns Hopkins y recibió el premio Best Resource Paper en EMNLP 2026.

Qué es el problema XY y cómo se evaluó

La situación es familiar para cualquiera que haya trabajado en soporte o respondido en foros. Una persona quiere lograr el objetivo X, cree que el método Y le ayudará y pide ayuda con Y. En el benchmark, Y se denomina la solicitud declarada, y X, el objetivo real, que puede entenderse a partir del contexto.

XYBench contiene 8115 preguntas de cuatro fuentes:

  • 1557 preguntas de Stack Overflow;
  • 184 preguntas de Stack Exchange;
  • 102 ejemplos seleccionados manualmente;
  • 6272 preguntas generadas a partir de guías de WikiHow.

Para las preguntas de foros, el objetivo y las posibles soluciones se determinaron a partir de las tres respuestas mejor valoradas y de la respuesta aceptada. Se descartaron los casos en los que bastaba con responder a la pregunta literal. Las preguntas de WikiHow fueron generadas por el modelo Sonnet 4.5. Después se reelaboraron para que un experto pudiera identificar el objetivo, sin que este apareciera explícitamente en el texto.

Las respuestas se evalúan según tres criterios. El primero: si contienen una solución para Y y para X. El segundo: en qué se pone el énfasis, si en la solicitud declarada, en el objetivo o por igual.

El tercero: si el modelo explica que el camino elegido es erróneo y si orienta hacia el objetivo. El juez es Claude Sonnet 4.5.

Dos personas revisaron de forma independiente 500 respuestas. Coincidieron con el juez en el 97,5–100% de los casos en cuanto a la presencia de solución, en el 84,6–93,3% en la detección del supuesto erróneo y en el 74,2–79,8% en el énfasis. Esta última cifra es notablemente más baja que las demás: el énfasis es lo más difícil de evaluar.

Qué mostraron los modelos

Ai2 probó Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro. Cada modelo respondió una vez a cada pregunta. Los cinco ofrecieron con más frecuencia una solución para la solicitud declarada que para el objetivo real. En Stack Overflow, la solución para Y apareció en el 75–86% de las respuestas, y la solución para X, en el 59–71%.

Mencionar la solución correcta no significa convertirla en la principal. Un modelo puede dedicar varios párrafos a recomendar una aspiradora más potente y añadir en una sola línea que conviene revisar la manguera. En Stack Overflow, el objetivo real estuvo en el centro de atención solo en el 35–41% de las respuestas, y la solicitud declarada, en el 47–57%. En el resto, el énfasis se repartió más o menos por igual. En esta comparación, los expertos humanos obtuvieron mejores resultados: con más frecuencia apartaban al usuario del camino erróneo.

Saber y hacer son habilidades distintas

En dos experimentos adicionales, los autores analizaron el porqué de estos resultados.

En el primero, a los modelos se les indicó explícitamente tanto la solicitud declarada como el objetivo real. En Sonnet 4.6, en Stack Overflow, la proporción de respuestas con solución para el objetivo subió del 59% al 67%. Pero la proporción de respuestas en las que el modelo explica que el supuesto es erróneo bajó del 47% al 34%. Todos los modelos seguían por detrás de los humanos en la detección del supuesto erróneo. Por tanto, adivinar la intención es solo la mitad del trabajo. Los modelos también deben atreverse a contradecir al usuario.

En el segundo experimento, los modelos actuaron como jueces. A seis modelos (los cinco principales y GPT-4.1) se les mostraron dos respuestas ya escritas: una sobre la solicitud literal y otra sobre el objetivo real. Lograron elegir la respuesta sobre el objetivo en el 71–84% de los casos. Es decir, saben identificar qué consejo es más útil bastante mejor de lo que son capaces de redactarlo por sí mismos. Una prueba de selección entre opciones no habría revelado esta diferencia.

Qué hacer con esto

Para los desarrolladores de asistentes y los equipos de producto, la conclusión es práctica. Si los usuarios llegan con preguntas imprecisas, lo cual ocurre casi siempre, una evaluación basada solo en la corrección formal de la respuesta no basta. Conviene comprobar específicamente si el modelo busca la raíz del problema. Entre las posibles técnicas están un prompt de sistema que pida primero aclarar el objetivo y la evaluación de las respuestas con los mismos tres criterios. La idea de elegir la mejor entre dos respuestas sugiere otra opción: que el modelo genere primero varios borradores y luego escoja el que resuelve la tarea real. Los autores no lo comprobaron, así que se trata solo de una hipótesis.

Hay también limitaciones honestas. El benchmark está por ahora en inglés y se centra sobre todo en tareas procedimentales: programación, cocina y reparaciones domésticas. El juez también es un modelo, y en cuanto al énfasis su acuerdo con las personas no supera el 80%. Ai2 solo propone estudiar en trabajos futuros cómo influyen en el resultado el entrenamiento y los prompts.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué es el problema XY y cómo se evaluó?

La situación es familiar para cualquiera que haya trabajado en soporte o respondido en foros. Una persona quiere lograr el objetivo X, cree que el método Y le ayudará y pide ayuda con Y. En el benchmark, Y se denomina la solicitud declarada, y X, el objetivo real, que puede entenderse a partir del contexto.

¿Qué se sabe sobre Qué mostraron los modelos?

Ai2 probó Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro. Cada modelo respondió una vez a cada pregunta. Los cinco ofrecieron con más frecuencia una solución para la solicitud declarada que para el objetivo real. En Stack Overflow, la solución para Y apareció en el 75–86% de las respuestas, y la solución para X, en el 59–71%. Mencionar la solución correcta no significa convertirla en la principal.

¿Qué se sabe sobre Saber y hacer son habilidades distintas?

En dos experimentos adicionales, los autores analizaron el porqué de estos resultados. En el primero, a los modelos se les indicó explícitamente tanto la solicitud declarada como el objetivo real. En Sonnet 4.6, en Stack Overflow, la proporción de respuestas con solución para el objetivo subió del 59% al 67%. Pero la proporción de respuestas en las que el modelo explica que el supuesto es erróneo bajó del 47% al 34%. Todos los modelos seguían por detrás de los humanos en la detección del supuesto erróneo.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…