Prueba XYBench: la IA elige el consejo útil en el 71–84 % de los casos, pero solo lo ofrece en el 35–41 %
Pregunte a una IA cómo espesar la crema para cupcakes y es probable que le recomiende azúcar glas, aunque la crema se derrite por el bizcocho todavía caliente. Es el llamado problema XY: la persona pide ayuda con el método elegido (Y) y no con su objetivo real (X). En XYBench, con preguntas de Stack Overflow, los modelos escogen la mejor de dos respuestas en el 71–84 % de los casos, pero en su propia respuesta abordan el objetivo real solo en el 35–41 %. Por eso conviene enseñar al asistente a comprobar primero la premisa de la pregunta.
Procesado por IA desde Хабр: Машинное обучение; editado por Hamidun News
Le pregunta a una red neuronal cómo hacer la crema para cupcakes más espesa, porque se le escurre. El asistente sugiere añadir azúcar glas, cambiar las proporciones o batirla más tiempo, y todos los consejos suenan sensatos. Pero si los cupcakes todavía están calientes, la crema se escurrirá con cualquier proporción: primero hay que enfriar el bizcocho.
Esta situación se llama problema XY: la persona quiere lograr el objetivo X, decide que para ello necesita el método Y y pide ayuda solo con Y. Los investigadores midieron cómo lo resuelven los modelos actuales y encontraron una brecha. En preguntas de Stack Overflow, la IA elige la más útil entre dos respuestas ya hechas en el 71–84 % de los casos, pero cuando escribe la respuesta por sí misma, aborda el objetivo real del usuario solo en el 35–41 %.
Este test se llama XYBench.
Qué es el problema XY con ejemplos sencillos
El término es conocido desde hace tiempo en los foros técnicos. En la pregunta aparece solo el método elegido, y el objetivo real queda fuera de la escena.
Un ejemplo de programación: una persona quiere extraer datos de un documento XML y pregunta cómo hacerlo con expresiones regulares. El modelo puede construir una expresión compleja, explicar la sintaxis y enumerar las limitaciones. Formalmente, la petición está cumplida. Pero para XML estructurado suele ser más fiable un parser especializado, que tiene en cuenta la anidación de elementos, los atributos y las particularidades del formato. Si las regex no son imprescindibles, la respuesta útil empezará por señalar sus puntos débiles y propondrá otra herramienta.
Fuera del código ocurre lo mismo. Una persona compra una aspiradora más potente, cuando lo que reduce la succión es una manguera obstruida. O reinstala el sistema operativo sin averiguar la causa de los fallos de una aplicación. Un buen asistente no se limita a dar instrucciones: comprueba si la suposición sobre el camino hacia el resultado es correcta.
Qué mostró XYBench
El 13 de noviembre de 2026, investigadores del Allen Institute for AI (Ai2), junto con colegas de la Carnegie Mellon University, NVIDIA y la Johns Hopkins University, presentaron el benchmark XYBench. El equipo estuvo dirigido por Akhila Yerukola. El conjunto incluye 8 115 preguntas sobre programación, soporte técnico y tareas cotidianas. Hay temas técnicos, como electrónica y Linux, situaciones domésticas (reparaciones, cocina, manualidades) e instrucciones prácticas habituales.
Los autores probaron Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro. El resultado principal es la diferencia entre «entender» y «hacer». Cuando se les mostraban dos respuestas ya escritas a una pregunta de Stack Overflow, elegían la más útil en el 71–84 % de los casos. Es decir, saben distinguir un buen enfoque de uno malo. Pero al generar la respuesta por sí mismos, se centraban en el objetivo real del usuario solo en el 35–41 % de las respuestas. Incluso cuando encontraban la solución correcta, a menudo seguían explicando con detalle el método inicial, que no era el adecuado.
Reunir un conjunto así no fue sencillo. No toda pregunta extraña es un problema XY: a veces el método elegido está justificado por las circunstancias, por ejemplo, si el proyecto exige usar regex. Por eso los autores intentaron descartar las preguntas en las que bastaba con cumplir la instrucción literalmente.
Desde el punto de vista de la lingüística, se trata de una cuestión de pragmática: cómo el contexto y las intenciones del interlocutor cambian el sentido de una frase. Para los modelos de lenguaje es especialmente difícil, porque el objetivo rara vez se nombra por separado; queda escondido dentro del método elegido.
Qué significa para desarrolladores y responsables de producto
Si usted construye un asistente, un servicio de soporte o un ayudante para programar, la conclusión es práctica. Saber elegir la mejor opción entre varias ya hechas no garantiza una buena respuesta libre. Si se evalúa al modelo solo con tests de opción múltiple, el problema puede subestimarse.
Qué conviene probar:
- añadir al prompt del sistema la exigencia de comprobar primero la premisa de la pregunta y solo después responder;
- en escenarios de depuración y soporte, permitir que el modelo pregunte qué quiere lograr realmente la persona;
- incluir en las pruebas propias ejemplos en los que cumplir literalmente la petición no resuelve la tarea.
También hay limitaciones. En la descripción disponible no aparece el desglose de resultados por modelo, así que no se puede decir cuál de los cinco lo hace mejor. Tampoco se sabe hasta qué punto la puntuación del benchmark coincide con la opinión de usuarios reales. Además, la insistencia excesiva también molesta: si una persona necesita de verdad las regex, el asistente debe escribirlas, no dar una lección.
XYBench ofrece a los ingenieros una forma de medir esta debilidad en lugar de limitarse a sospechar de ella.
- 21 nov 2026Las vacantes de FDE se multiplicaron por 4,6 en un año: qué hace un ingeniero en el cliente
- 21 nov 2026Anthropic recorta un 20 % el precio de Claude Fable 5.2 y, en una prueba de código, queda casi a la altura de Opus 5.5
- 21 nov 2026Dreamteam recauda 53 millones de dólares para un CRM que se alimenta solo a partir del correo y las llamadas
- 21 nov 2026La IA Claude Opus 5.5 completa el terror Dimension 9 a partir de 15 habitaciones del autor
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué es el problema XY con ejemplos sencillos?
El término es conocido desde hace tiempo en los foros técnicos. En la pregunta aparece solo el método elegido, y el objetivo real queda fuera de la escena. Un ejemplo de programación: una persona quiere extraer datos de un documento XML y pregunta cómo hacerlo con expresiones regulares. El modelo puede construir una expresión compleja, explicar la sintaxis y enumerar las limitaciones. Formalmente, la petición está cumplida.
¿Qué se sabe sobre Qué mostró XYBench?
El 13 de noviembre de 2026, investigadores del Allen Institute for AI (Ai2), junto con colegas de la Carnegie Mellon University, NVIDIA y la Johns Hopkins University, presentaron el benchmark XYBench. El equipo estuvo dirigido por Akhila Yerukola. El conjunto incluye 8 115 preguntas sobre programación, soporte técnico y tareas cotidianas. Hay temas técnicos, como electrónica y Linux, situaciones domésticas (reparaciones, cocina, manualidades) e instrucciones prácticas habituales.
¿Qué se sabe sobre Qué significa para desarrolladores y responsables de producto?
Si usted construye un asistente, un servicio de soporte o un ayudante para programar, la conclusión es práctica. Saber elegir la mejor opción entre varias ya hechas no garantiza una buena respuesta libre. Si se evalúa al modelo solo con tests de opción múltiple, el problema puede subestimarse.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.