Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизНаучная статья · В песочницуХабр: Машинное обучение→ оригинал

Тест XYBench: ИИ выбирает полезный совет в 71–84% случаев, а пишет его лишь в 35–41%

Спросите ИИ, как сгустить крем для капкейков, и он посоветует сахарную пудру, хотя крем сползает от горячей выпечки. Это XY-проблема: человек просит помощи с выбранным способом (Y), а не с настоящей целью (X). В тесте XYBench на вопросах Stack Overflow модели выбирают лучший из двух ответов в 71–84% случаев, а в собственном ответе касаются реальной цели лишь в 35–41%. Поэтому ассистента стоит учить сначала проверять предпосылку вопроса.

AI-обработка оригинала Хабр: Машинное обучение; редакция Hamidun News
Тест XYBench: ИИ выбирает полезный совет в 71–84% случаев, а пишет его лишь в 35–41%
Источник: Хабр: Машинное обучение. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникХабр: Машинное обучение ↗
Главный редактор
Ключевой факт #1Проверили Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B, DeepSeek-V4 Pro
Ключевой факт #2В бенчмарке 8 115 вопросов из кода, техподдержки и быта
Примерпросят regex для XML, а надёжнее готовый парсер

Вы спрашиваете нейросеть, как сделать крем для капкейков гуще, потому что он сползает. Ассистент советует добавить сахарную пудру, поменять пропорции или дольше взбивать, и все советы звучат разумно. Но если капкейки ещё горячие, крем будет сползать при любых пропорциях: сначала выпечку надо остудить. Такая ситуация называется XY-проблемой: человек хочет добиться цели X, решил, что для этого нужен способ Y, и просит помощи только с Y. Исследователи измерили, как с этим справляются современные модели, и получили разрыв. На вопросах Stack Overflow ИИ выбирает более полезный из двух готовых ответов в 71–84% случаев, а когда пишет ответ сам, говорит о реальной цели пользователя лишь в 35–41% ответов. Этот тест называется XYBench.

Что такое XY-проблема на простых примерах

Термин давно знаком участникам технических форумов. В вопросе звучит только выбранный способ, а настоящая цель остаётся за кадром.

Пример из программирования: человек хочет достать данные из XML-документа и спрашивает, как сделать это регулярными выражениями. Модель может составить сложное выражение, объяснить синтаксис и перечислить ограничения. Формально запрос выполнен. Но для структурированного XML обычно надёжнее специализированный парсер: он учитывает вложенность элементов, атрибуты и особенности формата. Если регулярки не обязательны, полезный ответ сначала назовёт их слабые места и предложит другой инструмент.

За пределами кода всё так же. Человек покупает более мощный пылесос, хотя тягу ослабляет засорившийся шланг. Или переустанавливает операционную систему, не выяснив причину сбоев приложения. Хороший помощник не просто выдаёт инструкцию, а проверяет, верно ли само предположение о пути к результату.

Что показал XYBench

13 ноября 2026 года исследователи Allen Institute for AI (Ai2) вместе с коллегами из Carnegie Mellon University, NVIDIA и Johns Hopkins University представили бенчмарк XYBench. Команду возглавляла Akhila Yerukola. В набор вошло 8 115 вопросов из программирования, технической поддержки и повседневных задач. В нём есть технические темы вроде электроники и Linux, бытовые ситуации (ремонт, готовка, рукоделие) и обычные практические инструкции.

Авторы протестировали Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro. Главный результат — разница между «понимаю» и «делаю». Когда модели показывали два готовых ответа на вопрос со Stack Overflow, они выбирали более полезный в 71–84% случаев. Значит, отличить хороший подход от плохого они умеют. Но при самостоятельной генерации на действительную цель пользователя они опирались лишь в 35–41% ответов. Даже найдя правильное решение, модели часто продолжали подробно объяснять изначально выбранный, неподходящий способ.

Собрать такой набор было непросто. Не всякий странный запрос — XY-проблема: иногда выбранный способ оправдан обстоятельствами, например, регулярки обязательны по условиям проекта. Поэтому авторы старались отсеивать вопросы, где буквального выполнения инструкции достаточно.

С точки зрения лингвистики это вопрос прагматики: как контекст и намерения собеседника меняют смысл фразы. Для языковых моделей он особенно труден, потому что цель редко называют отдельно, она спрятана внутри выбранного способа.

Что это значит для разработчиков и продактов

Если вы строите ассистента, техподдержку или помощника для кода, вывод практичный. Умение выбрать лучший вариант из готовых не гарантирует хорошего свободного ответа. Если проверять модель только тестами с вариантами ответа, проблему можно недооценить.

Что стоит попробовать:

  • добавить в системный промпт требование сначала проверить предпосылку вопроса, а потом отвечать;
  • в сценариях отладки и техподдержки разрешить модели уточнить, чего человек хочет добиться на самом деле;
  • включить в собственные тесты примеры, где буквальное выполнение просьбы не решает задачу.

Есть и ограничения. В доступном описании нет разбивки результатов по каждой модели, поэтому сказать, какая из пяти справляется лучше, нельзя. Неизвестно и то, насколько оценка в бенчмарке совпадает с мнением живых пользователей. К тому же чрезмерная настойчивость тоже раздражает: если человеку действительно нужны именно регулярки, ассистент должен их написать, а не читать лекцию.

XYBench даёт инженерам способ измерять эту слабость вместо того, чтобы лишь догадываться о ней.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что такое XY-проблема на простых примерах?

Термин давно знаком участникам технических форумов. В вопросе звучит только выбранный способ, а настоящая цель остаётся за кадром. Пример из программирования: человек хочет достать данные из XML-документа и спрашивает, как сделать это регулярными выражениями. Модель может составить сложное выражение, объяснить синтаксис и перечислить ограничения. Формально запрос выполнен. Но для структурированного XML обычно надёжнее специализированный парсер: он учитывает вложенность элементов, атрибуты и особенности формата.

Что известно по теме: что показал XYBench?

13 ноября 2026 года исследователи Allen Institute for AI (Ai2) вместе с коллегами из Carnegie Mellon University, NVIDIA и Johns Hopkins University представили бенчмарк XYBench. Команду возглавляла Akhila Yerukola. В набор вошло 8 115 вопросов из программирования, технической поддержки и повседневных задач. В нём есть технические темы вроде электроники и Linux, бытовые ситуации (ремонт, готовка, рукоделие) и обычные практические инструкции.

Что известно по теме: что это значит для разработчиков и продактов?

Если вы строите ассистента, техподдержку или помощника для кода, вывод практичный. Умение выбрать лучший вариант из готовых не гарантирует хорошего свободного ответа. Если проверять модель только тестами с вариантами ответа, проблему можно недооценить.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…