Ai2 проверил пять топ-моделей: упор на настоящую проблему они делают лишь в 35–41% ответов
Вы спрашиваете, как загустить глазурь, которая сползает с капкейков, а настоящая причина в том, что капкейки ещё тёплые. Ai2 собрал тест XYBench из 8115 таких вопросов и проверил пять моделей, включая GPT-5 и Claude Sonnet 4.6. На вопросах Stack Overflow они делали упор на настоящую причину лишь в 35–41% ответов, а на ошибочный способ из вопроса — в 47–57%. Поэтому при выборе ассистента проверяйте, умеет ли он возразить пользователю.
AI-обработка оригинала Ai2 (Allen Institute); редакция Hamidun News
Вы спрашиваете у ассистента, как загустить глазурь, которая сползает с капкейков. Хороший помощник заметит, что дело не в густоте: капкейки ещё тёплые, и глазурь просто тает. Плохой начнёт подробно рассказывать про сахарную пудру и крахмал. Лаборатория Ai2 выпустила бенчмарк XYBench, чтобы измерять именно это умение, и проверила на нём пять сильных моделей. На вопросах Stack Overflow (разработчики спрашивают про код) модели делали главным в ответе настоящую проблему человека лишь в 35–41% случаев. В 47–57% случаев они сосредоточивались на ошибочном способе, о котором человек спросил. Работа сделана вместе с Carnegie Mellon, NVIDIA и Johns Hopkins и получила награду Best Resource Paper на EMNLP 2026.
Что такое проблема XY и как её проверяли
Ситуация знакома каждому, кто работал в поддержке или отвечал на форумах. Человек хочет добиться цели X, решает, что поможет способ Y, и просит помощи с Y. В бенчмарке Y называется заявленным запросом, а X — настоящей целью, которую можно понять из контекста.
В XYBench 8115 вопросов из четырёх источников:
- 1557 вопросов со Stack Overflow;
- 184 вопроса со Stack Exchange;
- 102 примера, подобранных вручную;
- 6272 вопроса, сгенерированных по руководствам WikiHow.
Для форумных вопросов цель и возможные решения определяли по трём самым высоко оценённым ответам и принятому ответу. Случаи, где хватало ответа на буквальный вопрос, отфильтровали. Вопросы по WikiHow генерировала модель Sonnet 4.5. Затем их доработали так, чтобы эксперт мог понять цель, а сама она в тексте не называлась.
Ответ оценивают по трём признакам. Первый: есть ли в нём решение для Y и для X. Второй: на чём сделан акцент — на заявленном запросе, на цели или поровну. Третий: объясняет ли модель, что выбранный путь ошибочен, и направляет ли к цели. Судьёй выступает Claude Sonnet 4.5. Два человека независимо проверили 500 ответов. Они согласились с судьёй в 97,5–100% случаев по наличию решения, в 84,6–93,3% по выявлению ошибочного допущения и в 74,2–79,8% по акценту. Последняя цифра заметно ниже остальных: акцент оценивать сложнее всего.
Что показали модели
Ai2 проверил Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro. Каждая модель отвечала один раз на вопрос. Все пять чаще предлагали решение для заявленного запроса, чем для настоящей цели. На Stack Overflow решение для Y было в 75–86% ответов, а решение для X — в 59–71%.
Упомянуть верное решение ещё не значит сделать его главным. Модель может несколько абзацев советовать более мощный пылесос и одной строкой добавить, что стоит проверить шланг. На Stack Overflow настоящая цель была в центре внимания лишь в 35–41% ответов, а заявленный запрос — в 47–57%. В остальных ответах акцент делился примерно поровну. Люди-эксперты в этом сравнении справлялись лучше: они чаще уводили пользователя от ошибочного пути.
Знать и делать — разные навыки
В двух дополнительных экспериментах авторы проверили, почему так получается.
В первом моделям прямо подсказали и заявленный запрос, и настоящую цель. У Sonnet 4.6 на Stack Overflow доля ответов с решением для цели выросла с 59% до 67%. Но доля ответов, где модель объясняет ошибочность допущения, упала с 47% до 34%. Все модели по-прежнему уступали людям в выявлении ошибочного допущения. Получается, что угадать намерение — только полдела. Модели ещё должны решиться возразить пользователю.
Во втором эксперименте модели выступали судьями. К шести моделям (пять основных и GPT-4.1) добавили по два готовых ответа: один про буквальный запрос, другой про настоящую цель. Выбрать ответ про цель они смогли в 71–84% случаев. Значит, понимать, какой совет полезнее, они умеют заметно лучше, чем сами такие советы писать. Тест с выбором из вариантов эту разницу не показал бы.
Что с этим делать
Для разработчиков ассистентов и продуктовых команд вывод практический. Если пользователи приходят с неточными вопросами, а так бывает почти всегда, одной оценки по формальной правильности ответа мало. Стоит отдельно проверять, ищет ли модель корень проблемы. Возможные приёмы — системный промпт с просьбой сначала уточнить цель и проверка ответов по тем же трём признакам. Сама идея выбора лучшего ответа из двух подсказывает ещё один вариант: пусть модель сначала сгенерирует несколько черновиков, а потом сама выберет тот, что решает настоящую задачу. Авторы этого не проверяли, так что это лишь гипотеза.
Есть и честные ограничения. Бенчмарк пока англоязычный и в основном про процедурные задачи: программирование, готовку, домашний ремонт. Судья — тоже модель, и по акценту её согласие с людьми не выше 80%. Влияние обучения и промптов на результат Ai2 только предлагает изучать в будущих работах.
- 21 нояб. 2026 г.MCP-сервер на 360 строк без SDK: пять решений, после которых агент перестал ломать ссылки
- 21 нояб. 2026 г.Text-to-cad: ИИ-агент рисует детали робота по описанию, проект набрал 26 тысяч звёзд
- 21 нояб. 2026 г.Ролик о Claude в GTA 6 похож на фейк: полчаса управления съели 5-часовой лимит Pro
- 21 нояб. 2026 г.Claude Code ускорил декомпиляцию Snowboard Kids 2: с 20% до 45% функций за три месяца
Вопросы и ответы по материалу
Что известно по теме: что такое проблема XY и как её проверяли?
Ситуация знакома каждому, кто работал в поддержке или отвечал на форумах. Человек хочет добиться цели X, решает, что поможет способ Y, и просит помощи с Y. В бенчмарке Y называется заявленным запросом, а X — настоящей целью, которую можно понять из контекста. В XYBench 8115 вопросов из четырёх источников: 1557 вопросов со Stack Overflow; 184 вопроса со Stack Exchange; 102 примера, подобранных вручную; 6272 вопроса, сгенерированных по руководствам WikiHow.
Что известно по теме: что показали модели?
Ai2 проверил Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro. Каждая модель отвечала один раз на вопрос. Все пять чаще предлагали решение для заявленного запроса, чем для настоящей цели. На Stack Overflow решение для Y было в 75–86% ответов, а решение для X — в 59–71%. Упомянуть верное решение ещё не значит сделать его главным. Модель может несколько абзацев советовать более мощный пылесос и одной строкой добавить, что стоит проверить шланг.
Что известно по теме: знать и делать — разные навыки?
В двух дополнительных экспериментах авторы проверили, почему так получается. В первом моделям прямо подсказали и заявленный запрос, и настоящую цель. У Sonnet 4.6 на Stack Overflow доля ответов с решением для цели выросла с 59% до 67%. Но доля ответов, где модель объясняет ошибочность допущения, упала с 47% до 34%. Все модели по-прежнему уступали людям в выявлении ошибочного допущения. Получается, что угадать намерение — только полдела. Модели ещё должны решиться возразить пользователю.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.