Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарAi2 (Allen Institute)→ оригинал

Ai2 проверил пять топ-моделей: упор на настоящую проблему они делают лишь в 35–41% ответов

Вы спрашиваете, как загустить глазурь, которая сползает с капкейков, а настоящая причина в том, что капкейки ещё тёплые. Ai2 собрал тест XYBench из 8115 таких вопросов и проверил пять моделей, включая GPT-5 и Claude Sonnet 4.6. На вопросах Stack Overflow они делали упор на настоящую причину лишь в 35–41% ответов, а на ошибочный способ из вопроса — в 47–57%. Поэтому при выборе ассистента проверяйте, умеет ли он возразить пользователю.

AI-обработка оригинала Ai2 (Allen Institute); редакция Hamidun News
Ai2 проверил пять топ-моделей: упор на настоящую проблему они делают лишь в 35–41% ответов
Источник: Ai2 (Allen Institute). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAi2 (Allen Institute) ↗
Главный редактор
8115 вопросовStack Overflow, Stack Exchange, WikiHow и ручные примеры
Ключевой факт #2Из двух готовых ответов нужный выбирают в 71–84% случаев
Ключевой факт #3Подсказка цели подняла долю решений у Sonnet 4.6 с 59% до 67%

Вы спрашиваете у ассистента, как загустить глазурь, которая сползает с капкейков. Хороший помощник заметит, что дело не в густоте: капкейки ещё тёплые, и глазурь просто тает. Плохой начнёт подробно рассказывать про сахарную пудру и крахмал. Лаборатория Ai2 выпустила бенчмарк XYBench, чтобы измерять именно это умение, и проверила на нём пять сильных моделей. На вопросах Stack Overflow (разработчики спрашивают про код) модели делали главным в ответе настоящую проблему человека лишь в 35–41% случаев. В 47–57% случаев они сосредоточивались на ошибочном способе, о котором человек спросил. Работа сделана вместе с Carnegie Mellon, NVIDIA и Johns Hopkins и получила награду Best Resource Paper на EMNLP 2026.

Что такое проблема XY и как её проверяли

Ситуация знакома каждому, кто работал в поддержке или отвечал на форумах. Человек хочет добиться цели X, решает, что поможет способ Y, и просит помощи с Y. В бенчмарке Y называется заявленным запросом, а X — настоящей целью, которую можно понять из контекста.

В XYBench 8115 вопросов из четырёх источников:

  • 1557 вопросов со Stack Overflow;
  • 184 вопроса со Stack Exchange;
  • 102 примера, подобранных вручную;
  • 6272 вопроса, сгенерированных по руководствам WikiHow.

Для форумных вопросов цель и возможные решения определяли по трём самым высоко оценённым ответам и принятому ответу. Случаи, где хватало ответа на буквальный вопрос, отфильтровали. Вопросы по WikiHow генерировала модель Sonnet 4.5. Затем их доработали так, чтобы эксперт мог понять цель, а сама она в тексте не называлась.

Ответ оценивают по трём признакам. Первый: есть ли в нём решение для Y и для X. Второй: на чём сделан акцент — на заявленном запросе, на цели или поровну. Третий: объясняет ли модель, что выбранный путь ошибочен, и направляет ли к цели. Судьёй выступает Claude Sonnet 4.5. Два человека независимо проверили 500 ответов. Они согласились с судьёй в 97,5–100% случаев по наличию решения, в 84,6–93,3% по выявлению ошибочного допущения и в 74,2–79,8% по акценту. Последняя цифра заметно ниже остальных: акцент оценивать сложнее всего.

Что показали модели

Ai2 проверил Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro. Каждая модель отвечала один раз на вопрос. Все пять чаще предлагали решение для заявленного запроса, чем для настоящей цели. На Stack Overflow решение для Y было в 75–86% ответов, а решение для X — в 59–71%.

Упомянуть верное решение ещё не значит сделать его главным. Модель может несколько абзацев советовать более мощный пылесос и одной строкой добавить, что стоит проверить шланг. На Stack Overflow настоящая цель была в центре внимания лишь в 35–41% ответов, а заявленный запрос — в 47–57%. В остальных ответах акцент делился примерно поровну. Люди-эксперты в этом сравнении справлялись лучше: они чаще уводили пользователя от ошибочного пути.

Знать и делать — разные навыки

В двух дополнительных экспериментах авторы проверили, почему так получается.

В первом моделям прямо подсказали и заявленный запрос, и настоящую цель. У Sonnet 4.6 на Stack Overflow доля ответов с решением для цели выросла с 59% до 67%. Но доля ответов, где модель объясняет ошибочность допущения, упала с 47% до 34%. Все модели по-прежнему уступали людям в выявлении ошибочного допущения. Получается, что угадать намерение — только полдела. Модели ещё должны решиться возразить пользователю.

Во втором эксперименте модели выступали судьями. К шести моделям (пять основных и GPT-4.1) добавили по два готовых ответа: один про буквальный запрос, другой про настоящую цель. Выбрать ответ про цель они смогли в 71–84% случаев. Значит, понимать, какой совет полезнее, они умеют заметно лучше, чем сами такие советы писать. Тест с выбором из вариантов эту разницу не показал бы.

Что с этим делать

Для разработчиков ассистентов и продуктовых команд вывод практический. Если пользователи приходят с неточными вопросами, а так бывает почти всегда, одной оценки по формальной правильности ответа мало. Стоит отдельно проверять, ищет ли модель корень проблемы. Возможные приёмы — системный промпт с просьбой сначала уточнить цель и проверка ответов по тем же трём признакам. Сама идея выбора лучшего ответа из двух подсказывает ещё один вариант: пусть модель сначала сгенерирует несколько черновиков, а потом сама выберет тот, что решает настоящую задачу. Авторы этого не проверяли, так что это лишь гипотеза.

Есть и честные ограничения. Бенчмарк пока англоязычный и в основном про процедурные задачи: программирование, готовку, домашний ремонт. Судья — тоже модель, и по акценту её согласие с людьми не выше 80%. Влияние обучения и промптов на результат Ai2 только предлагает изучать в будущих работах.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что такое проблема XY и как её проверяли?

Ситуация знакома каждому, кто работал в поддержке или отвечал на форумах. Человек хочет добиться цели X, решает, что поможет способ Y, и просит помощи с Y. В бенчмарке Y называется заявленным запросом, а X — настоящей целью, которую можно понять из контекста. В XYBench 8115 вопросов из четырёх источников: 1557 вопросов со Stack Overflow; 184 вопроса со Stack Exchange; 102 примера, подобранных вручную; 6272 вопроса, сгенерированных по руководствам WikiHow.

Что известно по теме: что показали модели?

Ai2 проверил Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro. Каждая модель отвечала один раз на вопрос. Все пять чаще предлагали решение для заявленного запроса, чем для настоящей цели. На Stack Overflow решение для Y было в 75–86% ответов, а решение для X — в 59–71%. Упомянуть верное решение ещё не значит сделать его главным. Модель может несколько абзацев советовать более мощный пылесос и одной строкой добавить, что стоит проверить шланг.

Что известно по теме: знать и делать — разные навыки?

В двух дополнительных экспериментах авторы проверили, почему так получается. В первом моделям прямо подсказали и заявленный запрос, и настоящую цель. У Sonnet 4.6 на Stack Overflow доля ответов с решением для цели выросла с 59% до 67%. Но доля ответов, где модель объясняет ошибочность допущения, упала с 47% до 34%. Все модели по-прежнему уступали людям в выявлении ошибочного допущения. Получается, что угадать намерение — только полдела. Модели ещё должны решиться возразить пользователю.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…