ИИ-помощник поднял оценки школьников на 48%, а без него они сдали на 17% хуже

Представьте джуна, который принимает подсказки Copilot одну за другой. Задачи закрываются быстро, метрики растут, а на код-ревью он не может объяснить, почему решение устроено именно так. Свежий разбор на Habr объясняет, почему это не случайность, и что с этим делать тем, кто строит продукты с ИИ.

Эксперимент, который портит красивые метрики

Мета-анализ 69 работ 2022–2024 годов показывает: ChatGPT улучшает успеваемость и мотивацию и снижает умственное усилие. Для продуктовой команды это выглядит как идеальный результат. Но в полевом эксперименте почти с тысячей старшеклассников, решавших задачи по математике, GPT-4 в обычном интерфейсе поднял оценки на практике на 48%, а в версии с защитными подсказками на 127%. После отключения доступа ученики из первой группы справились на 17% хуже тех, кто вообще не пользовался ИИ. Помощник сработал как костыль: пока он рядом, результат растёт, а научения не произошло.

Почему ИИ не равен хорошему интерфейсу

Теория когнитивной нагрузки выделяет три вида усилия: внутреннее (сложность самого материала), внешнее (от неудачной подачи) и релевантное (работа по построению знаний). В UX главный рычаг — снижение внешней нагрузки, и этого почти достаточно: пользователь CRM хочет, чтобы заказ ушёл, а не понимать справочник номенклатуры.

С ИИ иначе. В эксперименте с 91 студентом те, кто работал с ChatGPT-3.5, сообщали о более низкой нагрузке по всем трём шкалам, а их итоговые обоснования оказались хуже, чем у пользователей Google. Серия из семи экспериментов на 10 462 участниках подтверждает: знание по сводке LLM получается поверхностнее, чем по ссылкам поисковика. Поисковик отдаёт источники, и связывать их приходится самому. LLM отдаёт готовый синтез, то есть работа с внутренней сложностью сделана до того, как человек увидел результат. Хороший интерфейс убирает шум вокруг задачи, а ИИ может убрать саму задачу.

Есть и неприятная деталь. Исследование 589 студентов и молодых специалистов различает зависимую разгрузку (мышление передано ИИ) и автономную (ИИ как опора, решения за человеком). Немедленная польза у обоих режимов одинакова, поэтому пользователь по ощущениям их не отличит, а метрики удовлетворённости ничего не покажут. Оговорка: эти работы корреляционные, а исходы в части из них основаны на самооценке.

Что делать продакту и разработчику

Механизмы сохранения навыка нужно встраивать в продукт, а не надеяться на сознательность пользователя:

• IDE-ассистент сначала просит джуна предположить, где ошибка, и только потом показывает исправление с объяснением.
• Исследовательский ассистент отдаёт не сводку, а источники с расхождениями и просит сформулировать вывод самому.
• Помощник в поддержке даёт ссылку на раздел базы знаний и проверяет ответ оператора.
• Образовательный бот ведёт вопросами, а не решает за студента.

Поддержка не должна быть постоянной. Эффект обратной экспертизы говорит, что приёмы, помогающие новичку, мешают опытному, поэтому помощь должна ослабевать по мере роста навыка: опора, потом проверка, потом самостоятельная работа.

Практический минимум

Отдавайте ИИ поиск, форматирование и рутину. Оставляйте человеку связывание, вывод и оценку. Добавляйте объяснения и проверку перед принятием ответа. И главное, меняйте метрики: общая нагрузка и удовлетворённость не отличат полезную разгрузку от вредной. Периодически проверяйте, что человек умеет без инструмента. Если он должен оставаться в контуре и отвечать за результат, это единственный честный тест.