Почему ИИ-ассистенты намеренно скрывают системное мышление от пользователей

Разработчики ИИ-ассистентов сознательно ограничивают их системное мышление: по наблюдениям исследователей, пользователи отворачиваются от ИИ, который говорит слишком умно и сложно, поэтому модели по умолчанию подстраиваются под невысокий уровень собеседника.

Откуда взялась эта дилемма

Несколько лет назад автор материала на Habr рассказывал про системное мышление на конференции Analyst Days и получил в обратной связи вопрос: «Это интересно, но зачем так сложно? Почему бы просто не взять c4-model и не построить модель на её основе — это же куда проще?» Сегодня похожий вопрос возникает применительно к ИИ-помощникам: нужно ли им применять системный подход, когда пользователь ведёт с ними проектирование сложных проектов.

Для разработчиков моделей ответ был очевиден с самого начала, и он отрицательный. Знающий системный подход ИИ будет разговаривать «слишком умно», а исследования показывают, что людям это не нравится — они отворачиваются от такого собеседника. Поэтому модель по умолчанию ориентируется на статистически невысокий уровень собеседника, чтобы не отпугнуть массового пользователя.

Почему фраза «используй системный подход» не работает

Просто попросить ИИ «используй системный подход» недостаточно, потому что за этими словами скрывается множество разных смыслов. В самом простом случае это умение применять хоть какую-то последовательность рассуждений вместо хаотичного метания мысли. Но лишь малая часть этих смыслов относится к настоящему системному мышлению: умение выделять системы в окружающем мире, строить между ними правильные отношения, различать эмерджентные свойства, присущие системе как целому, от свойств отдельных её частей, и не путать функциональное деление системы с модульным.

• Задача — научить модель различать эмерджентные свойства системы и свойства отдельных её частей
• Ассистенты по умолчанию ориентируются на невысокий уровень собеседника, потому что так статистически комфортнее большинству пользователей
• Простая команда «думай системно» не раскрывает содержание системного подхода и может привести модель к ошибке
• Автор материала утверждает, что сейчас для раскрытия этого содержания существует доступное и бесплатное решение

Раскрыть это содержание — то есть явно описать, какие паттерны составляют системный подход, — непростая задача. Без явного описания модель легко путает разные уровни рассуждения: применяет последовательность шагов там, где нужно выделять системы и связи между ними, или смешивает функциональное деление с модульным.

Что это значит

История с системным мышлением показывает более общую проблему проектирования ИИ-ассистентов: баланс между доступностью для массового пользователя и экспертной глубиной по умолчанию решается не в пользу глубины. Для сложных задач — будь то архитектура ПО или системный анализ — пользователю самому придётся явно формулировать, какой именно системный подход нужен от ассистента, а не полагаться на то, что модель сама поймёт запрос буквально.