Шерри Тёркл предупреждает: люди верят в заботу ИИ уже с первых реплик

Шестьдесят лет назад программа ELIZA из MIT, которая подставляла слова пользователя в шаблонные реплики, заставила людей говорить с ней как с психотерапевтом. Сегодня Шерри Тёркл, профессор MIT, изучающая отношения людей и технологий с 1980-х, формулирует итог жёстче. TechCrunch приводит её слова: «Когда нас втягивает даже самый примитивный обмен репликами с реляционным артефактом, мы верим, что он о нас заботится. И мы устроены так, чтобы заботиться о нём в ответ».

В этой цитате нет прогноза и нет оценки конкретной модели. Это наблюдение о нас самих, и именно поэтому оно важно для индустрии.

Эффект, который старше самих нейросетей

Термин «реляционный артефакт» Тёркл использует для объектов, которые изображают заботу и вовлечённость: от цифровых питомцев и социальных роботов до чат-ботов. Её ранние работы и книга «Alone Together» (2011) строились на том, что люди привязываются к таким вещам даже тогда, когда прекрасно понимают, что перед ними машина.

Первым это показал создатель ELIZA Джозеф Вейценбаум. Его программа не понимала ничего: она искала ключевые слова и возвращала их в виде вопроса. Но пользователи делились с ней личным, а сам Вейценбаум потом стал одним из самых громких критиков такого отношения к машинам. С тех пор эффект получил имя ELIZA-эффекта.

Ключевые факты, на которых держится аргумент:

• 1966 год: ELIZA, шаблонный диалог без какого-либо понимания, а реакция людей уже человеческая.
• 2011 год: «Alone Together», где Тёркл описывает привязанность к роботам и цифровым компаньонам.
• Порог входа: по её формулировке, достаточно «самого примитивного» обмена репликами.
• Механизм: убеждение, что нас «любят», запускает ответную заботу с нашей стороны.

Почему сегодня это острее

У ELIZA было несколько десятков правил. У современных языковых моделей есть беглая речь, память о предыдущих разговорах, голос и тон, подстроенные под собеседника. Если реакция возникала на шаблонах 1960-х, трудно ожидать, что она ослабнет перед системой, которая отвечает связно, тепло и в любое время суток.

Заголовок TechCrunch ставит вопрос в две части: «не можем не относиться» и «стоит ли». Первая часть, по Тёркл, почти биологическая: мы настроены откликаться на любой сигнал внимания. Вторая касается ответственности тех, кто строит продукты. Машина изображает эмпатию, не переживая ничего, а пользователь отвечает на эту имитацию настоящими чувствами и временем. Перекос здесь структурный, и он выгоден тому, кто измеряет вовлечённость.

В исходном фрагменте нет цифр по конкретным сервисам, поэтому спор остаётся на уровне принципов. Но принцип понятный: чем убедительнее имитация заботы, тем выше цена ошибки в дизайне.

Что делать командам и пользователям

Для продуктовых команд практический вывод такой: привязанность пользователей нужно считать побочным эффектом, который требует управления, а не метрикой роста. Полезно заранее решить, где ассистент говорит «я понимаю» и «мне жаль», а где честнее сказать, что это модель. Отдельного внимания заслуживают сценарии с подростками, одинокими и уязвимыми людьми: там имитация заботы влияет сильнее всего.

Для пользователей совет скромнее. Если после разговора с ботом возникает ощущение, что вас поняли, это нормальная работа психики, а не доказательство того, что понимание было. Стоит иногда спрашивать себя, кому в этой паре отдаётся больше времени и внимания, и есть ли рядом живые люди, которые могут ответить взаимностью.