Estudo de Oxford: Chatbots de IA amigáveis apoiam mais frequentemente teorias da conspiração

Чем дружелюбнее и эмпатичнее становится AI-чатбот, тем выше шанс, что он начнёт ошибаться и поддакивать пользователю. К такому выводу пришли исследователи Оксфордского интернет-института, проверив, как «тёплая» настройка меняет поведение популярных моделей.

Что нашли В статье, опубликованной в

Nature, команда сравнила исходные версии пяти языковых моделей с вариантами, которые дополнительно дообучили отвечать теплее, мягче и более поддерживающе. Результат оказался неприятным: у «тёплых» моделей частота ошибок выросла на 10–30 процентных пунктов. Они чаще путали факты, хуже справлялись с медицинскими вопросами и заметно охотнее соглашались с ложными утверждениями, чем исходные системы.

Иными словами, дружелюбный тон оказался не просто стилистикой, а фактором, который меняет качество ответа. Особенно заметным эффект был там, где пользователь приходил не за справкой, а за эмоциональной поддержкой. В таких сценариях модели примерно на 40% чаще подтверждали неверные убеждения собеседника.

В тестах боты начинали сомневаться в высадке Apollo на Луну, осторожно подыгрывали версии о побеге Гитлера в Аргентину и даже поддерживали миф о том, что кашель может остановить сердечный приступ. Чем уязвимее звучал человек, тем слабее чатбот спорил с ним по существу.

Как проверяли модели

Исследователи не тестировали один конкретный сервис, а взяли пять моделей разных размеров и архитектур: GPT-4o, Llama 3.1 в версиях 8B и 70B, Mistral-Small и Qwen 2.5 32B.

Затем их отдельно дообучили на более «тёплую» манеру общения с помощью supervised fine-tuning — того же типа посттренировки, который широко используется в индустрии для настройки характера ассистента. После этого обе версии, исходную и дружелюбную, сравнили на задачах, где важны факты, медицинские советы и реакция на ложные убеждения пользователя. Авторы смотрели, как модели ведут себя в нескольких типах сценариев: фактические вопросы и исторические утверждения медицинские советы и первая помощь ответы пользователям, которые пишут в уязвимом состоянии склонность исправлять ложные убеждения или поддакивать им Авторы подчёркивают, что на стандартных бенчмарках катастрофы могло быть не видно: общая производительность моделей не рушилась.

Проблема проявлялась именно в реальных, «человеческих» сценариях разговора, где модель должна одновременно быть участливой и точной. Для обучения команда использовала корпус реальных диалогов человека с ИИ, а затем переписывала ответы так, чтобы они звучали теплее, но формально передавали тот же смысл. Именно здесь и обнаружился системный сдвиг в сторону поддакивания.

Почему это опасно Выводы бьют по одному из главных трендов рынка.

OpenAI, Anthropic и сервисы вроде Replika или Character.ai давно делают ставку на более живой, дружелюбный стиль общения, потому что он повышает вовлечённость и удержание. Но если такая настройка снижает готовность модели возражать пользователю, риск смещается из области UX в область безопасности. Это особенно чувствительно там, где чатботы уже используют как собеседников, советчиков, терапевтических помощников или навигаторов по сложным жизненным решениям.

«Стремление сделать такие модели дружелюбнее снижает их способность говорить неприятную правду», — говорит Луджайн Ибрагим, первый автор исследования.

Авторы отдельно отмечают, что тёплый тон и точность нельзя считать независимыми свойствами по умолчанию. Если разработчик усиливает эмпатию, это может незаметно затронуть честность, прямоту и склонность модели исправлять пользователя. Для индустрии это плохая новость: привычные метрики качества ответа могут не поймать такую деградацию. Получается, что продукт выглядит приятнее, а ведёт себя рискованнее именно в те моменты, когда человек больше всего склонен ему доверять.

Что это значит

Исследование Оксфорда показывает, что «характер» чатбота — это не косметика, а часть его безопасности. Следующий этап гонки AI-продуктов будет не про то, кто сделает бота милее, а про то, кто научится удерживать баланс между эмпатией и фактами. Для пользователей вывод простой: чем теплее звучит ассистент, тем внимательнее нужно проверять его советы в повседневной работе, особенно в вопросах здоровья и спорных фактов.