MIT News→ оригинал

ИИ-чатботы хуже отвечают уязвимым пользователям

Исследователи из MIT Center for Constructive Communication выяснили, что ведущие ИИ-модели дают менее точные ответы пользователям с низким уровнем владения англ

ИИ-чатботы хуже отвечают уязвимым пользователям
Источник: MIT News. Коллаж: Hamidun News.

Технологическая индустрия годами убеждала нас в том, что искусственный интеллект — это великий уравнитель, инструмент, который даёт одинаково качественные знания профессору Гарварда и первокурснику провинциального университета. Новое исследование MIT Center for Constructive Communication разрушает этот миф с хирургической точностью: ведущие ИИ-модели систематически дают менее точные ответы пользователям с низким уровнем владения английским языком, меньшим формальным образованием и незападным происхождением. Иными словами, чат-боты лучше работают для тех, кто и без них имеет доступ к качественной информации.

Чтобы понять масштаб проблемы, нужен контекст. Крупнейшие языковые модели — от ChatGPT до Claude и Gemini — обучались преимущественно на англоязычных данных, созданных определённой демографической группой: образованными носителями языка, в основном из США и Западной Европы. Когда модель «думает», она опирается на паттерны, выученные из этого корпуса. Это не баг, это архитектурная особенность — но последствия у неё вполне конкретные и социально опасные.

Исследователи из MIT изучили, как меняется качество ответов в зависимости от профиля пользователя. Они тестировали сценарии, в которых вопросы формулировались с характерными признаками ограниченного владения языком — нестандартным синтаксисом, нетипичной лексикой, акцентными конструкциями. Результаты оказались показательны: модели не просто хуже понимали такие запросы — они давали фактически менее точную информацию. Проблема не сводится к тому, что чат-бот попросит переформулировать вопрос. Он уверенно отвечает — просто отвечает хуже. Это особенно опасно, потому что пользователь не получает никакого сигнала о снижении качества.

Механизм этого явления многогранен. Во-первых, обучающие данные отражают мировоззрение и культурные референции преимущественно американского образованного класса. Когда модель интерпретирует неоднозначный запрос, она делает предположения — и эти предположения статистически настроены под определённый социальный профиль. Во-вторых, нестандартные языковые конструкции снижают уверенность модели в интерпретации намерения пользователя, что ведёт к менее релевантным или менее тщательно верифицированным ответам. В-третьих, существует проблема так называемого «культурного смещения»: одни и те же понятия — медицинские, юридические, финансовые — в разных культурах имеют разные коннотации и контексты, которые модели часто игнорируют.

Последствия этого дисбаланса выходят далеко за пределы академической дискуссии. Подумайте, кто чаще всего обращается к ИИ-инструментам за критически важной информацией — о здоровье, правах, образовании, трудоустройстве. Именно те, кто не может позволить себе платного юриста или врача. Мигрант, пытающийся разобраться в визовых правилах. Первое поколение студентов в семье, ищущее помощи с поступлением в университет. Пожилой человек с ограниченными языковыми навыками, уточняющий схему приёма лекарств. Для этих людей ИИ-чат-бот — не удобная игрушка, а реальная альтернатива недоступным им профессиональным услугам. И именно им система отвечает хуже всего.

Для индустрии это исследование должно стать поворотным сигналом. Компании OpenAI, Google, Anthropic и другие вкладывают значительные ресурсы в повышение точности и безопасности своих моделей — но стандартные бенчмарки измеряют производительность на идеализированных входных данных. Если качество ответа существенно деградирует при нестандартном языке ввода, то декларируемые показатели точности попросту не отражают реального опыта огромной части пользователей. Индустрии нужны новые метрики — те, что учитывают демографическое и лингвистическое разнообразие тестовых сценариев.

Исследование MIT — не приговор технологии, а диагноз её текущего состояния. Языковые модели обучаются на данных, созданных людьми, и наследуют структурное неравенство, встроенное в эти данные. Пока подходы к обучению и оценке моделей не станут принципиально более инклюзивными, ИИ-инструменты будут воспроизводить и усугублять то неравенство, которое они обещают преодолеть. Технология, которая работает лучше для тех, кто в ней меньше нуждается, — это не нейтральный инструмент прогресса. Это зеркало существующей системы привилегий, только в цифровом исполнении.

ЖХ
Hamidun News
AI‑новости без шума. Ежедневный редакторский отбор из 400+ источников. Продукт Жемала Хамидуна, Head of AI в Alpina Digital.
Загружаем комментарии…