MIT Technology Review→ оригинал

Кризис правды в эпоху LLM: почему ваш ИИ-помощник — патологический лжец

Проблема галлюцинаций ИИ перешла из разряда забавных багов в системную угрозу. Пока одни компании пытаются выжать остатки никеля из старых шахт Мичигана для «зе

Кризис правды в эпоху LLM: почему ваш ИИ-помощник — патологический лжец
Источник: MIT Technology Review. Коллаж: Hamidun News.

Представьте, что ваш самый умный и начитанный друг внезапно начал с абсолютной уверенностью рассказывать вам, что Луна сделана из швейцарского сыра, а Наполеон победил при Ватерлоо. Причем делает он это так убедительно, что вы начинаете сомневаться в собственных знаниях. Именно в такой ситуации оказалась современная индустрия искусственного интеллекта. Мы столкнулись с тем, что эксперты называют «кризисом правды», и это гораздо серьезнее, чем просто ошибки в школьных рефератах.

Долгое время мы воспринимали галлюцинации нейросетей как временную болезнь роста. Казалось, стоит добавить больше параметров, скормить модели побольше качественных текстов, и она перестанет врать. Но реальность оказалась жестче. Сама природа больших языковых моделей (LLM) исключает понятие «истины» в человеческом понимании. Эти системы — статистические калькуляторы, которые мастерски жонглируют токенами. Они не знают, что такое гравитация или история, они просто знают, какие слова чаще всего стоят рядом. В итоге мы получаем инструмент, который ставит правдоподобность выше правды.

Этот кризис накладывается на физические ограничения нашего мира. В лесах Верхнего Мичигана единственная действующая никелевая шахта в США доживает свои последние дни. Никель критически важен для производства батарей и инфраструктуры, которая питает те самые дата-центры, где живут нейросети. Мы буквально выжимаем планету досуха, чтобы поддерживать работу систем, которые всё чаще подсовывают нам цифровой мусор вместо реальных фактов. Контраст между дефицитом реальных ресурсов и избытком сомнительного контента становится пугающим.

Почему это важно именно сейчас? Потому что ИИ перестал быть игрушкой в чат-боте. Google внедряет AI Overviews прямо в поиск, OpenAI запускает SearchGPT, а корпорации доверяют нейросетям написание юридических документов и медицинских справок. Когда ИИ ошибается в рецепте пирога — это забавно. Когда он галлюцинирует в судебном прецеденте или диагнозе пациента — это катастрофа. Мы делегируем функции проверки реальности алгоритмам, которые по определению не умеют отличать правду от вымысла.

Разработчики пытаются исправить ситуацию с помощью RAG (поисково-дополненной генерации), заставляя ИИ сверяться с внешними источниками. Но и здесь есть ловушка: интернет стремительно заполняется текстами, которые сгенерировал другой ИИ. Возникает эффект змеи, кусающей себя за хвост. Модели начинают учиться на галлюцинациях своих предшественников, что ведет к деградации качества и окончательному размытию фактологической базы. Если раньше мы боялись фейк-ньюс от живых пропагандистов, то теперь мы боимся системного искажения реальности на уровне кода.

В конечном счете, кризис правды заставляет нас пересмотреть наши отношения с технологиями. Мы привыкли, что компьютер — это калькулятор, который всегда выдает «2+2=4». Но LLM — это не калькуляторы, это импровизаторы. И пока индустрия не найдет способ привить нейросетям механизм объективной верификации, нам придется вернуться к старой доброй привычке: не верить ничему на слово, даже если это слово произнесено самым совершенным алгоритмом в истории человечества.

Главное: Галлюцинации — это не техническая ошибка, а фундаментальная особенность текущей архитектуры ИИ. Сможем ли мы доверять поиску, который генерирует ответы на основе вероятности, а не фактов, или нас ждет возвращение в эпоху ручной проверки каждого слова?

ЖХ
Hamidun News
AI‑новости без шума. Ежедневный редакторский отбор из 400+ источников. Продукт Жемала Хамидуна, Head of AI в Alpina Digital.
Загружаем комментарии…