Habr AI: почему галлюцинации LLM похожи не на математический баг, а на человеческий сбой

На Habr AI вышла колонка о том, что галлюцинации моделей стоит рассматривать не только как инженерный дефект, но и как отражение знакомых человеческих сбоев мышления. Автор смотрит на проблему как клиницист: вместо возмущения предлагает разбирать, где именно система теряет рамки задачи и почему уверенно выдает неверный ответ.

Почему это всех раздражает

Реакция на галлюцинации LLM обычно очень резкая: пользователь ждет, что модель будет держаться контекста, а получает уверенную, но неверную формулировку. В ответ разработчики долго прикрывались классическим набором объяснений вроде GIGO и RTFM, а затем начали усиливать продукты через RAG и дополнительные ограничения. Но сама претензия никуда не делась: от машины ждут поведения «здорового» собеседника, который не теряет нить разговора и не выдумывает факты на ходу. В колонке эта логика переворачивается. Автор пишет, что ее не удивили первые сбои нейросети, потому что в клинической практике работа с нарушениями мышления — обычная часть профессии. Отсюда и главный тезис: раздражение возникает не только из-за ошибки как таковой, а из-за завышенного ожидания, будто ИИ должен мыслить чище и дисциплинированнее человека.

• Пользователь ждет буквального следования инструкции Инженер напоминает про качество входных данных Продуктовые команды добавляют RAG, фильтры и проверки * Но сама модель все равно наследует знакомые паттерны сбоев ## Баг белковой нейросети Самый сильный фрагмент текста — бытовой пример, в котором ошибается уже не модель, а человек. Автор дает простую вводную: «По паспорту я Ольга. Дома меня зовут Алена. Выбери одно из двух». Формально вариантов всего два, но «белковая нейросеть» нередко отвечает: «Ты Лена». Именно так, по мысли автора, и выглядит поломка человеческого prompt engineering на элементарной задаче. Смысл примера в том, что мозг не любит долго удерживать противоречивые ограничения. Вместо строгого выбора из заданного набора он быстро уходит в ассоциации: Алена, Елена, Лена — и подставляет статистически привычный ответ. Ошибка рождается не из злого умысла и не из полного непонимания языка, а из стремления срезать путь к «правдоподобному» выводу. Поэтому претензия «нейросеть игнорирует контекст» в каком-то смысле возвращается и к человеку.

Что ломается в голове

Автор описывает этот сбой как constraint violation — нарушение параметров задачи. Если смотреть на ситуацию через психологию, мозг сбрасывает исходный промпт, достает самый удобный ассоциативный вариант и выдает его с полной уверенностью. В терминах когнитивных искажений это напоминает jumping to conclusions — прыжок к выводу без достаточной проверки условий. Для читателя из AI-индустрии это звучит почти как знакомый баг LLM: ограничение было, но система не удержала его до конца генерации.

«ИИ не сломан.

Возможно, мы воссоздали собственный баг». Практический вывод у автора неожиданно приземленный. Часть таких сбоев лечится не только новыми архитектурными ухищрениями, но и правильной дисциплиной взаимодействия. Если задача неясна, полезнее не угадывать, а переспросить. Эта логика работает и для людей, и для моделей: чем лучше заданы рамки, тем меньше шанс, что ответ уедет в уверенную импровизацию. И именно поэтому спор о галлюцинациях нельзя сводить только к вопросу «достаточно ли данных в системе».

Что это значит Колонка полезна тем, что снимает с темы лишнюю драму.

Галлюцинации LLM остаются серьезной продуктовой проблемой, но клинический взгляд показывает: часть их природы может быть ближе к человеческим когнитивным shortcuts, чем к загадочному «безумию машины». Для разработчиков это аргумент не только улучшать модели и retrieval, но и проектировать интерфейсы, где системе проще уточнить запрос, чем красиво ошибиться. Для пользователей — напоминание, что уверенный тон еще не равен пониманию.