Галлюцинации от «умных» промптов: разработчик разобрался, почему Qwen Code сбоит

Разработчик опубликовал на Хабре подробный разбор: CLI-агент на базе Qwen Code потратил около двух часов на задачу, которую инструмент «найти и заменить» в IDE решил бы за 20 минут — из-за непрерывных галлюцинаций и добавления ненужных артефактов.

Когда агент хуже простого поиска и замены

Задача выглядела тривиальной: внести однотипные правки в кодовую базу с помощью CLI-агента. Qwen Code — code-специализированная модель, доступная разработчику в рабочем окружении вместо предпочтительного Claude — должна была справиться быстро. Вместо этого агент работал около двух часов: добавлял ненужные конструкции, терял контекст задачи и требовал постоянной ручной корректировки.

Автор продолжал попытки направить модель «уже из спортивного интереса» — и именно этот опыт заставил его наконец разобраться в природе галлюцинаций вместо того, чтобы просто сменить инструмент.

Ключевые параметры ситуации:

• Задача: однотипные правки кода через CLI-агент
• Ожидаемое время: 20 минут ручным инструментом
• Фактическое время: около 2 часов с агентом
• Модель: Qwen Code
• Симптомы: галлюцинации и добавление лишних артефактов

Почему «умные» промпты усиливают галлюцинации?

Центральный парадокс статьи — попытки написать более подробные и «умные» промпты не снижают количество галлюцинаций, а нередко их увеличивают.

Контекстная перегрузка. Длинный промпт с множеством условий и исключений увеличивает вероятность того, что модель потеряет нить и начнёт достраивать логику из собственных весов вместо следования инструкции.

Конфликт ограничений. Детализированные условия могут неявно противоречить друг другу. Модель не возвращает ошибку — она выбирает между ними и выбирает неверно, генерируя правдоподобный, но некорректный результат.

Выход за пределы дистрибуции. Code-специализированные модели обучались на определённом типе запросов. Нестандартные или составные промпты выводят модель в зону, где при обучении было мало примеров, — и там галлюцинации резко учащаются.

Иллюзия понимания. Подробная инструкция создаёт у разработчика ощущение, что модель поняла задачу. Модель же просто генерирует следующий токен на основе похожих паттернов из тренировочных данных.

Что делать разработчику с AI-агентом?

Опыт, описанный в статье, указывает на несколько практических выводов:

• Атомизируй задачи: один вызов агента — одна конкретная операция, а не набор взаимосвязанных шагов
• Проверяй артефакты: результат каждого шага нужно верифицировать перед передачей дальше по пайплайну
• Упрощай, а не усложняй: если модель галлюцинирует, попробуй более короткий и конкретный промпт
• Выбирай инструмент под задачу: для однотипных механических правок grep или скрипт нередко надёжнее агента

«Только после этого замечательного опыта я наконец решил прочитать

инструкцию», — пишет автор.

Что это значит

Галлюцинации LLM — не баг, который победит более умный промпт. Это системное свойство авторегрессионных моделей, которое усиливается при выходе за пределы тренировочного распределения. Понять это один раз — значит строить AI-пайплайны с учётом реальных ограничений инструмента, а не вопреки им.