Галлюцинации от «умных» промптов: разработчик разобрался, почему Qwen Code сбоит

Um desenvolvedor publicou uma análise detalhada no Habr: um agente CLI baseado em Qwen Code gastou aproximadamente duas horas em uma tarefa que uma ferramenta "localizar e substituir" em uma IDE resolveria em 20 minutos — devido a alucinações contínuas e adição de artefatos desnecessários.

Quando um agente é pior que uma simples localização e substituição

A tarefa parecia trivial: fazer alterações uniformes em uma base de código usando um agente CLI. Qwen Code — um modelo especializado em código, disponível ao desenvolvedor em um ambiente de trabalho em vez do Claude preferido — deveria ter lidado rapidamente. Em vez disso, o agente trabalhou por cerca de duas horas: adicionou construções desnecessárias, perdeu o contexto da tarefa e exigiu correção manual constante.

O autor continuou tentando orientar o modelo "já por interesse esportivo" — e essa experiência o forçou a finalmente entender a natureza das alucinações em vez de simplesmente trocar de ferramenta.

Parâmetros-chave da situação:

• Tarefa: alterações de código uniformes via agente CLI
• Tempo esperado: 20 minutos com uma ferramenta manual
• Tempo real: aproximadamente 2 horas com um agente
• Modelo: Qwen Code
• Sintomas: alucinações e adição de artefatos extras

Por que prompts "inteligentes" amplificam alucinações?

O paradoxo central do artigo — tentativas de escrever prompts mais detalhados e "inteligentes" não reduzem o número de alucinações, mas frequentemente as aumentam.

Sobrecarga contextual. Um prompt longo com muitas condições e exceções aumenta a probabilidade de o modelo perder o fio e começar a reconstruir a lógica a partir de seus próprios pesos em vez de seguir a instrução.

Restrições conflitantes. Condições detalhadas podem implicitamente se contradizer. O modelo não retorna um erro — ele escolhe entre elas e escolhe incorretamente, gerando um resultado plausível mas incorreto.

Excedendo limites de distribuição. Modelos especializados em código foram treinados em um tipo específico de solicitações. Prompts não-padrão ou compostos empurram o modelo para uma zona onde havia poucos exemplos durante o treinamento — e as alucinações aumentam drasticamente lá.

Ilusão de compreensão. Uma instrução detalhada cria uma impressão no desenvolvedor de que o modelo entendeu a tarefa. O modelo está simplesmente gerando o próximo token com base em padrões semelhantes dos dados de treinamento.

O que um desenvolvedor deve fazer com um agente de IA?

A experiência descrita no artigo aponta para várias conclusões práticas:

• Atomize tarefas: uma chamada de agente — uma operação específica, não um conjunto de etapas interconectadas
• Verifique artefatos: o resultado de cada etapa deve ser verificado antes de passar adiante no pipeline
• Simplifique, não complique: se o modelo está alucinando, tente um prompt mais curto e específico
• Escolha a ferramenta para a tarefa: para alterações mecânicas uniformes, grep ou um script geralmente é mais confiável que um agente

"Apenas após essa experiência notável finalmente decidi ler as

instruções", escreve o autor.

O que isso significa

As alucinações de LLM não são um bug que um prompt mais inteligente vai corrigir. Esta é uma propriedade sistêmica de modelos autorregressivos, que é amplificada ao exceder a distribuição de treinamento. Entender isso uma vez significa construir pipelines de IA considerando as limitações reais da ferramenta, não contra elas.