Alucinações em IA para código: por que agentes são mais lentos que localizar e substituir

Um agente CLI baseado no Qwen Code gastou duas horas numa tarefa que a ferramenta "localizar e substituir" de uma IDE resolveria em 20 minutos. O motivo: alucinações contínuas e artefatos desnecessários.

Quando o agente perde para um simples localizar e substituir

A tarefa parecia trivial: aplicar edições repetitivas na base de código com um agente CLI. O Qwen Code, um modelo especializado em código, era a opção disponível no ambiente de trabalho do desenvolvedor no lugar do Claude, que ele preferia. A expectativa era que resolvesse tudo rápido. Em vez disso, o agente trabalhou por cerca de duas horas: adicionava construções desnecessárias, perdia o contexto da tarefa e exigia correções manuais constantes.

O autor continuou tentando guiar o modelo "já por esporte". Foi justamente essa experiência que o levou a finalmente entender a natureza das alucinações, em vez de simplesmente trocar de ferramenta.

Principais parâmetros da situação:

• Tarefa: edições repetitivas de código via agente CLI
• Tempo esperado: 20 minutos com ferramenta manual
• Tempo real: cerca de 2 horas com o agente
• Modelo: Qwen Code
• Sintomas: alucinações e adição de artefatos desnecessários

Por que prompts "inteligentes" aumentam as alucinações?

O paradoxo central do artigo: escrever prompts mais detalhados e "inteligentes" não reduz as alucinações — e muitas vezes as aumenta.

Sobrecarga de contexto. Um prompt longo, cheio de condições e exceções, aumenta a chance de o modelo perder o fio da meada e passar a completar a lógica com base nos próprios pesos, em vez de seguir a instrução.

Conflito de restrições. Condições detalhadas podem se contradizer de forma implícita. O modelo não retorna um erro: ele escolhe entre elas, escolhe errado e gera um resultado plausível, mas incorreto.

Fora da distribuição. Modelos especializados em código foram treinados com um tipo específico de requisição. Prompts atípicos ou compostos levam o modelo a uma zona com poucos exemplos no treinamento — e ali as alucinações disparam.

Ilusão de compreensão. Uma instrução detalhada dá ao desenvolvedor a sensação de que o modelo entendeu a tarefa. Mas o modelo apenas gera o próximo token com base em padrões parecidos dos dados de treinamento.

O que o desenvolvedor deve fazer com um agente de IA?

A experiência descrita no artigo aponta algumas conclusões práticas:

• Atomize as tarefas: cada chamada ao agente deve executar uma operação específica, não um conjunto de etapas interligadas
• Verifique os artefatos: o resultado de cada etapa precisa ser validado antes de seguir adiante no pipeline
• Simplifique em vez de complicar: se o modelo alucina, tente um prompt mais curto e específico
• Escolha a ferramenta certa para a tarefa: para edições mecânicas repetitivas, grep ou um script muitas vezes são mais confiáveis que um agente

"Só depois dessa experiência maravilhosa eu finalmente decidi ler o

manual", escreve o autor.

O que isso significa

Alucinações de LLMs não são um bug que um prompt mais inteligente vai resolver. São uma propriedade sistêmica dos modelos autorregressivos, que se intensifica quando o modelo sai da distribuição de treinamento. Entender isso de uma vez permite construir pipelines de IA que levam em conta as limitações reais da ferramenta, em vez de ignorá-las.

Quando um agente de IA para código é menos eficiente que o

Find & Replace? Quando o agente alucina e gera código errado em vez de simplesmente aplicar edições repetitivas. No caso do Qwen Code, uma tarefa que o Find & Replace resolve em 20 minutos levou 2 horas por causa da adição contínua de artefatos desnecessários.

Por que agentes de IA às vezes perdem para ferramentas simples?

No caso do Qwen Code, o agente adicionava artefatos desnecessários e alucinava em vez de executar uma substituição repetitiva de código — tarefa que a IDE resolve em 20 minutos.