Галлюцинации от «умных» промптов: разработчик разобрался, почему Qwen Code сбоит

Un desarrollador publicó un análisis detallado en Habr: un agente CLI basado en Qwen Code gastó aproximadamente dos horas en una tarea que una herramienta "buscar y reemplazar" en un IDE resolvería en 20 minutos — debido a alucinaciones continuas y adición de artefactos innecesarios.

Cuándo un agente es peor que una simple búsqueda y reemplazo

La tarea parecía trivial: realizar cambios uniformes en una base de código mediante un agente CLI. Qwen Code — un modelo especializado en código, disponible para el desarrollador en un entorno de trabajo en lugar del Claude preferido — debería haber manejado rápidamente. En cambio, el agente funcionó durante aproximadamente dos horas: agregó construcciones innecesarias, perdió el contexto de la tarea y requirió corrección manual constante.

El autor continuó intentando guiar el modelo "ya por interés deportivo" — y esta experiencia lo obligó a finalmente entender la naturaleza de las alucinaciones en lugar de simplemente cambiar de herramienta.

Parámetros clave de la situación:

• Tarea: cambios de código uniformes mediante agente CLI
• Tiempo esperado: 20 minutos con una herramienta manual
• Tiempo real: aproximadamente 2 horas con un agente
• Modelo: Qwen Code
• Síntomas: alucinaciones y adición de artefactos extras

¿Por qué los prompts "inteligentes" amplifican las alucinaciones?

La paradoja central del artículo — los intentos de escribir prompts más detallados e "inteligentes" no reducen el número de alucinaciones, sino que a menudo las aumentan.

Sobrecarga contextual. Un prompt largo con muchas condiciones y excepciones aumenta la probabilidad de que el modelo pierda el hilo y comience a reconstruir la lógica a partir de sus propios pesos en lugar de seguir la instrucción.

Restricciones conflictivas. Las condiciones detalladas pueden contradecirse implícitamente. El modelo no devuelve un error — elige entre ellas e elige incorrectamente, generando un resultado plausible pero incorrecto.

Excediendo los límites de distribución. Los modelos especializados en código fueron entrenados en un tipo específico de solicitudes. Los prompts no estándar o compuestos empujan el modelo hacia una zona donde había pocos ejemplos durante el entrenamiento — y las alucinaciones aumentan dramáticamente allí.

Ilusión de comprensión. Una instrucción detallada crea la impresión en el desarrollador de que el modelo entendió la tarea. El modelo simplemente está generando el siguiente token basándose en patrones similares de los datos de entrenamiento.

¿Qué debe hacer un desarrollador con un agente de IA?

La experiencia descrita en el artículo apunta a varias conclusiones prácticas:

• Atomiza las tareas: una llamada de agente — una operación específica, no un conjunto de pasos interconectados
• Verifica los artefactos: el resultado de cada paso debe verificarse antes de pasar adelante en el pipeline
• Simplifica, no compliques: si el modelo está alucinando, intenta con un prompt más corto y específico
• Elige la herramienta para la tarea: para cambios mecánicos uniformes, grep o un script es a menudo más confiable que un agente

"Solo después de esta experiencia extraordinaria finalmente decidí

leer las instrucciones", escribe el autor.

Lo que esto significa

Las alucinaciones de LLM no son un error que un prompt más inteligente vaya a arreglar. Esta es una propiedad sistémica de los modelos autorregressivos, que se amplifica al exceder la distribución de entrenamiento. Entender esto una vez significa construir pipelines de IA considerando las limitaciones reales de la herramienta, no contra ellas.