Habr AI: ocho quejas típicas sobre los modelos de AI — de las alucinaciones a los fallos de los agentes

En Habr AI salió un análisis inusual de la experiencia del usuario con redes neuronales: la autora recogió durante año y medio a dos años quejas de chats especializados en Telegram y las consolidó en ocho clusters recurrentes. El resultado no es un trabajo académico, sino un mapa vivo de dónde los LLM rompen flujos de trabajo, presupuestos y nervios.

Cómo la Gente Discute con la IA

La principal observación en este texto no es técnica, sino humana. Los usuarios critican modelos como si discutieran no con un programa, sino con un colega: las redes neuronales "mienten", "son perezosas", "gaslightean", "no escuchan" y "se exceden". La autora señala que el software ordinario casi nunca provoca tales reacciones. Esta antropomorfización cambia las expectativas: del modelo, la gente espera comprensión de contexto, memoria y sentido común, aunque internamente solo haya predicción del siguiente token, no una imagen completa del mundo.

"Los modelos aprendieron de nosotros, ahora aprendemos de ellos."

De aquí surge la segunda parte del problema. Cuanto más amigable y empático suena la interfaz, más fácil es para un usuario relajarse, comenzar a confiar demasiado en el modelo e incluso transferir hábitos de comunicación con personas. Esto genera oscilaciones emocionales marcadas: hoy la red neuronal ahorra tiempo y parece una asistente casi perfecta, mañana rompe una tarea con una iniciativa innecesaria. En el artículo, esto suena como una experiencia masiva de usuarios, no como excesos raros.

Dónde los Modelos Fallan

El cluster más grande de quejas está relacionado con errores confiantes. Un modelo puede producir una respuesta específica y plausible incluso donde le faltan datos, y en diálogos largos también confunde proyectos, documentos e instrucciones antiguas. La autora destaca por separado el costo: incluso los planes "ilimitados" tienen límites ocultos, y el consumo de tokens es difícil de predecir. Como resultado, las redes neuronales simultáneamente ahorran tiempo y crean un nuevo riesgo operativo difícil de calcular de antemano.

• Alucinaciones confiantes (~32%) — el modelo genera una respuesta probable en lugar de extraer un hecho de una base de datos, por lo que fácilmente inventa detalles.
• Iniciativa excesiva (~13%) — el afán de ser útil empuja al sistema a hacer más de lo solicitado, incluyendo acciones peligrosas.
• Problemas de memoria (~11%) — los chats largos pierden contexto en el medio, por lo que los datos de documentos y mensajes anteriores empiezan a confundirse.
• Agentes y vibe coding (~10–12%) — en tareas grandes y bases de código, los errores se acumulan, y un resultado hermoso rápidamente se convierte en caos.
• Dinero y efectos conductuales (~7–8%) — los límites cambian, los tokens se queman de manera irregular, y los usuarios se apegan más a los modelos.

La conclusión práctica de la autora es bastante pragmática: confiar menos en la "comprensión mágica" y más frecuentemente construir salvaguardas externas alrededor del modelo. Esto significa chats cortos y enfocados, documentos en Markdown que se releen desde cero, retrieval en lugar de generación pura, temperatura baja para contenido factuoso, y verificación humana obligatoria donde un error podría costar dinero, datos, tiempo del equipo o reputación. De lo contrario, cada nueva sesión reinventará las reglas de funcionamiento.

Por Qué la Agencia es Frustrante

Una sección separada se dedica a agentes y vibe coding — y es aquí donde el tono del artículo se vuelve más duro. La idea de dividir el trabajo entre un "arquitecto", "codificador" y "probador" frecuentemente tiene el efecto opuesto en la práctica: cada agente ve solo su porción de contexto, las decisiones entre ellos divergen, y los errores del paso anterior se propagan automáticamente. Para tareas independientes, este enfoque aún funciona, pero en desarrollo, donde todo está conectado con todo, los costos de coordinación fácilmente se comen la velocidad prometida.

De ahí el conjunto de reglas de protección: modo de solo lectura para análisis, puertas de aprobación antes de cualquier acción arriesgada, copias de seguridad, prohibiciones explícitas de eliminación, y documentación de proyecto compartida para todos los participantes del proceso. La misma lógica se aplica a conversaciones ordinarias con chatbots. Si un usuario comienza a percibir un modelo como su "propio" socio conversacional, más rápidamente le entrega notas, correos, claves y documentos internos.

El problema no es que la IA realmente entienda a los humanos, sino que muy convincentemente imita esta comprensión.

Qué Significa Esto

El texto en Habr AI es útil porque desplaza la conversación sobre IA del modo de asombro al modo operacional. La idea principal es simple: las redes neuronales ya se han convertido en una herramienta de trabajo, pero deben tratarse no como un colega inteligente, sino como un sistema poderoso, inestable y a veces costoso que constantemente necesita salvaguardas, documentación, control de acceso y verificación humana. Esto es lo que distingue un stack funcional de un juguete peligroso.