Habr AI: ocho quejas típicas sobre las redes neuronales, de las alucinaciones a los fallos de los agentes

Habr AI ha publicado un análisis poco habitual de la experiencia de los usuarios con las redes neuronales: durante año y medio o dos años, la autora recopiló quejas de chats especializados de Telegram y las agrupó en ocho conjuntos recurrentes. El resultado no es un trabajo académico, sino un mapa vivo de dónde los LLM estropean los flujos de trabajo, el presupuesto y los nervios.

Cómo discuten las personas con la IA

La observación principal del texto es humana, más que técnica. Los usuarios regañan a los modelos como si discutieran no con un programa, sino con un compañero de trabajo: las redes neuronales "mienten", "se hacen las perezosas", "hacen gaslighting", "no escuchan" y "se meten donde no deben". La autora señala que casi nadie reacciona así ante el software convencional. Esta humanización cambia también las expectativas: se espera del modelo comprensión del contexto, memoria y sentido común, aunque por dentro solo predice el siguiente token y no tiene una imagen completa del mundo.

"Los modelos aprendieron de nosotros, ahora nosotros aprendemos de ellos."

De ahí surge la segunda parte del problema. Cuanto más amistosa y empática suena la interfaz, más fácil es que el usuario se relaje, confíe al modelo más de la cuenta e incluso traslade hábitos de la comunicación con personas. De ahí los bruscos vaivenes emocionales: hoy la red neuronal ahorra tiempo y parece un asistente casi perfecto; mañana arruina una tarea con una iniciativa innecesaria. En el artículo esto se presenta como una experiencia masiva de los usuarios, no como excesos aislados.

Dónde fallan los modelos

El mayor grupo de quejas tiene que ver con errores cometidos con aplomo. Un modelo puede dar una respuesta concreta y verosímil incluso cuando le faltan datos y, en diálogos largos, además confundir proyectos, documentos e instrucciones antiguas. La autora destaca aparte el coste: incluso las tarifas "ilimitadas" tienen límites ocultos y el consumo de tokens es difícil de prever. Como resultado, las redes neuronales ahorran tiempo y, a la vez, crean un nuevo riesgo operativo difícil de calcular de antemano.

• Alucinaciones seguras de sí mismas (~32%) — el modelo genera una respuesta probable en lugar de extraer un hecho de una base de datos, por lo que inventa detalles con facilidad.
• Exceso de iniciativa (~13%) — el afán de ser útil empuja al sistema a hacer más de lo que se le pidió, incluidas acciones peligrosas.
• Problemas de memoria (~11%) — los chats largos pierden la parte central del contexto, y los datos de documentos y mensajes anteriores se mezclan.
• Agentes y vibe coding (~10–12%) — en tareas grandes y bases de código los errores se acumulan y un resultado vistoso se convierte rápido en caos.
• Dinero y efectos conductuales (~7–8%) — los límites cambian, los tokens se consumen de forma irregular y los usuarios se apegan más a los modelos.

La conclusión práctica de la autora es bastante terrenal: confiar menos en la "comprensión mágica" y construir con más frecuencia apoyos externos alrededor del modelo. Eso significa chats breves y específicos, documentos en Markdown que se releen cada vez, retrieval en lugar de generación pura, temperatura baja para datos factuales y revisión humana obligatoria allí donde un error pueda costar dinero, datos, tiempo del equipo o reputación. De lo contrario, cada nueva sesión reinventará las reglas de trabajo desde cero.

Por qué el modo agente exaspera

Un bloque aparte está dedicado a los agentes y al vibe coding, y es aquí donde el tono del artículo se vuelve más duro. La idea de repartir el trabajo entre un "arquitecto", un "programador" y un "tester" suele tener en la práctica el efecto contrario: cada agente ve solo su fragmento de contexto, las decisiones divergen y los errores del paso anterior se arrastran automáticamente. Para tareas independientes este enfoque todavía funciona, pero en desarrollo, donde todo está conectado con todo, las pérdidas de coordinación se comen fácilmente la velocidad prometida.

De ahí un conjunto de reglas de protección: modo de solo lectura para el análisis, approval gates antes de cualquier acción peligrosa, copias de seguridad, prohibiciones explícitas de borrado y documentación común del proyecto para todos los participantes.

La misma lógica vale para el trato cotidiano con los chatbots. Si el usuario empieza a ver al modelo como un interlocutor "propio", le entrega antes notas, correo, claves y documentos internos. El problema no es que la IA entienda de verdad a la persona, sino que imita esa comprensión de forma muy convincente.

Qué significa

El texto de Habr AI es útil porque traslada la conversación sobre la IA del entusiasmo a la explotación. La idea central es sencilla: las redes neuronales ya son una herramienta de trabajo, pero hay que tratarlas no como a un colega inteligente, sino como a un sistema potente, inestable y a veces caro, que necesita de forma constante límites, documentación, control de acceso y revisión humana. Eso es lo que distingue un stack de trabajo de un juguete peligroso.