Por Qué los Asistentes de IA Ocultan Deliberadamente el Pensamiento Sistémico a los Usuarios

Los desarrolladores de asistentes de IA limitan deliberadamente el pensamiento sistémico de sus sistemas: según las observaciones de los investigadores, los usuarios se apartan de la IA que habla demasiado inteligente y complejamente, así que los modelos por defecto se ajustan al nivel bajo del interlocutor.

De Dónde Vino Este Dilema

Hace unos años, el autor del material en Habr habló sobre pensamiento sistémico en la conferencia Analyst Days y recibió una pregunta de retroalimentación: "Esto es interesante, pero ¿por qué tan complicado? ¿Por qué no simplemente tomar c4-model y construir un modelo basado en él — no es mucho más simple?" Hoy, surge una pregunta similar con respecto a los asistentes de IA: ¿necesitan aplicar un enfoque sistémico cuando un usuario los está involucrando en el diseño de proyectos complejos.

Para los desarrolladores de modelos, la respuesta fue obvia desde el principio, y fue negativa. Un IA consciente del pensamiento sistémico se comunicaría "demasiado inteligentemente", e investigaciones muestran que a la gente no le gusta eso — se apartan de tal interlocutor. Por lo tanto, el modelo por defecto se orienta hacia el nivel estadísticamente bajo del interlocutor, para no asustar al usuario masivo.

Por Qué la Frase "Usa un Enfoque Sistémico" No Funciona

Simplemente pedirle a la IA que "use un enfoque sistémico" no es suficiente, porque muchos significados diferentes se esconden detrás de estas palabras. En el caso más simple, es la capacidad de aplicar alguna secuencia de razonamiento en lugar de vagabundeo mental caótico. Pero solo una pequeña parte de estos significados se relaciona con el verdadero pensamiento sistémico: la capacidad de identificar sistemas en el mundo circundante, construir relaciones correctas entre ellos, distinguir propiedades emergentes inherentes al sistema como un todo de las propiedades de sus partes individuales, y no confundir la división funcional del sistema con la modular.

• Tarea — enseñar al modelo a distinguir entre propiedades emergentes del sistema y propiedades de sus partes individuales
• Los asistentes por defecto se orientan hacia el nivel bajo del interlocutor, porque eso es estadísticamente más cómodo para la mayoría de los usuarios
• Un comando simple "piensa sistemáticamente" no revela el contenido del pensamiento sistémico y puede llevar al modelo al error
• El autor del material afirma que hay ahora una solución accesible y gratuita para revelar este contenido

Revelar este contenido — es decir, describir explícitamente qué patrones constituyen un enfoque sistémico — no es una tarea fácil. Sin descripción explícita, el modelo fácilmente confunde diferentes niveles de razonamiento: aplica una secuencia de pasos donde necesita identificar sistemas y conexiones entre ellos, o mezcla división funcional con modular.

Qué Significa Esto

La historia con pensamiento sistémico demuestra un problema más general en el diseño de asistentes de IA: el equilibrio entre accesibilidad para el usuario masivo y profundidad experta por defecto se resuelve no a favor de la profundidad. Para tareas complejas — ya sea arquitectura de software o análisis sistémico — el usuario tendrá que formular explícitamente qué enfoque sistémico exacto necesita del asistente, en lugar de confiar en que el modelo entienda la solicitud literalmente.