Por Que Assistentes de IA Ocultam Deliberadamente o Pensamento Sistêmico dos Usuários

Desenvolvedores de assistentes de IA deliberadamente limitam o pensamento sistêmico de seus sistemas: de acordo com observações de pesquisadores, os usuários se afastam de IA que fala de forma muito inteligente e complexa, assim modelos por padrão se ajustam ao nível baixo do interlocutor.

De Onde Veio Este Dilema

Alguns anos atrás, o autor do material no Habr falou sobre pensamento sistêmico na conferência Analyst Days e recebeu uma pergunta de feedback: "Isso é interessante, mas por que tão complicado? Por que não simplesmente pegar c4-model e construir um modelo baseado nisso — não é muito mais simples?" Hoje, surge uma pergunta similar com relação aos assistentes de IA: eles precisam aplicar uma abordagem sistêmica quando um usuário está os envolvendo no projeto de projetos complexos.

Para os desenvolvedores de modelos, a resposta foi óbvia desde o início, e foi negativa. Uma IA consciente do pensamento sistêmico se comunicaria "muito inteligentemente", e pesquisas mostram que as pessoas não gostam disso — se afastam de tal interlocutor. Portanto, o modelo por padrão se orienta para o nível estatisticamente baixo do interlocutor, para não assustar o usuário em massa.

Por Que a Frase "Use uma Abordagem Sistêmica" Não Funciona

Simplemente pedir à IA para "usar uma abordagem sistêmica" não é suficiente, porque muitos significados diferentes se escondem por trás dessas palavras. No caso mais simples, é a capacidade de aplicar alguma sequência de raciocínio em vez de vagueação mental caótica. Mas apenas uma pequena parte desses significados se relaciona ao verdadeiro pensamento sistêmico: a capacidade de identificar sistemas no mundo circundante, construir relações corretas entre eles, distinguir propriedades emergentes inerentes ao sistema como um todo das propriedades de suas partes individuais, e não confundir a divisão funcional do sistema com a modular.

• Tarefa — ensinar o modelo a distinguir entre propriedades emergentes do sistema e propriedades de suas partes individuais
• Assistentes por padrão se orientam para o nível baixo do interlocutor, porque isso é estatisticamente mais confortável para a maioria dos usuários
• Um comando simples "pense sistemicamente" não revela o conteúdo do pensamento sistêmico e pode levar o modelo ao erro
• O autor do material afirma que agora existe uma solução acessível e gratuita para revelar este conteúdo

Revelar este conteúdo — ou seja, descrever explicitamente que padrões constituem uma abordagem sistêmica — não é uma tarefa fácil. Sem descrição explícita, o modelo facilmente confunde diferentes níveis de raciocínio: aplica uma sequência de passos onde precisa identificar sistemas e conexões entre eles, ou mistura divisão funcional com modular.

O Que Isso Significa

A história com pensamento sistêmico demonstra um problema mais geral no design de assistentes de IA: o equilíbrio entre acessibilidade para o usuário em massa e profundidade de especialista por padrão é resolvido não em favor da profundidade. Para tarefas complexas — seja arquitetura de software ou análise sistêmica — o usuário terá que formular explicitamente que abordagem sistêmica exata ele precisa do assistente, em vez de confiar que o modelo entenda a solicitação literalmente.