Por que assistentes de IA escondem de propósito o pensamento sistêmico dos usuários

Os desenvolvedores de assistentes de IA limitam deliberadamente o pensamento sistêmico deles: segundo os pesquisadores, os usuários se afastam de uma IA que fala de forma inteligente e complexa demais, por isso os modelos se ajustam por padrão ao nível modesto do interlocutor.

De onde vem esse dilema

Há alguns anos, o autor do texto no Habr falou sobre pensamento sistêmico na conferência Analyst Days e recebeu esta pergunta como feedback: "É interessante, mas por que tão complicado? Por que não pegar o c4-model e construir o modelo em cima dele? É bem mais simples". Hoje uma pergunta parecida surge em relação aos assistentes de IA: eles devem aplicar uma abordagem sistêmica quando o usuário projeta projetos complexos com a ajuda deles?

Para os desenvolvedores dos modelos, a resposta foi óbvia desde o início, e é negativa. Uma IA que conhece a abordagem sistêmica falaria "inteligente demais", e pesquisas mostram que as pessoas não gostam disso e se afastam desse interlocutor. Por isso, por padrão o modelo se orienta pelo nível estatisticamente modesto do interlocutor, para não afugentar o usuário em massa.

Por que a frase "use uma abordagem sistêmica" não funciona

Simplesmente pedir à IA "use uma abordagem sistêmica" não basta, porque por trás dessas palavras há muitos significados diferentes. No caso mais simples, é a capacidade de aplicar ao menos alguma sequência de raciocínio em vez de saltar caoticamente de um pensamento a outro. Mas apenas uma pequena parte desses significados se refere ao pensamento sistêmico de verdade: saber identificar sistemas no mundo, estabelecer entre eles as relações corretas, distinguir as propriedades emergentes do sistema como um todo das propriedades de suas partes e não confundir a divisão funcional do sistema com a modular.

• A tarefa é ensinar o modelo a distinguir as propriedades emergentes de um sistema das propriedades de suas partes
• Por padrão, os assistentes se orientam pelo nível modesto do interlocutor, porque estatisticamente isso é mais confortável para a maioria dos usuários
• Um comando simples como "pense de forma sistêmica" não explicita o conteúdo da abordagem sistêmica e pode levar o modelo ao erro
• O autor afirma que hoje existe uma solução acessível e gratuita para explicitar esse conteúdo

Explicitar esse conteúdo, isto é, descrever claramente quais padrões compõem a abordagem sistêmica, não é uma tarefa simples. Sem uma descrição explícita, o modelo confunde com facilidade diferentes níveis de raciocínio: aplica uma sequência de passos onde deveria identificar sistemas e as ligações entre eles, ou mistura a divisão funcional com a modular.

O que isso significa

O caso do pensamento sistêmico mostra um problema mais geral no design de assistentes de IA: o equilíbrio entre acessibilidade para o usuário em massa e profundidade especializada por padrão não é resolvido a favor da profundidade. Em tarefas complexas, seja arquitetura de software ou análise de sistemas, o usuário terá de formular explicitamente que abordagem sistêmica espera do assistente, em vez de contar com o modelo para entender o pedido de forma literal.