Assistente de IA elevou as notas dos estudantes em 48%, mas sem ele eles foram 17% piores

Imagine um júnior que aceita as sugestões do Copilot uma após a outra. As tarefas fecham rápido, as métricas sobem, mas no code review ele não consegue explicar por que a solução foi feita assim. Uma análise recente no Habr explica por que isso não é acaso e o que devem fazer os que constroem produtos com IA.

Um experimento que estraga métricas bonitas

Uma meta-análise de 69 trabalhos de 2022–2024 mostra que o ChatGPT melhora o desempenho acadêmico e a motivação e reduz o esforço mental. Para uma equipe de produto, isso parece um resultado perfeito. Mas em um experimento de campo com quase mil alunos do ensino médio resolvendo problemas de matemática, o GPT-4 na interface comum elevou as notas na prática em 48%, e na versão com dicas de proteção em 127%. Após o acesso ser retirado, os alunos do primeiro grupo foram 17% piores do que os que não usaram IA de forma alguma. O assistente funcionou como uma muleta: enquanto está por perto, o resultado cresce, mas o aprendizado não ocorreu.

Por que IA não é o mesmo que uma boa interface

A teoria da carga cognitiva distingue três tipos de esforço: intrínseco (a dificuldade do próprio material), extrínseco (causado por uma apresentação ruim) e pertinente (o trabalho de construir conhecimento). Em UX, a principal alavanca é reduzir a carga extrínseca, e isso quase basta: o usuário de um CRM quer que o pedido saia, não entender o catálogo de nomenclatura.

Com a IA é diferente. Em um experimento com 91 estudantes, os que trabalharam com o ChatGPT-3.5 relataram carga menor nas três escalas, e suas justificativas finais foram piores do que as dos usuários do Google. Uma série de sete experimentos com 10.462 participantes confirma que o conhecimento obtido de um resumo de LLM é mais superficial do que o obtido de links de um buscador. O buscador entrega fontes, e é preciso conectá-las por conta própria. O LLM entrega uma síntese pronta, ou seja, o trabalho com a complexidade intrínseca é feito antes de a pessoa ver o resultado. Uma boa interface remove o ruído em torno da tarefa, enquanto a IA pode remover a própria tarefa.

Há ainda um detalhe desagradável. Um estudo com 589 estudantes e jovens profissionais distingue a descarga dependente (o pensamento é entregue à IA) da autônoma (a IA como apoio, com as decisões nas mãos da pessoa). O benefício imediato dos dois modos é o mesmo, então o usuário não os distingue pela sensação, e as métricas de satisfação não mostrarão nada. Ressalva: esses trabalhos são correlacionais, e em parte deles os resultados se baseiam em autoavaliação.

O que fazer como product manager e desenvolvedor

Os mecanismos de preservação da habilidade precisam ser incorporados ao produto, e não depender da consciência do usuário:

• O assistente da IDE primeiro pede ao júnior que suponha onde está o erro e só depois mostra a correção com uma explicação.
• O assistente de pesquisa entrega não um resumo, mas fontes com suas divergências e pede que o usuário formule a conclusão.
• O assistente de suporte dá um link para a seção da base de conhecimento e verifica a resposta do operador.
• O bot educacional conduz com perguntas, em vez de resolver pelo estudante.

O apoio não deve ser permanente. O efeito de reversão da expertise indica que técnicas que ajudam o iniciante atrapalham o experiente, então a ajuda deve diminuir conforme a habilidade cresce: apoio, depois verificação, depois trabalho autônomo.

O mínimo prático

Entregue à IA a busca, a formatação e a rotina. Deixe com a pessoa a conexão de ideias, a conclusão e a avaliação. Adicione explicações e verificação antes de aceitar a resposta. E, principalmente, mude as métricas: a carga geral e a satisfação não distinguem a descarga útil da prejudicial. Verifique periodicamente o que a pessoa sabe fazer sem a ferramenta. Se ela deve permanecer no circuito e responder pelo resultado, este é o único teste honesto.