Erros no raciocínio da IA são mais perigosos do que respostas incorretas

É amplamente conhecido que a inteligência artificial (IA) ainda comete erros. No entanto, um problema mais sério pode ser as deficiências na forma como chegam às conclusões. À medida que a IA generativa é cada vez mais utilizada como assistente em vez de simplesmente uma ferramenta, dois novos estudos mostram que a lógica de raciocínio dos modelos pode ter consequências sérias em áreas críticas como saúde, jurisprudência e educação.

Nos últimos anos, a precisão dos grandes modelos de linguagem (LLMs) ao responder questões sobre vários tópicos aumentou significativamente. Isso despertou interesse crescente no potencial da tecnologia em áreas como diagnóstico médico, fornecimento de apoio terapêutico ou funcionamento como tutor virtual. Relatos anedóticos sugerem que os usuários já estão amplamente usando LLMs prontos para tarefas assim, com resultados variados. Recentemente, uma mulher na Califórnia cancelou um aviso de despejo usando IA para obter consultoria jurídica, mas um homem de 60 anos sofreu envenenamento por brometo depois de recorrer a essas ferramentas para conselhos médicos. Terapeutas alertam que o uso de IA para apoiar a saúde mental frequentemente agrava os sintomas dos pacientes.

Novas pesquisas sugerem que parte do problema reside no fato de que esses modelos raciocinam de forma fundamentalmente diferente dos humanos, o que pode fazer com que se "quebrem" ao resolver problemas mais complexos. Um artigo recente em Nature Machine Intelligence descobriu que os modelos têm dificuldade em distinguir entre crenças do usuário e fatos, e um artigo não publicado no arXiv afirma que sistemas multiagentes projetados para fornecer consultoria médica são propensos a defeitos de raciocínio que podem prejudicar o diagnóstico.

"À medida que fazemos a transição de IA simplesmente como ferramenta para IA como agente, o 'como' se torna cada vez mais importante", diz James Zu, professor associado de ciência de dados biomédicos da Escola Médica de Stanford e autor sênior do artigo na Nature Machine Intelligence. "Assim que você a usa como substituto para um consultor, tutor, médico ou até mesmo um amigo, a resposta final não é a única coisa que importa. O processo inteiro e a conversa inteira realmente importam."

Problemas na forma como os modelos tomam decisões podem ser particularmente problemáticos em instituições médicas. Há crescente interesse em usar sistemas multiagentes, nos quais múltiplos agentes de IA participam de discussão colaborativa para resolver um problema, na esperança de replicar as equipes interdisciplinares de médicos que diagnosticam condições médicas complexas, diz Lequan Yu, professor associado de IA médica da Universidade de Hong Kong. Portanto, ele e seus colegas decidiram investigar como esses sistemas raciocinam ao resolver problemas testando seis deles em 3.600 casos reais de seis conjuntos de dados médicos.

Ambos os grupos de pesquisadores dizem que os defeitos no raciocínio dos modelos podem ser rastreados até a forma como são treinados. Os LLMs mais recentes são treinados para raciocinar ao resolver tarefas complexas e de múltiplas etapas usando aprendizado por reforço, onde o modelo recebe uma recompensa por caminhos lógicos que levam à conclusão correta. No entanto, eles são normalmente treinados em tarefas com soluções específicas, como codificação e matemática, que são mal adequadas a tarefas mais abertas, como determinar crenças humanas subjetivas, diz Zu.

O foco em recompensar resultados corretos também significa que o treinamento não otimiza para bons processos de raciocínio, diz Zhu. E os conjuntos de dados raramente incluem os debates e discussões necessários para sistemas médicos multiagentes eficazes, que, em sua opinião, podem ser o motivo pelo qual os agentes mantêm suas opiniões independentemente de estarem certos ou não.

Melhorar os métodos de treinamento, particularmente dando maior atenção aos processos de raciocínio em vez de apenas resultados finais, é um passo fundamental. Desenvolver conjuntos de dados que incluam exemplos de colaboração eficaz e debate também pode ajudar os modelos a desenvolver uma compreensão mais matizada de problemas complexos. Somente então podemos confiar com segurança em IA em áreas críticas como saúde e educação.