Falhas no raciocínio da IA são mais perigosas do que respostas erradas

É amplamente sabido que a inteligência artificial (IA) ainda comete erros. Mas um problema mais sério pode estar na forma como ela chega às conclusões. Com a IA generativa sendo usada cada vez mais como assistente, e não apenas como ferramenta, dois novos estudos mostram que a lógica dos modelos pode ter consequências graves em áreas críticas como saúde, direito e educação.

Nos últimos anos, a precisão dos grandes modelos de linguagem (LLMs) ao responder perguntas sobre diversos temas aumentou de forma significativa. Isso despertou interesse crescente pelo potencial da tecnologia em tarefas como diagnóstico médico, apoio terapêutico ou atuação como tutor virtual. Relatos isolados indicam que os usuários já recorrem amplamente a LLMs prontos para esse tipo de tarefa, com sucesso variável. Recentemente, uma mulher na Califórnia conseguiu cancelar uma notificação de despejo ao usar IA para obter orientação jurídica, mas um homem de 60 anos sofreu intoxicação por brometo ao recorrer a essas ferramentas em busca de conselhos médicos. Terapeutas alertam que usar IA como apoio à saúde mental frequentemente agrava os sintomas dos pacientes.

Os novos estudos sugerem que parte do problema é que esses modelos raciocinam de maneira fundamentalmente diferente dos humanos, o que pode fazê-los "quebrar" diante de problemas mais complexos. Um artigo recente na Nature Machine Intelligence constatou que os modelos têm dificuldade para distinguir as crenças dos usuários dos fatos, enquanto um artigo não publicado no arXiv afirma que sistemas multiagente criados para dar orientação médica estão sujeitos a falhas de raciocínio que podem comprometer o diagnóstico.

"À medida que passamos da IA como mera ferramenta para a IA como agente, o 'como' se torna cada vez mais importante", diz James Zou, professor associado de ciência de dados biomédicos na Faculdade de Medicina de Stanford e autor sênior do artigo da Nature Machine Intelligence. "Quando você a usa como substituta de um consultor, tutor, médico ou até amigo, não importa só a resposta final. O processo inteiro e toda a conversa é que realmente importam."

Problemas na forma como os modelos tomam decisões podem ser especialmente críticos em ambientes médicos. Cresce o interesse por sistemas multiagente, em que vários agentes de IA participam de uma discussão conjunta para resolver um problema, na esperança de reproduzir as equipes multidisciplinares de médicos que diagnosticam condições complexas, diz Lequan Yu, professor assistente de IA médica na Universidade de Hong Kong. Por isso, ele e seus colegas decidiram investigar como esses sistemas raciocinam ao resolver problemas, testando seis deles em 3600 casos reais de seis conjuntos de dados médicos.

As duas equipes de pesquisadores dizem que as falhas no raciocínio dos modelos podem ser atribuídas à forma como eles são treinados. Os LLMs mais recentes aprendem a raciocinar em tarefas complexas e de várias etapas por meio de aprendizado por reforço, em que o modelo é recompensado por caminhos lógicos que levam à conclusão correta. No entanto, eles costumam ser treinados em tarefas com soluções definidas, como programação e matemática, que se adaptam mal a tarefas mais abertas, como identificar as crenças subjetivas de uma pessoa, diz Zou.

Focar na recompensa por resultados corretos também significa que o treinamento não otimiza bons processos de raciocínio, afirma Yu. E os conjuntos de dados raramente incluem os debates e discussões necessários para sistemas médicos multiagente eficazes, o que, na opinião dele, pode explicar por que os agentes mantêm a própria opinião, estejam certos ou não.

Melhorar os métodos de treinamento, em especial dando mais atenção aos processos de raciocínio e não só aos resultados finais, é um passo fundamental. Criar conjuntos de dados com exemplos de colaboração e debate eficazes também pode ajudar os modelos a desenvolver uma compreensão mais refinada de problemas complexos. Só então poderemos confiar com segurança na IA em áreas críticas como saúde e educação.