Erros no raciocínio da IA são mais perigosos do que respostas incorretas

É amplamente conhecido que a inteligência artificial (IA) ainda comete erros. No entanto, um problema mais sério podem ser as falhas na forma como ela chega às suas conclusões. À medida que a IA generativa é cada vez mais utilizada como assistente, e não apenas como ferramenta, dois novos estudos mostram que a lógica dos modelos pode ter consequências graves em áreas críticas como saúde, direito e educação.

Nos últimos anos, a precisão dos grandes modelos de linguagem (LLMs) ao responder perguntas sobre diversos temas aumentou significativamente. Isso despertou um interesse crescente no potencial da tecnologia em áreas como diagnósticos médicos, assistência terapêutica ou funções de tutor virtual. Relatos pontuais indicam que os usuários já utilizam amplamente LLMs prontos para resolver tarefas semelhantes, com resultados variados. Recentemente, uma mulher na Califórnia conseguiu cancelar um aviso de despejo usando IA para obter consultoria jurídica, mas um homem de 60 anos sofreu envenenamento por brometo ao recorrer a essas ferramentas para obter conselhos médicos. Terapeutas alertam que o uso de IA para apoio à saúde mental frequentemente agrava os sintomas dos pacientes.

Novas pesquisas mostram que parte do problema está no fato de que esses modelos raciocinam de maneira fundamentalmente diferente dos humanos, o que pode levá-los a "quebrar" ao lidar com problemas mais complexos. Em um artigo recente na Nature Machine Intelligence, foi constatado que os modelos têm dificuldades em distinguir crenças dos usuários de fatos, e em um artigo não publicado no arXiv, afirma-se que sistemas multiagentes projetados para fornecer consultas médicas são suscetíveis a falhas de raciocínio que podem comprometer o diagnóstico.

"À medida que passamos da IA como simples ferramenta para a IA como agente, o 'como' se torna cada vez mais importante", diz James Zou, professor adjunto de ciência de dados biomédicos na Stanford School of Medicine e autor sênior do artigo na Nature Machine Intelligence. "Uma vez que você usa isso como substituto de um consultor, tutor, médico ou até mesmo amigo, não é apenas a resposta final que importa. O que realmente importa é todo o processo e toda a conversa".

Problemas na forma como os modelos tomam decisões podem ser especialmente problemáticos em ambientes médicos. Há um interesse crescente no uso de sistemas multiagentes, nos quais vários agentes de IA participam de uma discussão colaborativa para resolver um problema, na esperança de reproduzir equipes multidisciplinares de médicos que diagnosticam condições médicas complexas, diz Lequan Yu, professor assistente de IA médica na Universidade de Hong Kong. Por isso, ele e seus colegas decidiram investigar como esses sistemas raciocinam ao resolver problemas, testando seis deles em 3.600 casos reais de seis conjuntos de dados médicos.

Ambos os grupos de pesquisadores afirmam que as falhas no raciocínio dos modelos podem ser rastreadas até a forma como são treinados. Os LLMs mais recentes são treinados para raciocinar na resolução de tarefas complexas e com múltiplas etapas usando aprendizado por reforço, no qual o modelo recebe recompensas por caminhos lógicos que levam à conclusão correta. No entanto, eles geralmente são treinados em tarefas com soluções concretas, como codificação e matemática, que são pouco adequadas para tarefas mais abertas, como determinar as crenças subjetivas de uma pessoa, diz Zou.

O foco em recompensar resultados corretos também significa que o treinamento não otimiza bons processos de raciocínio, diz Zhu. E os conjuntos de dados raramente incluem debates e discussões necessários para sistemas médicos multiagentes eficazes, o que, em sua opinião, pode ser a razão pela qual os agentes mantêm suas opiniões, independentemente de estarem certos ou errados.

Melhorar os métodos de treinamento, em particular, dando mais atenção aos processos de raciocínio e não apenas aos resultados finais, é um passo fundamental. Desenvolver conjuntos de dados que incluam exemplos de colaboração e debates eficazes também pode ajudar os modelos a desenvolver uma compreensão mais refinada de problemas complexos. Somente então poderemos confiar com segurança na IA em áreas críticas, como saúde e educação.