Los fallos en el razonamiento de la IA son más peligrosos que las respuestas erróneas

Es bien sabido que la inteligencia artificial (IA) todavía comete errores. Sin embargo, un problema más grave puede estar en cómo llega a sus conclusiones. A medida que la IA generativa se usa cada vez más como asistente y no solo como herramienta, dos nuevos estudios muestran que la lógica de los modelos puede tener consecuencias serias en áreas críticas como la sanidad, el derecho y la educación.

En los últimos años, la precisión de los grandes modelos de lenguaje (LLM) al responder preguntas sobre temas diversos ha aumentado de forma notable. Eso ha despertado un interés creciente por el potencial de la tecnología en tareas como el diagnóstico médico, la atención terapéutica o el papel de tutor virtual. Los relatos anecdóticos indican que los usuarios ya emplean ampliamente LLM listos para usar con ese fin, con resultados dispares.

Hace poco, una mujer en California logró anular un aviso de desahucio gracias a una consulta jurídica con IA, pero un hombre de 60 años sufrió una intoxicación por bromuro tras recurrir a estas herramientas en busca de consejo médico. Los terapeutas advierten de que usar la IA como apoyo en salud mental suele agravar los síntomas de los pacientes.

Los nuevos estudios sugieren que parte del problema es que estos modelos razonan de una forma fundamentalmente distinta a la de las personas, lo que puede hacer que se "desmoronen" ante problemas más complejos. Un artículo reciente en Nature Machine Intelligence concluyó que los modelos tienen dificultades para distinguir las creencias de los usuarios de los hechos, mientras que un artículo no publicado en arXiv señala que los sistemas multiagente diseñados para ofrecer asesoramiento médico presentan fallos de razonamiento que pueden echar por tierra el diagnóstico.

«A medida que pasamos de la IA como mera herramienta a la IA como agente, el "cómo" cobra cada vez más importancia», afirma James Zou, profesor asociado de ciencia de datos biomédicos en la Facultad de Medicina de Stanford y autor sénior del artículo de Nature Machine Intelligence. «Una vez que la usas como sustituto de un asesor, un tutor, un médico o incluso un amigo, no importa solo la respuesta final. Lo que de verdad importa es todo el proceso y toda la conversación».

Los problemas en la forma en que los modelos toman decisiones pueden ser especialmente graves en entornos médicos. Crece el interés por los sistemas multiagente, en los que varios agentes de IA participan en una discusión conjunta para resolver un problema, con la esperanza de reproducir los equipos multidisciplinares de médicos que diagnostican afecciones complejas, explica Lequan Yu, profesor ayudante de IA médica en la Universidad de Hong Kong. Por eso él y sus colegas decidieron investigar cómo razonan estos sistemas al resolver problemas: probaron seis de ellos con 3600 casos reales procedentes de seis conjuntos de datos médicos.

Ambos grupos de investigadores afirman que las fallas en el razonamiento de los modelos pueden atribuirse a la forma en que se entrenan. Los LLM más recientes aprenden a razonar en tareas complejas de varios pasos mediante aprendizaje por refuerzo, en el que el modelo recibe una recompensa por las rutas lógicas que llevan a la conclusión correcta. Sin embargo, suelen entrenarse con tareas de solución concreta, como programación y matemáticas, que se adaptan mal a tareas más abiertas, como identificar las creencias subjetivas de una persona, dice Zou.

Centrarse en recompensar los resultados correctos también implica que el entrenamiento no optimiza los buenos procesos de razonamiento, señala Yu. Y los conjuntos de datos rara vez incluyen los debates y discusiones que necesitan los sistemas médicos multiagente eficaces, lo que, en su opinión, puede explicar que los agentes se aferren a su postura, tengan razón o no.

Mejorar los métodos de entrenamiento, en particular poniendo más énfasis en los procesos de razonamiento y no solo en los resultados finales, es un paso clave. Crear conjuntos de datos con ejemplos de colaboración y debate eficaces también podría ayudar a los modelos a desarrollar una comprensión más matizada de los problemas complejos. Solo entonces podremos confiar con seguridad en la IA en áreas críticas como la sanidad y la educación.