La ironía: alucinaciones en los artículos de NeurIPS, una de las principales conferencias de IA

En la era de la inteligencia artificial generativa, ni siquiera las conferencias científicas más prestigiosas están a salvo de problemas. Un estudio de la startup GPTZero detectó casos de «alucinaciones» —citas ficticias generadas por IA— en trabajos presentados en NeurIPS, una de las principales conferencias de inteligencia artificial. La ironía es evidente: una conferencia dedicada a los avances más punteros en IA ha sido víctima de sus efectos secundarios.

GPTZero, una empresa especializada en detectar texto generado por inteligencia artificial, analizó un corpus de artículos aceptados en NeurIPS. Los resultados son inquietantes: varios trabajos incluían referencias a fuentes inexistentes, creadas, al parecer, por grandes modelos de lenguaje (LLM). Esto pone en duda no solo la calidad de artículos concretos, sino todo el sistema de revisión científica.

El problema de las alucinaciones en los LLM es bien conocido. Los modelos, entrenados con enormes volúmenes de datos, a veces «inventan» hechos o citas para rellenar lagunas en su conocimiento o para que el texto resulte más convincente. En trabajos científicos, esto puede tener consecuencias graves: socava la confianza en la investigación y dificulta la verificación de los resultados.

La detección de citas generadas por IA en artículos de NeurIPS plantea varias cuestiones importantes. En primer lugar, demuestra que hace falta revisar con más rigor el uso de inteligencia artificial en los trabajos científicos. Los revisores deben prestar más atención a los detalles y comprobar de nuevo las fuentes citadas. En segundo lugar, subraya la importancia de desarrollar herramientas para detectar texto generado por IA e incorporarlas al proceso de publicación científica.

Además, el incidente invita a reflexionar sobre el futuro de la investigación científica en la era de la IA. Por un lado, la inteligencia artificial puede convertirse en una herramienta potente para los científicos, al ayudarles a analizar datos, generar hipótesis y redactar artículos. Por otro, hay que tener en cuenta los riesgos de su uso y adoptar medidas para evitar abusos.

En definitiva, el hallazgo de alucinaciones en los artículos de NeurIPS es una señal de alarma. Recuerda que la inteligencia artificial es solo una herramienta y que usarla exige responsabilidad y pensamiento crítico. La comunidad científica debe establecer reglas y procedimientos claros para trabajar con IA y garantizar la calidad y la fiabilidad de la investigación científica.