Margaret Atwood probó Claude y resumió el problema de la IA en «basura entra, basura sale»

Margaret Atwood, autora de «El cuento de la criada» y «El asesino ciego», usó el chatbot de IA Claude una sola vez. Le bastó para concluir que la inteligencia artificial tiene un problema de fondo con la calidad de los datos.

Una consulta, una respuesta equivocada

En el festival literario Babell de Oporto (Portugal), Atwood contó que le preguntó a Claude por la serie policíaca británica «Father Brown». El resultado la decepcionó.

«Claude me dio una respuesta incorrecta, o me mintió.

Aunque no sabía que mentía, porque no es una persona: es un gran modelo de lenguaje», dijo la escritora.

Según Atwood, el modelo se limitó a «hojear» por encima los datos disponibles y devolvió información formulada con seguridad, pero inexacta. A su juicio, esa es precisamente la principal debilidad de los modelos de lenguaje actuales: no saben lo que no saben y no se lo advierten al usuario.

Basura entra, basura sale

El diagnóstico de Atwood es escueto: «garbage in, garbage out», un principio conocido en programación desde los años 60. Si los datos de entrenamiento contienen errores, información incompleta o sesgos, el resultado no será fiable, por mucha capacidad de cómputo que haya detrás.

Las alucinaciones, es decir, las respuestas seguras pero erróneas que generan los modelos de lenguaje, siguen siendo uno de los grandes problemas sin resolver de toda la industria:

• Todos los grandes modelos (GPT, Claude, Gemini) se equivocan con frecuencia en fechas, nombres, hechos y citas
• Los modelos se entrenan con textos de internet, donde hay mucha más información inexacta y desactualizada de lo que parece
• Cuanto más segura suena una respuesta, más difícil le resulta a un usuario no experto verificarla
• En medicina, derecho, educación y periodismo, estos errores suponen riesgos reales

Para combatirlo, las empresas conectan los modelos a búsquedas externas, desarrollan sistemas de verificación de datos y los entrenan para reconocer la incertidumbre. Pero, por ahora, nadie tiene una solución completa.

La voz de la cultura frente al tecnooptimismo

Atwood no es la primera gran autora que critica abiertamente la IA. En 2023, miles de escritores firmaron una carta abierta que exigía a las empresas de IA pagar a los autores por usar sus textos en el entrenamiento. George R.R. Martin, John Grisham y otros presentaron demandas colectivas.

En general, la comunidad literaria se muestra escéptica: los escritores ven la IA como una amenaza para su trabajo y se oponen a que los modelos se entrenen con sus libros sin permiso ni compensación.

Atwood fue un paso más allá: además de solidarizarse con sus colegas, probó la tecnología en persona. El resultado fue revelador: incluso alguien acostumbrado a trabajar de forma crítica con las fuentes recibió una respuesta errónea de la IA, y la detectó de inmediato.

Qué significa esto

Las empresas de IA presentan sus productos como herramientas para trabajar con información: buscar, analizar y resumir. Pero es justo en ese papel donde todavía no son fiables.

Una respuesta incorrecta puede pasar desapercibida para un usuario corriente. Para una escritora acostumbrada a trabajar con fuentes primarias, se convierte en una condena de toda la tecnología.