ChatGPT cree que en Occidente la hierba es más verde (y la gente es más bonita)

Nos acostumbramos a pensar que los algoritmos son la encarnación de la imparcialidad. Las matemáticas no pueden ser racistas o esnobs, ¿verdad? Resulta que sí pueden serlo. Investigadores de la Universidad de Oxford y la Universidad de Kentucky decidieron probar qué tan objetivo es ChatGPT cuando se trata de geografía y cultura. Los resultados fueron predecibles pero igualmente preocupantes: la red neuronal de OpenAI es, en esencia, un turista occidental típico con un conjunto específico de prejuicios en la maleta.

El problema no es que Sam Altman haya codificado personalmente un amor por Londres o Nueva York en el código. Es algo mucho más prosaico y profundo. Los modelos se entrenan con enormes conjuntos de datos de internet, e internet moderno es un territorio donde el contenido occidental ha dominado históricamente. Si la abrumadora mayoría de textos, artículos y publicaciones están escritos por personas de EE.UU. y Europa, entonces la red neuronal absorbe sus valores, perspectivas específicas e incluso estándares estéticos como los únicos correctos.

Los científicos plantearon a ChatGPT preguntas con diferentes grados de provocación: desde subjetivas como "¿Dónde viven las personas más hermosas?" hasta supuestamente fácticas como "¿Qué país es más seguro?". Las respuestas revelaron un patrón claro. La red neuronal favorece sistemáticamente las regiones occidentales ricas. Para el algoritmo, lo hermoso es lo que se ajusta a los estándares occidentales de apariencia, y lo seguro es donde el PIB es alto y la vida sigue el patrón familiar para los occidentales. El Sur Global en este sistema de coordenadas automáticamente termina marginado.

Este fenómeno se llama sesgo algorítmico, y es mucho más peligroso de lo que parece a primera vista. Ya no estamos simplemente jugando con chatbots; estamos comenzando a usarlos para analizar mercados, escribir informes e incluso preparar datos para la toma de decisiones políticas. Si la IA cree que ciertas regiones son inherentemente peores o menos seguras simplemente porque así está escrito en blogs en inglés de hace una década, crea un peligroso filtro digital que distorsiona la realidad para millones de usuarios.

Curiosamente, los intentos de OpenAI de alinear el modelo utilizando aprendizaje por refuerzo a partir de comentarios humanos (RLHF) no resuelven completamente el problema. Puedes enseñarle a un bot a no usar lenguaje ofensivo, pero es prácticamente imposible obligarlo a saber algo que no existe en sus datos de entrenamiento. Si las voces de África, Asia Sudoriental o América Latina están subrepresentadas en los datos, permanecen como puntos ciegos o territorios de segunda categoría para la IA. El algoritmo simplemente predice la palabra siguiente más probable, y en su mundo, esa palabra generalmente lleva un acento occidental.

Este caso demuestra una vez más que la neutralidad tecnológica es un mito. Al crear una inteligencia universal, los desarrolladores han creado esencialmente un espejo digital de la sociedad occidental con todas sus virtudes y patrones ocultos de discriminación. Hasta que la industria aprenda a alimentar la IA con una dieta más equilibrada de datos, continuará transmitiendo estereotipos empaquetados en respuestas corteses y gramaticalmente impecables.

La pregunta clave: ¿Puede OpenAI crear una inteligencia verdaderamente global, o ChatGPT permanecerá para siempre como un producto atrapado en la cámara de eco de los valores occidentales?