Cómo entiende una IA los valores de distintos países: un conjunto de datos de 500.000 ejemplos

Se ha publicado un conjunto de datos para entrenar redes neuronales: una colección de 500 000 ejemplos de preferencias que abarca los valores de 20 países, para que los modelos de lenguaje reflejen la visión del mundo de algo más que los usuarios occidentales.

¿Por qué los modelos de IA tienen un sesgo hacia Occidente?

La mayoría de los modelos de lenguaje actuales se entrenan sobre todo con textos en inglés y se calibran con las preferencias de anotadores estadounidenses y europeos. Cuando estos modelos razonan sobre los roles familiares, la actitud ante la autoridad, la religión o los derechos individuales, infrarrepresentan de forma sistemática los sistemas de valores del Sur Global, Asia y Oriente Medio.

Los asistentes de IA, los chatbots y los sistemas educativos se usan cada vez más fuera de EE. UU., y los usuarios notan directamente ese sesgo. En las pruebas ciegas de los autores de PLURAL, participantes de India, Brasil y Japón señalaron que las respuestas estándar de los LLM suenan a algo estadounidense.

Cómo funciona el conjunto de datos PLURAL

PLURAL se basa en la Integrated Values Survey (IVS), una encuesta sociológica representativa de 92 países. Los investigadores desarrollaron un pipeline de dos etapas: las respuestas de encuestados reales se convierten en escenarios temáticos y, después, cada escenario recibe un par de valoraciones: una más acorde y otra menos acorde con los valores de esa cultura.

Datos clave del conjunto:

• ~500 000 ejemplos de preferencias en la primera versión pública
• Abarca 20 países de distintas regiones del mundo
• Se apoya en la IVS, una encuesta de 92 países
• Reduce el error absoluto medio del perfil cultural un 27,7 % frente a modelos base potentes
• 176 participantes de la prueba ciega de India, Brasil y Japón consideraron las respuestas de PLURAL más precisas para su cultura

Los autores validaron PLURAL con tres métodos: validación a nivel de datos (si se conservan las diferencias entre países de la encuesta original), evaluación automática de la precisión del ajuste fino y pruebas ciegas con participantes reales en tres países.

Por qué importa a quienes desarrollan productos de IA

El alineamiento de los modelos de lenguaje se basa hoy sobre todo en RLHF con las preferencias de anotadores occidentales. Para las empresas que lanzan productos de IA en India, Brasil o países árabes, esto significa que, por defecto, el modelo puede dar respuestas que se perciben culturalmente como ajenas o inapropiadas.

La solución tradicional, contratar anotadores locales en cada país, es cara y escala mal. PLURAL propone otra vía: usar datos de encuestas sociológicas representativas como proxy de las preferencias culturales. El conjunto está disponible en abierto en HuggingFace.

Qué significa

PLURAL es el primer recurso público a gran escala que permite entrenar un modelo de lenguaje con los valores de un país concreto sin recurrir a equipos de anotadores independientes. Si el enfoque resulta reproducible, podría cambiar la forma en que las empresas de IA localizan modelos para mercados no occidentales.

Preguntas frecuentes

¿Cuánto mejora PLURAL la alineación cultural?

El ajuste fino con PLURAL reduce el error absoluto medio (MAE) del perfil cultural del modelo un 27,7 % en comparación con modelos base potentes. Es el resultado de la evaluación automática descrita en el preprint.

¿Qué países participaron en la prueba ciega?

La prueba ciega se realizó en tres países: India, Brasil y Japón. Participaron 176 evaluadores, que compararon las respuestas de PLURAL con las respuestas estándar de los LLM según su ajuste a los valores de su propia cultura nacional.

¿Por qué los modelos de lenguaje tienen un sesgo hacia

Occidente? La mayoría de los modelos de lenguaje actuales se entrenan sobre todo con textos en inglés y se calibran con las preferencias de anotadores estadounidenses y europeos.