Cómo las redes neuronales entienden los valores de diferentes países: un conjunto de datos de 500 mil ejemplos

Se ha publicado un conjunto de datos para entrenar redes neuronales: una colección de 500.000 ejemplos de preferencias que abarca los valores de 20 países, para que los modelos de lenguaje reflejen la cosmovisión no solo de usuarios occidentales.

¿Por qué los modelos de IA están sesgados hacia Occidente?

La mayoría de los modelos de lenguaje modernos se entrenan principalmente en textos en inglés y se calibran según las preferencias de anotadores estadounidenses y europeos. Cuando estos modelos razonan sobre roles familiares, actitudes hacia el poder, la religión o los derechos individuales, sistemáticamente subestiman los sistemas de valores del Sur Global, Asia y Oriente Medio.

Los asistentes de IA, chatbots y sistemas educativos se utilizan cada vez más fuera de EE.UU. — y el sesgo de cosmovisión se siente directamente en los usuarios. En una prueba ciega de los autores de PLURAL, participantes de India, Brasil y Japón señalaron que las respuestas estándar de LLM suenen como algo estadounidense.

¿Cómo está estructurado el conjunto de datos PLURAL?

En el corazón de PLURAL está la Encuesta Integrada de Valores (IVS), una encuesta sociológica representativa de 92 países. Los investigadores desarrollaron un pipeline de dos etapas: las respuestas de los encuestados reales se transforman en escenarios temáticos, y luego cada escenario recibe un par de calificaciones — más y menos alineadas con los valores de una cultura determinada.

Hechos clave sobre el conjunto de datos:

• ~500.000 ejemplos de preferencias en la primera versión pública
• Cubre 20 países de diferentes regiones del mundo
• Construido sobre IVS — una encuesta de 92 estados
• Reduce el error absoluto promedio del perfil cultural en un 27,7% en comparación con modelos base sólidos
• 176 participantes en pruebas ciegas de India, Brasil y Japón reconocieron las respuestas de PLURAL como más precisas para su cultura

Los autores validaron PLURAL utilizando tres métodos: validación a nivel de datos (si se preservan las diferencias entre países de la encuesta original), evaluación automática de la precisión del ajuste fino y pruebas ciegas con participantes en vivo en tres países.

Por qué esto importa para los desarrolladores de productos de IA

El proceso de alineación de modelos de lenguaje actualmente se construye principalmente a través de RLHF con preferencias de anotadores occidentales. Para empresas que lanzan productos de IA en India, Brasil o países árabes, esto significa: el modelo por defecto puede dar respuestas que se perciben culturalmente como extrañas o inapropiadas.

La solución tradicional — contratar anotadores locales en cada país — es cara y se escala mal. PLURAL ofrece una ruta alternativa: usar datos de encuestas sociológicas representativas como sustituto de las preferencias culturales. El conjunto de datos se publica en acceso abierto en HuggingFace.

Qué significa esto

PLURAL es el primer recurso público a gran escala que permite entrenar deliberadamente un modelo de lenguaje a los valores de un país específico sin contratar equipos de anotación separados. Si el enfoque resulta ser reproducible, podría cambiar cómo las empresas de IA localizan modelos para mercados no occidentales.

Preguntas frecuentes

¿Cuánto mejora PLURAL la alineación cultural?

El ajuste fino en PLURAL reduce el error absoluto promedio (MAE) del perfil cultural del modelo en un 27,7% en comparación con modelos base sólidos — este es el resultado de la evaluación automática descrita en el preimpreso.

¿Qué países participaron en la prueba ciega?

Las pruebas ciegas se realizaron en tres países: India, Brasil y Japón. Involucró a 176 evaluadores que compararon las respuestas de PLURAL con las respuestas estándar de LLM para la alineación con los valores de la cultura nacional de cada uno.

¿Por qué los modelos de lenguaje están sesgados hacia

Occidente? La mayoría de los modelos de lenguaje modernos se entrenan principalmente en textos en inglés y se calibran según las preferencias de anotadores estadounidenses y europeos.