Cohere Labs pone a prueba a la IA con acertijos: más de 100 autores de 50 países destapan lagunas culturales

Cohere Labs ha llevado a cabo un proyecto científico abierto que ha dejado al descubierto un punto débil de los modelos de lenguaje: hablan con fluidez, pero conocen mal la cultura de las personas que usan esa lengua. Más de 100 participantes de más de 50 países crearon y evaluaron acertijos basados en realidades locales, y después observaron cómo los resolvían modelos entrenados sobre todo con datos en inglés. Las respuestas parecían convincentes, pero con frecuencia eran incorrectas. En buginés, una lengua que hablan millones de personas, los modelos no mostraron prácticamente ningún conocimiento.

Cómo unos acertijos húngaros se convirtieron en un benchmark global

Todo empezó con Károly Bocska, un diplomático húngaro interesado en la investigación en IA. Ideó acertijos complejos en húngaro, al estilo de un concurso de preguntas, y comprobó si los modelos captaban las pistas culturales. El resultado le sorprendió: las respuestas sonaban correctas, pero no coincidían con la realidad. A los modelos les faltaban datos concretos y, en ocasiones, alucinaban abiertamente.

Bocska compartió sus observaciones con Julia Kreutzer, Staff Research Scientist en Cohere Labs, durante un debate sobre cultura e IA en la comunidad científica abierta del laboratorio. Kreutzer vio en ello una forma de medir la brecha entre la fluidez del modelo y su conocimiento cultural real. Entre los dos ampliaron el proyecto: lanzaron una convocatoria en redes sociales y en las comunidades de investigación ya existentes de Cohere Labs, sin criterios de selección. Bastaba con pertenecer a alguna cultura y estar dispuesto a escribir y evaluar acertijos.

Los participantes se reunieron en Discord y construyeron por su cuenta benchmarks sobre temas como deporte, historia y política. Cada pregunta se planteaba como un acertijo. El formato no es casual: un acertijo se apoya en la ambigüedad, pero tiene una solución concreta, de modo que pone a prueba a la vez la interpretación y el conocimiento de los hechos.

Un estudiante y una maestra, convertidos en investigadores

Los participantes más destacados del proyecto no encajan, por sus credenciales, en el perfil de investigador. Henry Gagnier, un estadounidense de 16 años, se unió al equipo y se ofreció a liderar una de las líneas de trabajo, aunque reconoce que al principio le daba reparo. Según él, para un benchmark así no hacen falta conocimientos de IA, sino un conocimiento real de la cultura. El proyecto le dio una idea de a qué se dedican los investigadores, y ahora desarrolla sus propios proyectos para profundizar en el tema.

Jane Smith, maestra canadiense jubilada, aplicó a la evaluación de las respuestas una técnica pedagógica habitual: analizar en qué punto exacto el razonamiento se desvió y qué condujo a la respuesta errónea. En sus acertijos recurrió a imágenes como tigres y cangrejos para dar un tono lúdico a la lógica.

Lo que registró el equipo:

• más de 100 participantes de 50+ países, con acceso sin requisitos de experiencia;
• comunidad y benchmarks organizados en Discord;
• temas de las preguntas: deporte, historia, política y otros ámbitos culturales;
• los modelos con sesgo hacia el inglés en su entrenamiento dan respuestas verosímiles pero erróneas a acertijos locales;
• en buginés los modelos mostraron un conocimiento prácticamente nulo y, por tanto, también nulo de la cultura asociada a esa lengua.

Un tono seguro en lugar de «no lo sé»

A Gagnier le sorprendió que el problema fuera más amplio que la falta de conocimiento cultural: los modelos no conocían la lengua como tal. Smith se fijó en otra cosa: los modelos casi nunca respondían «no lo sé». En su lugar, empleaban formulaciones con aire de autoridad que invitan a creer que el sistema domina el tema. Según ella, eso es precisamente lo que inquieta, porque la gente busca respuestas con autoridad. Su conclusión: lo peligroso no es la IA en sí, sino la falta de pensamiento crítico de quienes la usan.

Para la industria, es un problema conocido pero mal resuelto: el de la calibración. Un modelo debe entender los límites de su conocimiento y comunicarlos. En Cohere Labs afirman que trabajan para comprender mejor el contexto y que estudian la confianza de los modelos actuales. De ello trata también otra entrada del blog, sobre la revisión de los enfoques de confianza en los modelos de reasoning, publicada el 20 de octubre.

Qué comprobar antes de lanzar una IA en un mercado local

Si vas a llevar un producto a un mercado con un idioma distinto del inglés o con especificidades regionales, no te fíes de los benchmarks generales. Reúne un pequeño conjunto de pruebas con preguntas de hablantes nativos: organizaciones locales, leyes, eventos deportivos, modismos. Mide por separado la proporción de respuestas en las que el modelo admite con honestidad que no sabe, y no solo la de respuestas correctas. Para las lenguas con pocos recursos, prevé revisión manual y límites a las decisiones autónomas. El proyecto de Cohere Labs demuestra que estos conjuntos pueden construirse con la fuerza de la comunidad, y que los mejores autores de pruebas son quienes simplemente saben cómo funcionan las cosas en su casa.