Cohere Labs testou IA com charadas: mais de 100 autores de 50 países encontraram lacunas culturais

A Cohere Labs conduziu um projeto científico aberto que expôs um ponto fraco dos modelos de linguagem: eles falam com fluência, mas conhecem pouco a cultura das pessoas que falam o idioma. Mais de 100 participantes de mais de 50 países criaram e avaliaram charadas baseadas em realidades locais e depois observaram como modelos treinados principalmente com dados em inglês lidavam com elas. As respostas pareciam convincentes, mas muitas vezes estavam erradas. Em bugis, idioma falado por milhões de pessoas, os modelos não demonstraram praticamente nenhum conhecimento.

Como as charadas húngaras viraram um benchmark global

Tudo começou com o diplomata húngaro Károly Bocska, que se interessava por pesquisa em IA. Ele criou charadas difíceis, no estilo de quiz, em húngaro e testou se os modelos percebiam as pistas culturais. O resultado o surpreendeu: as respostas soavam corretas, mas não coincidiam com a realidade. Faltavam fatos concretos aos modelos, e em alguns momentos eles alucinavam abertamente.

Bocska contou suas observações a Julia Kreutzer, Staff Research Scientist da Cohere Labs, durante uma discussão sobre cultura em IA na comunidade científica aberta do laboratório. Kreutzer viu ali uma forma de medir a distância entre a fluência do modelo e o conhecimento cultural real. Juntos, eles escalaram o projeto: um chamado em redes sociais e nas comunidades de pesquisa já existentes da Cohere Labs, sem critérios de seleção. Bastava pertencer a alguma cultura e estar disposto a escrever e avaliar charadas.

Os participantes se reuniram no Discord e construíram, por conta própria, benchmarks sobre temas como esporte, história e política. Cada pergunta era formulada como uma charada. O formato não foi escolhido por acaso: a charada se apoia na ambiguidade, mas tem uma solução concreta, então testa ao mesmo tempo a interpretação e o conhecimento de fatos.

Estudante e professora no papel de pesquisadores

Os participantes mais marcantes do projeto, pelos critérios formais, não lembram pesquisadores. O americano Henry Gagnier, de 16 anos, entrou na equipe e se ofereceu para liderar uma das frentes, embora admita que no início estava intimidado. Segundo ele, um benchmark desse tipo exige não habilidades em IA, mas conhecimento real da cultura. O projeto deu a ele uma ideia do que os pesquisadores fazem, e hoje ele desenvolve os próprios projetos para se aprofundar no assunto.

A professora canadense aposentada Jane Smith aplicou na avaliação das respostas uma técnica pedagógica familiar: identificar em que ponto exato o raciocínio desviou e o que levou à resposta errada. Nas charadas, ela usou imagens como tigres e caranguejos para tornar a lógica mais lúdica.

O que a equipe registrou:

• mais de 100 participantes de 50+ países, com entrada sem exigência de especialização;
• comunidade e benchmarks organizados no Discord;
• temas das perguntas: esporte, história, política e outros segmentos culturais;
• modelos com viés para o inglês no treinamento dão respostas plausíveis, porém erradas, para charadas locais;
• em bugis, os modelos mostraram conhecimento praticamente nulo e, portanto, nenhum conhecimento da cultura associada ao idioma.

Tom confiante no lugar de "não sei"

Gagnier se surpreendeu ao ver que o problema vai além da falta de conhecimento cultural: os modelos não conheciam nem a língua em si. Smith notou outra coisa: os modelos muito raramente respondiam "não sei". Em vez disso, davam formulações com ar de autoridade, que facilitam acreditar que o sistema entende do assunto. Segundo ela, é isso que assusta, porque as pessoas buscam respostas confiáveis. A conclusão dela: o perigo não está na IA em si, mas na falta de pensamento crítico de quem a usa.

Para a indústria, esse é um problema conhecido, mas mal resolvido, de calibração: o modelo precisa entender os limites do que sabe e comunicá-los. A Cohere Labs diz que trabalha para entender melhor o contexto e estuda a confiança dos modelos atuais. O tema também aparece em outro texto do blog, sobre a revisão das abordagens de confiança em modelos de reasoning, publicado em 20 de outubro.

O que verificar antes de lançar uma IA em um mercado local

Se você está lançando um produto em um mercado com idioma que não seja o inglês ou com particularidades regionais, não confie em benchmarks gerais. Monte um pequeno conjunto de testes com perguntas feitas por falantes nativos: organizações locais, leis, eventos esportivos, expressões idiomáticas. Calcule separadamente a proporção de respostas em que o modelo admite honestamente que não sabe, e não apenas a de respostas corretas. Para idiomas de poucos recursos, preveja revisão manual e limites para decisões autônomas. O projeto da Cohere Labs mostra que esses conjuntos podem ser montados pela comunidade, e que os melhores autores de verificações são pessoas que simplesmente sabem como as coisas funcionam na sua terra.