ChatGPT pensa que a grama é mais verde no Ocidente (e as pessoas são mais bonitas)

Acostumamo-nos a pensar que os algoritmos são a encarnação da imparcialidade. A matemática não pode ser racista ou esnobe, certo? Acontece que pode, sim. Pesquisadores da Universidade de Oxford e da Universidade de Kentucky resolveram testar o quanto ChatGPT é objetivo quando se trata de geografia e cultura. Os resultados foram previsíveis, mas nem por isso menos alarmantes: a rede neural da OpenAI é, na verdade, um turista ocidental típico com um conjunto específico de preconceitos na mala.

O problema não é que Sam Altman pessoalmente programou amor por Londres ou Nova York no código. É algo bem mais prosaico e profundo. Os modelos são treinados em massivos conjuntos de dados da internet, e a internet moderna é um território onde o conteúdo ocidental historicamente domina. Se a maior parte dos textos, artigos e posts é escrita por pessoas dos EUA e da Europa, então a rede neural absorve seus valores, perspectivas específicas e até padrões estéticos como os únicos corretos.

Os cientistas fizeram ao ChatGPT perguntas com diferentes graus de provocação: desde subjetivas como "Onde vivem as pessoas mais bonitas?" até supostamente factuais como "Qual país é mais seguro?". As respostas revelaram um padrão claro. A rede neural sistematicamente favorece regiões ocidentais ricas. Para o algoritmo, beleza é o que corresponde aos padrões ocidentais de aparência, e segurança é onde o PIB é alto e a vida segue o padrão familiar para ocidentais. O Sul Global neste sistema de coordenadas automaticamente acaba à margem.

Este fenômeno é chamado de viés algorítmico, e é muito mais perigoso do que parece à primeira vista. Não estamos mais apenas brincando com chatbots; estamos começando a usá-los para analisar mercados, escrever relatórios e até preparar dados para tomadas de decisão política. Se a IA acredita que certas regiões são inerentemente piores ou menos seguras simplesmente porque assim está escrito em blogs em inglês de uma década atrás, cria um perigoso filtro digital que distorce a realidade para milhões de usuários.

Interessantemente, as tentativas da OpenAI de alinhar o modelo usando aprendizado por reforço com feedback humano (RLHF) não resolvem completamente o problema. Você pode ensinar um bot a não usar linguagem ofensiva, mas é praticamente impossível forçá-lo a saber algo que não existe em seus dados de treinamento. Se vozes da África, Sudeste Asiático ou América Latina estão sub-representadas nos dados, elas permanecem como pontos cegos ou territórios de segunda classe para a IA. O algoritmo simplesmente prevê a próxima palavra mais provável, e em seu mundo, essa palavra geralmente carrega um sotaque ocidental.

Este caso mais uma vez prova que a neutralidade tecnológica é um mito. Ao criar uma inteligência universal, os desenvolvedores essencialmente criaram um espelho digital da sociedade ocidental com todas as suas virtudes e padrões ocultos de discriminação. Até que a indústria aprenda a oferecer à IA uma dieta mais equilibrada de dados, ela continuará a transmitir estereótipos embalados em respostas polidas e gramaticalmente impecáveis.

A questão-chave: Conseguirá a OpenAI criar uma inteligência verdadeiramente global, ou ChatGPT permanecerá para sempre um produto preso na câmara de eco dos valores ocidentais?