Para o ChatGPT, a grama do Ocidente é mais verde (e as pessoas, mais bonitas)

Estamos acostumados a pensar que algoritmos são a personificação da imparcialidade. A matemática não pode ser racista ou esnobe, certo? Pois pode, e muito. Pesquisadores de Oxford e da Universidade de Kentucky decidiram testar o quão objetivo o ChatGPT é quando o assunto é geografia e cultura. Os resultados foram previsíveis, mas nem por isso menos preocupantes: a rede neural da OpenAI é, na prática, um típico turista ocidental com uma mala cheia de preconceitos.

O problema não é que Sam Altman tenha programado pessoalmente um amor por Londres ou Nova York. A explicação é bem mais prosaica e mais profunda. Os modelos são treinados com volumes colossais de dados da internet, e a internet atual é um território historicamente dominado por conteúdo ocidental. Se a esmagadora maioria dos textos, artigos e posts foi escrita por pessoas dos EUA e da Europa, a rede neural absorve os valores, as visões específicas e até os padrões estéticos desse público como os únicos corretos.

Os cientistas fizeram ao ChatGPT perguntas com diferentes graus de provocação: das subjetivas, como "Onde vivem as pessoas mais bonitas?", às supostamente factuais, como "Qual país é mais seguro?". As respostas revelaram um padrão claro. A rede neural dá preferência sistemática às regiões ricas do Ocidente. Para o algoritmo, bonito é o que segue os padrões ocidentais de aparência, e seguro é onde o PIB é alto e o modo de vida é familiar ao ocidental. Nesse sistema de coordenadas, o Sul Global fica automaticamente em desvantagem.

Esse fenômeno é chamado de viés algorítmico, e ele é muito mais perigoso do que parece à primeira vista. Já não estamos apenas brincando com chatbots: começamos a usá-los para analisar mercados, redigir relatórios e até preparar dados para decisões políticas. Se a IA considera que certas regiões são, a priori, piores ou mais perigosas só porque é isso que diziam blogs em inglês de uma década atrás, cria-se um filtro digital perigoso, que distorce a realidade para milhões de usuários.

Curiosamente, as tentativas da OpenAI de alinhar o modelo com aprendizado por reforço (RLHF) não resolvem o problema por completo. É possível ensinar o bot a não usar ofensas, mas é praticamente impossível fazê-lo saber o que não está nos seus dados de treinamento. Se vozes da África, do Sudeste Asiático ou da América Latina estão pouco representadas nos dados, elas continuam sendo pontos cegos ou territórios de segunda classe para a IA. O algoritmo apenas prevê a próxima palavra mais provável, e, no mundo dele, essa palavra costuma ter sotaque ocidental.

O caso prova, mais uma vez, que a neutralidade tecnológica é um mito. Ao tentar criar uma mente universal, os desenvolvedores na verdade criaram um espelho digital da sociedade ocidental, com todas as suas virtudes e seus padrões ocultos de discriminação. Enquanto a indústria não aprender a oferecer à IA uma dieta de dados mais equilibrada, ela continuará reproduzindo estereótipos embalados em respostas educadas e gramaticalmente impecáveis.

O ponto principal: a OpenAI conseguirá criar uma inteligência verdadeiramente global, ou o ChatGPT continuará para sempre como um produto preso na câmara de eco dos valores ocidentais?