Estudo sobre o ChatGPT: a forma feminina do prompt afeta a qualidade na resolução de tarefas?

Um experimento pequeno, mas bem conduzido, revelou um efeito incômodo: no GPT-5.4 mini, uma formulação "feminina" do pedido em russo pode piorar um pouco a qualidade das soluções de programação. Quando o enquadramento do usuário diferia apenas por um marcador de gênero, o modelo errava mais na versão "eu gostaria da sua ajuda" (forma feminina), enquanto as formulações neutra e "masculina" davam resultados quase idênticos. Nas tarefas simples, a diferença quase desaparecia, mas nas difíceis parecia estatisticamente significativa.

O motivo da verificação foi uma observação cotidiana de uma engenheira de pesquisa em ML, que notou que as respostas do modelo ficavam menos precisas quando formas femininas apareciam na conversa em russo, como "eu já tentei" ou "eu gostaria" (no feminino). Para não depender apenas de uma impressão, ela formulou a pergunta de modo rigoroso: a autoapresentação com marcação de gênero em russo muda a qualidade da solução de tarefas de programação em inglês, se todo o resto do prompt e do formato de resposta permanece igual?

Para o teste, foi escolhido o LiveCodeBench, um benchmark popular com problemas do LeetCode, AtCoder e Codeforces, cujas soluções podem ser verificadas de forma objetiva por testes prontos. A ideia central do experimento é que as diferenças entre as variantes do prompt eram mínimas. Na versão neutra, o modelo apenas era solicitado a ajudar a resolver um problema em Python. Na versão "masculina", uma frase mudava para "eu gostaria da sua ajuda" (forma masculina), e na "feminina", para a mesma frase no feminino. Um segundo par de formulações semelhantes também foi testado.

Foram usados 1055 problemas da versão v6 do LiveCodeBench, com parâmetros de execução o mais rígidos possível: uma tentativa por problema, temperatura 0 e pass@1 como métrica principal, ou seja, se o modelo resolve o problema na primeira tentativa. Foram testados dois modelos da OpenAI: GPT-5.4 mini e GPT-5.4. Para avaliar a robustez do resultado, a pesquisadora aplicou bootstrap com 10.000 reamostragens e intervalo de confiança de 95%.

No GPT-5.4 mini, o efeito apareceu de forma bastante clara. As formulações neutras renderam pass@1 de cerca de 0,661–0,663, as "masculinas" de 0,660 a 0,668 e as "femininas" de 0,649–0,652. Após combinar as duas variantes de prompt, a diferença entre female e male teve intervalo de confiança de -0,0265 a -0,0005, ou seja, não cruzou o zero. Em outras palavras, a queda é pequena, mas não é estatisticamente aleatória.

O mais interessante apareceu na divisão por dificuldade: nas tarefas easy e medium quase não houve efeito significativo, enquanto nas hard a diferença entre o enquadramento "feminino" e o "masculino" foi de -0,0314, com intervalo de confiança de -0,0600 a -0,0043. Entre as plataformas, não houve divergência perceptível, mas nos problemas mais recentes surgiu uma tendência de diferença maior, embora menos robusta que a divisão por dificuldade.

Com o GPT-5.4, o modelo principal, o quadro foi diferente. Por causa do custo e da duração das execuções, ele foi testado apenas em tarefas difíceis, e ali não foi possível reproduzir o efeito.

Uma explicação provável é que o modelo mais forte resolve esse conjunto bem melhor que a versão mini, cerca de 57% contra 33%, e por isso o benchmark já não está no limite de suas capacidades. Ou seja, a sensibilidade à formulação pode aparecer justamente quando o modelo trabalha no limite, e não em sua zona de conforto. Essa é uma limitação importante: por ora, não é possível afirmar que se trata de uma propriedade universal de todas as versões do ChatGPT ou de todos os LLMs.

A conclusão prática do experimento é bastante terra a terra. Em tarefas difíceis, nas quais cada tentativa conta e o modelo pode tropeçar em detalhes, é mais seguro formular os pedidos de forma neutra e não acrescentar enquadramento pessoal desnecessário. Isso não é prova de "sexismo" no sentido cotidiano, mas sim um sinal de que até marcadores linguísticos mínimos podem influenciar a qualidade da resposta em cenários mensuráveis. O próximo passo lógico é testar outros modelos, outros idiomas e conjuntos de dados mais difíceis, para entender onde termina a particularidade de um benchmark específico e onde começa um problema sistêmico.