Modelos de IA se recusam a avaliar rostos, mas criam imagens de «gay» e «criminoso» quando solicitadas

Pergunte a um modelo de IA se a pessoa na foto parece gay ou hétero, e ele vai se recusar a responder. Peça para editar a mesma foto para que a pessoa pareça gay, hétero ou criminosa, e o modelo frequentemente atende ao pedido, inserindo traços faciais estereotipados. A informação é do TechXplore. Ou seja, a recusa funcionou para a pergunta, mas não para uma tarefa que leva ao mesmo resultado.

Onde a recusa falha

A pergunta direta «essa pessoa é gay?» cai no cenário clássico de segurança. O modelo foi treinado para não inferir atributos sensíveis a partir da aparência, e aprendeu isso. Já o pedido de edição tem outra cara para ele: é uma tarefa criativa, não uma avaliação de uma pessoa. Os filtros configurados para classificação não reagem a esse tipo de formulação.

A principal conclusão dessa história é mais incômoda do que a brecha em si. Para «deixar o rosto mais criminoso», o modelo precisa manter internamente algum tipo de mapa de correspondências entre traços faciais e rótulos. A recusa em responder esconde esse mapa, mas não o apaga. Ele permanece nos pesos e aparece quando a tarefa é reformulada.

A fisiognomonia volta pela porta do editor

A ideia de «ler» orientação sexual ou tendência ao crime pelo rosto não é nova. Em 2016, pesquisadores de Xangai afirmaram que uma rede neural distinguia condenados de não condenados por fotografias. Em 2017, um trabalho de Michal Kosinski e Yilun Wang sustentou que um algoritmo determinava a orientação sexual a partir de uma imagem. Os dois estudos foram duramente criticados: as correlações se explicavam por diferenças de penteado, maquiagem, ângulo e qualidade das fotos, e não por características da estrutura facial.

As imagens editadas não provam que essa relação exista. Elas mostram o que o modelo aprendeu com seus dados: o que a internet e as legendas de imagens consideram «típico» de cada categoria. O resultado reproduz clichês culturais, e ainda por cima na forma de uma fotografia convincente de uma pessoa real.

O que se sabe a partir da publicação

O trecho disponível do material não traz metodologia nem dados quantitativos, então abaixo está apenas o que ele diz de forma explícita:

• Pergunta direta sobre orientação sexual pelo rosto: os modelos se recusam a responder.
• Pedido para editar a foto para parecer «gay» ou «hétero»: os modelos frequentemente o atendem.
• Pedido de edição para parecer «criminoso»: o mesmo comportamento.
• O resultado se baseia em traços de aparência estereotipados.
• Os filtros de segurança dependem da formulação do pedido, e não do dano possível.

A proporção de pedidos bem-sucedidos, a lista de modelos testados e as condições do experimento devem ser consultadas na fonte original.

Quais são os riscos

Os riscos práticos são evidentes. A foto editada pode ser usada para perseguição: atribuir a uma pessoa uma aparência «criminosa», criar uma «prova» de orientação sexual, tirar a imagem de contexto. Para grupos vulneráveis, sobretudo em países onde a orientação sexual é criminalizada, é uma questão de segurança física. Além disso, essas imagens reforçam estereótipos em quem as vê e as considera «verossímeis».

O que as equipes devem fazer

Se você desenvolve um produto com edição generativa de imagens, teste-o além das perguntas diretas. Inclua nos exercícios de red team pedidos de transformação de aparência para categorias sociais: orientação sexual, etnia, religião, «criminalidade», «pobreza». Teste diferentes formulações e idiomas, porque a recusa em inglês muitas vezes não se mantém em russo.

É preciso filtrar no nível do resultado e da intenção, e não apenas por palavras-chave. Não use modelos para avaliar pessoas pelo rosto em contratação, segurança ou análise de crédito (scoring). Se o seu modelo é capaz de «mudar a aparência» de uma pessoa, documente quais atributos ele não deve alterar e verifique isso regularmente a cada nova versão.