Los modelos de IA se niegan a evaluar rostros, pero dibujan a un «gay» o a un «criminal» si se les pide

Pregunte a un modelo de IA si la persona de una foto parece gay o heterosexual y se negará a responder. Pídale que edite la misma foto para que la persona parezca gay, heterosexual o criminal y el modelo a menudo cumplirá, añadiendo rasgos faciales estereotípicos. Lo informa TechXplore. Es decir, la negativa funciona ante la pregunta, pero no ante una tarea que lleva al mismo resultado.

Dónde falla la negativa

La pregunta directa «¿es gay esta persona?» encaja en el escenario clásico de seguridad. Al modelo se le entrenó para no inferir atributos sensibles a partir de la apariencia, y lo ha aprendido. Una solicitud de edición le parece distinta: es una tarea creativa, no una evaluación de una persona. Los filtros diseñados para la clasificación no reaccionan a esa formulación.

La conclusión principal de esta historia es más incómoda que la propia laguna. Para «hacer el rostro más criminal», el modelo tiene que manejar internamente algún tipo de mapa de correspondencias entre rasgos faciales y etiquetas. La negativa a responder oculta ese mapa, pero no lo elimina. Sigue en los pesos y aflora cuando se reformula la tarea.

La fisiognomía vuelve a través del editor

La idea de «leer» la orientación sexual o la propensión al delito en el rostro no es nueva. En 2016, investigadores de Shanghái afirmaron que una red neuronal distinguía a condenados de no condenados a partir de fotografías. En 2017, un trabajo de Michal Kosinski y Yilun Wang sostuvo que un algoritmo determinaba la orientación sexual a partir de una imagen. Ambos estudios recibieron duras críticas: las correlaciones se explicaban por diferencias en peinados, maquillaje, ángulo y calidad de las fotos, y no por rasgos de la estructura facial.

Las imágenes editadas no demuestran que exista tal relación. Muestran lo que el modelo aprendió de sus datos: qué se considera «típico» de cada categoría en internet y en los pies de foto. El resultado reproduce clichés culturales, y además en forma de una fotografía convincente de una persona concreta.

Qué se sabe de la publicación

En el fragmento disponible del material no hay metodología ni datos cuantitativos, así que lo siguiente es solo lo que se dice de forma explícita:

• Pregunta directa sobre la orientación a partir del rostro: los modelos se niegan a responder.
• Solicitud de editar la foto para que parezca «gay» o «heterosexual»: los modelos a menudo la cumplen.
• Solicitud de editar la foto para que parezca «criminal»: el mismo comportamiento.
• El resultado se construye a partir de rasgos de apariencia estereotípicos.
• Los filtros de seguridad dependen de la formulación de la solicitud, no del daño que pueda causarse.

Los porcentajes de solicitudes exitosas, la lista de modelos probados y las condiciones del experimento hay que consultarlos en la fuente original.

Qué riesgos implica

Los riesgos prácticos son claros. Una foto editada puede usarse para el acoso: atribuir a una persona un aspecto «criminal», fabricar una «prueba» de su orientación o sacar una imagen de contexto. Para los grupos vulnerables, sobre todo en países donde la orientación sexual está criminalizada, es una cuestión de seguridad física. Además, estas imágenes refuerzan los estereotipos en quienes las ven y las consideran «verosímiles».

Qué deben hacer los equipos

Si construye un producto sobre edición generativa de imágenes, no lo pruebe solo con preguntas directas. Incluya en los ejercicios de red teaming solicitudes de transformar la apariencia según categorías sociales: orientación, etnia, religión, «criminalidad», «pobreza». Pruebe distintas formulaciones e idiomas, porque una negativa en inglés a menudo no se mantiene en ruso.

Conviene filtrar a nivel del resultado y de la intención, y no solo por palabras clave. No utilice modelos para evaluar a personas por su rostro en selección de personal, seguridad o scoring. Si su modelo puede «cambiar el aspecto» de una persona, documente qué atributos no debe modificar y compruébelo con regularidad en las nuevas versiones.