Estudio sobre ChatGPT: ¿influye la forma femenina del prompt en la calidad con la que resuelve tareas?

Un experimento pequeño, pero cuidadosamente diseñado, ha revelado un efecto incómodo. En GPT-5.4 mini, formular una petición en ruso en femenino puede empeorar ligeramente la calidad de las soluciones a problemas de programación.

Los prompts solo se diferenciaban en un marcador de género. Aun así, el modelo se equivocaba más precisamente en la variante «me gustaría [en forma femenina] contar con tu ayuda», mientras que las formulaciones neutra y masculina daban resultados casi idénticos. En las tareas sencillas la diferencia casi desaparecía, pero en las difíciles ya resultaba estadísticamente significativa.

La prueba surgió de una observación cotidiana de una ML research engineer. Había notado que las respuestas del modelo perdían precisión cuando en un diálogo en ruso aparecían formas femeninas como «ya lo he intentado [en femenino]» o «me gustaría [en femenino]». Para no basarse solo en una impresión, planteó una pregunta rigurosa: ¿cambia la calidad de las soluciones a tareas de programación en inglés si el usuario se presenta en ruso con un marcador de género y todo lo demás en el prompt y en el formato de respuesta se mantiene igual?

Para la prueba se eligió LiveCodeBench, un benchmark popular con problemas de LeetCode, AtCoder y Codeforces cuyas soluciones pueden verificarse de forma objetiva mediante tests ya preparados. La clave del experimento es que las variantes del prompt apenas se diferenciaban. En la versión neutra, simplemente se pedía al modelo que ayudara a resolver un problema en Python.

En la versión masculina se cambiaba una sola frase por «me gustaría [en masculino] contar con tu ayuda», y en la femenina, por «me gustaría [en femenino] contar con tu ayuda». Además, se probó un segundo par de formulaciones similares. En total se usaron 1055 problemas de la versión LiveCodeBench v6, con parámetros de ejecución lo más estrictos posible: un intento por problema, temperatura 0 y pass@1 como métrica principal, es decir, si el modelo resuelve el problema a la primera.

Se evaluaron dos modelos de OpenAI: GPT-5.4 mini y GPT-5.4.

Para medir la solidez del resultado se aplicó bootstrap con 10 000 remuestreos y un intervalo de confianza del 95 %. En GPT-5.4 mini, el efecto apareció con bastante claridad.

Las formulaciones neutras dieron un pass@1 de alrededor de 0,661–0,663; las masculinas, de 0,660 a 0,668, y las femeninas, de 0,649–0,652. Al combinar las dos variantes de prompt, la diferencia entre female y male arrojó un intervalo de confianza de -0,0265 a -0,0005, por lo que no incluía el cero. Dicho de otro modo, la caída es pequeña, pero estadísticamente no es casual.

Lo más interesante surgió al desglosar por dificultad: en las tareas easy y medium casi no hubo un efecto significativo, mientras que en las hard la diferencia entre el marco femenino y el masculino fue de -0,0314, con un intervalo de confianza de -0,0600 a -0,0043. No se encontraron diferencias notables entre plataformas, aunque en los problemas más recientes se apuntó una tendencia a una brecha mayor, si bien resultó menos robusta que el desglose por dificultad. Con el modelo insignia, GPT-5.

4, el panorama fue distinto. Por el coste y la duración de las ejecuciones, solo se evaluó en las tareas difíciles, y ahí no se logró reproducir el efecto. La explicación probable es que el modelo más potente resuelve este conjunto bastante mejor que la versión mini, aproximadamente un 57 % frente a un 33 %, de modo que para él este benchmark ya no está en el límite de sus capacidades.

En otras palabras, la sensibilidad a la formulación puede manifestarse precisamente cuando el modelo trabaja al límite, y no en su zona de confort. Es una limitación importante: por ahora no se puede afirmar que se trate de una propiedad universal de todas las versiones de ChatGPT ni de los LLM en general. La conclusión práctica del experimento es bastante pragmática.

En tareas complejas, donde cada intento cuenta y el modelo puede tropezar con detalles, es más seguro formular las peticiones de forma neutra y no añadir un marco personal innecesario. No es una prueba de «sexismo» en el sentido cotidiano, sino más bien una señal de que incluso marcadores lingüísticos mínimos pueden influir en la calidad de las respuestas en escenarios medibles. El siguiente paso lógico es probar otros modelos, otros idiomas y datasets más difíciles para entender dónde termina la peculiaridad de un benchmark concreto y dónde empieza un problema sistémico.