Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)

Ai2: 15 modelos bajo presión se equivocan 9,3 puntos porcentuales más a favor de minorías

El Instituto Allen (Ai2) ha publicado FairStress, una prueba en la que los modelos de IA reciben dos currículums y una frase como «la dirección quisiera dar una oportunidad a personas de minorías». En 15 modelos, entre ellos Claude y GPT, cuando el grupo se menciona explícitamente, abandonan con 9,3 puntos porcentuales más frecuencia a un candidato sólido a favor de uno de la minoría: por ejemplo, un 29,3% frente a un 20%. Sin datos sobre la identidad de los candidatos no hay sesgo. En contratación y concesión de créditos conviene comprobar la robustez frente a la presión.

Procesado por IA desde TG: @ai_machinelearning_big_data (Machinelearning); editado por Hamidun News
Ai2: 15 modelos bajo presión se equivocan 9,3 puntos porcentuales más a favor de minorías
Fuente: TG: @ai_machinelearning_big_data (Machinelearning). Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalTG: @ai_machinelearning_big_data (Machinelearning) ↗
Editor jefe
13 millones de variantes300 escenarios, 33 pares de grupos y hasta 78 frases de presión
Dato clave #2Cuando no hay un favorito claro, los modelos eligieron a la minoría en el 60–65% de los casos
Ayudó una verificaciónel modelo repite el razonamiento con el grupo cambiado en espejo

Imagine un asistente de recursos humanos basado en un modelo de lenguaje. Recibe dos currículums: el primer candidato tiene claramente más experiencia y habilidades. Pero antes de la pregunta, el prompt incluye la frase: «la dirección quisiera dar una oportunidad a personas de grupos infrarrepresentados». ¿Debe el modelo cambiar su elección? La respuesta correcta es no, porque el argumento no altera la cualificación. El Instituto Allen (Ai2) ha publicado el conjunto FairStress, que comprueba precisamente eso. La prueba mostró que 15 modelos populares ceden con demasiada facilidad bajo esta presión, y que el sesgo favorece a los grupos vulnerables.

Si integra LLM en contratación, evaluación de solicitudes, triaje médico o valoración de solicitudes de formación, esto supone un riesgo directo: el modelo puede rechazar al mejor candidato solo porque se le ha sugerido sutilmente.

Cómo funciona la prueba

Las comprobaciones habituales de equidad simplemente preguntan al modelo por dos candidatos y comparan las respuestas al cambiar la raza o el género. FairStress añade presión. Antes de la pregunta se inserta un argumento de autoridad o de carga social: una referencia a la opinión de la dirección, un recordatorio de discriminación pasada o una recomendación informal. Después se mide con qué facilidad el sistema renuncia a un candidato objetivamente más fuerte.

La escala es grande: 300 escenarios de 29 áreas, entre ellas contratación, crédito, medicina y educación. Participan candidatos ficticios, 33 pares de grupos demográficos (raza, género, religión, edad, discapacidad, orientación), cuatro niveles de revelación de la identidad y hasta 78 frases persuasivas. En total se obtienen más de 13 millones de variantes.

Qué encontraron en 15 modelos

Los autores ejecutaron la prueba en 15 modelos de las familias Olmo, Llama, Qwen, Gemma, Claude y GPT. En todos apareció una hipercorrección antiestereotipada: el modelo se esfuerza tanto por no ofender a los vulnerables que toma una decisión errónea. Con argumentos igual de fuertes, los modelos abandonaron la elección correcta con mucha más frecuencia a favor de candidatos de grupos históricamente vulnerables que en el sentido contrario.

Las cifras son estas:

  • Si el prompt no contiene datos sobre la identidad, los modelos son imparciales.
  • Si el grupo se nombra explícitamente, abandonan con 9,3 puntos porcentuales más frecuencia la decisión correcta cuando el abandono beneficia al candidato de la minoría. Un punto porcentual es la diferencia entre proporciones: por ejemplo, pasar de 20% de concesiones a 29,3%.
  • En escenarios sin un favorito claro, la elección de la minoría se produjo en el 60–65% de los casos.

Hay también un hallazgo cualitativo. Los modelos justificaban sus decisiones de forma distinta. Los méritos de unos candidatos se explicaban con criterios y hechos, mientras que de otros se hablaba de estabilidad abstracta y diversidad, lo que restaba valor a sus logros profesionales. Para un producto, esto es un problema específico: la explicación que el modelo muestra al usuario puede ser una racionalización cortés.

Según los autores, el alineamiento actual (el ajuste fino de los modelos hacia un comportamiento «correcto») enseña a bloquear las peticiones discriminatorias, pero no a sopesar de forma estable las habilidades objetivas. La regla «no ofendas a los vulnerables» se activa incluso cuando lleva a un error.

Qué hacer al respecto

Un recurso redujo la asimetría sin perder precisión: el CoT contrafactual. CoT (chain of thought) es el razonamiento paso a paso del modelo antes de responder. En la versión contrafactual se pide al modelo que revise la tarea y cambie en espejo los marcadores demográficos: ¿qué pasaría si el candidato perteneciera a otro grupo? Si la respuesta cambia, significa que la decisión la influyó el grupo y no las habilidades. Este paso puede añadirse a su propio pipeline como verificación adicional.

Conclusiones prácticas para los equipos:

  • Pruebe no solo prompts neutrales, sino también prompts con presión: opiniones de la dirección, argumentos históricos, «recomendaciones».
  • Compare las decisiones al cambiar los grupos en espejo. Una discrepancia indica sesgo en ambas direcciones.
  • No dé por hecho que un modelo con una protección sólida contra la discriminación toma decisiones ponderadas.
  • Allí donde la decisión afecte al destino de una persona, deje la revisión final en manos de un humano.

También hay limitaciones. Los escenarios son sintéticos, los candidatos son ficticios y los sistemas reales suelen recibir datos en otro formato. El mensaje original no incluye cifras individuales por modelo. Eso sí, el conjunto es abierto: licencia CC-BY-4.0, el dataset está en Hugging Face y hay un artículo y código en GitHub. Puede ejecutarse sobre su propio modelo antes de llevarlo a producción.

Historia

Preguntas frecuentes sobre la noticia

Cómo funciona la prueba?

Las comprobaciones habituales de equidad simplemente preguntan al modelo por dos candidatos y comparan las respuestas al cambiar la raza o el género. FairStress añade presión. Antes de la pregunta se inserta un argumento de autoridad o de carga social: una referencia a la opinión de la dirección, un recordatorio de discriminación pasada o una recomendación informal. Después se mide con qué facilidad el sistema renuncia a un candidato objetivamente más fuerte.

¿Qué se sabe sobre Qué encontraron en 15 modelos?

Los autores ejecutaron la prueba en 15 modelos de las familias Olmo, Llama, Qwen, Gemma, Claude y GPT. En todos apareció una hipercorrección antiestereotipada: el modelo se esfuerza tanto por no ofender a los vulnerables que toma una decisión errónea. Con argumentos igual de fuertes, los modelos abandonaron la elección correcta con mucha más frecuencia a favor de candidatos de grupos históricamente vulnerables que en el sentido contrario.

¿Qué se sabe sobre Qué hacer al respecto?

Un recurso redujo la asimetría sin perder precisión: el CoT contrafactual. CoT (chain of thought) es el razonamiento paso a paso del modelo antes de responder. En la versión contrafactual se pide al modelo que revise la tarea y cambie en espejo los marcadores demográficos: ¿qué pasaría si el candidato perteneciera a otro grupo? Si la respuesta cambia, significa que la decisión la influyó el grupo y no las habilidades. Este paso puede añadirse a su propio pipeline como verificación adicional.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…