Ai2: 15 modelos bajo presión se equivocan 9,3 puntos porcentuales más a favor de minorías
El Instituto Allen (Ai2) ha publicado FairStress, una prueba en la que los modelos de IA reciben dos currículums y una frase como «la dirección quisiera dar una oportunidad a personas de minorías». En 15 modelos, entre ellos Claude y GPT, cuando el grupo se menciona explícitamente, abandonan con 9,3 puntos porcentuales más frecuencia a un candidato sólido a favor de uno de la minoría: por ejemplo, un 29,3% frente a un 20%. Sin datos sobre la identidad de los candidatos no hay sesgo. En contratación y concesión de créditos conviene comprobar la robustez frente a la presión.
Procesado por IA desde TG: @ai_machinelearning_big_data (Machinelearning); editado por Hamidun News
Imagine un asistente de recursos humanos basado en un modelo de lenguaje. Recibe dos currículums: el primer candidato tiene claramente más experiencia y habilidades. Pero antes de la pregunta, el prompt incluye la frase: «la dirección quisiera dar una oportunidad a personas de grupos infrarrepresentados». ¿Debe el modelo cambiar su elección? La respuesta correcta es no, porque el argumento no altera la cualificación. El Instituto Allen (Ai2) ha publicado el conjunto FairStress, que comprueba precisamente eso. La prueba mostró que 15 modelos populares ceden con demasiada facilidad bajo esta presión, y que el sesgo favorece a los grupos vulnerables.
Si integra LLM en contratación, evaluación de solicitudes, triaje médico o valoración de solicitudes de formación, esto supone un riesgo directo: el modelo puede rechazar al mejor candidato solo porque se le ha sugerido sutilmente.
Cómo funciona la prueba
Las comprobaciones habituales de equidad simplemente preguntan al modelo por dos candidatos y comparan las respuestas al cambiar la raza o el género. FairStress añade presión. Antes de la pregunta se inserta un argumento de autoridad o de carga social: una referencia a la opinión de la dirección, un recordatorio de discriminación pasada o una recomendación informal. Después se mide con qué facilidad el sistema renuncia a un candidato objetivamente más fuerte.
La escala es grande: 300 escenarios de 29 áreas, entre ellas contratación, crédito, medicina y educación. Participan candidatos ficticios, 33 pares de grupos demográficos (raza, género, religión, edad, discapacidad, orientación), cuatro niveles de revelación de la identidad y hasta 78 frases persuasivas. En total se obtienen más de 13 millones de variantes.
Qué encontraron en 15 modelos
Los autores ejecutaron la prueba en 15 modelos de las familias Olmo, Llama, Qwen, Gemma, Claude y GPT. En todos apareció una hipercorrección antiestereotipada: el modelo se esfuerza tanto por no ofender a los vulnerables que toma una decisión errónea. Con argumentos igual de fuertes, los modelos abandonaron la elección correcta con mucha más frecuencia a favor de candidatos de grupos históricamente vulnerables que en el sentido contrario.
Las cifras son estas:
- Si el prompt no contiene datos sobre la identidad, los modelos son imparciales.
- Si el grupo se nombra explícitamente, abandonan con 9,3 puntos porcentuales más frecuencia la decisión correcta cuando el abandono beneficia al candidato de la minoría. Un punto porcentual es la diferencia entre proporciones: por ejemplo, pasar de 20% de concesiones a 29,3%.
- En escenarios sin un favorito claro, la elección de la minoría se produjo en el 60–65% de los casos.
Hay también un hallazgo cualitativo. Los modelos justificaban sus decisiones de forma distinta. Los méritos de unos candidatos se explicaban con criterios y hechos, mientras que de otros se hablaba de estabilidad abstracta y diversidad, lo que restaba valor a sus logros profesionales. Para un producto, esto es un problema específico: la explicación que el modelo muestra al usuario puede ser una racionalización cortés.
Según los autores, el alineamiento actual (el ajuste fino de los modelos hacia un comportamiento «correcto») enseña a bloquear las peticiones discriminatorias, pero no a sopesar de forma estable las habilidades objetivas. La regla «no ofendas a los vulnerables» se activa incluso cuando lleva a un error.
Qué hacer al respecto
Un recurso redujo la asimetría sin perder precisión: el CoT contrafactual. CoT (chain of thought) es el razonamiento paso a paso del modelo antes de responder. En la versión contrafactual se pide al modelo que revise la tarea y cambie en espejo los marcadores demográficos: ¿qué pasaría si el candidato perteneciera a otro grupo? Si la respuesta cambia, significa que la decisión la influyó el grupo y no las habilidades. Este paso puede añadirse a su propio pipeline como verificación adicional.
Conclusiones prácticas para los equipos:
- Pruebe no solo prompts neutrales, sino también prompts con presión: opiniones de la dirección, argumentos históricos, «recomendaciones».
- Compare las decisiones al cambiar los grupos en espejo. Una discrepancia indica sesgo en ambas direcciones.
- No dé por hecho que un modelo con una protección sólida contra la discriminación toma decisiones ponderadas.
- Allí donde la decisión afecte al destino de una persona, deje la revisión final en manos de un humano.
También hay limitaciones. Los escenarios son sintéticos, los candidatos son ficticios y los sistemas reales suelen recibir datos en otro formato. El mensaje original no incluye cifras individuales por modelo. Eso sí, el conjunto es abierto: licencia CC-BY-4.0, el dataset está en Hugging Face y hay un artículo y código en GitHub. Puede ejecutarse sobre su propio modelo antes de llevarlo a producción.
- 21 nov 2026Anthropic cierra su primera semana en bolsa con una valoración de 1,6 billones de dólares, pero cae un 8,5% en una sola jornada
- 21 nov 2026Thinking Machines lanza Inkling 2 Mini: 26.000 millones de parámetros y 20,1 puntos en el AA Index
- 21 nov 202615 subagentes de Claude Code escribieron un sistema para un taller, y el lanzamiento lo aprueba un agente sin derecho a editar
- 21 nov 2026Matemático de Anthropic afirma que Claude le ayudó a demostrar la hipótesis de Riemann en seis semanas
Preguntas frecuentes sobre la noticia
Cómo funciona la prueba?
Las comprobaciones habituales de equidad simplemente preguntan al modelo por dos candidatos y comparan las respuestas al cambiar la raza o el género. FairStress añade presión. Antes de la pregunta se inserta un argumento de autoridad o de carga social: una referencia a la opinión de la dirección, un recordatorio de discriminación pasada o una recomendación informal. Después se mide con qué facilidad el sistema renuncia a un candidato objetivamente más fuerte.
¿Qué se sabe sobre Qué encontraron en 15 modelos?
Los autores ejecutaron la prueba en 15 modelos de las familias Olmo, Llama, Qwen, Gemma, Claude y GPT. En todos apareció una hipercorrección antiestereotipada: el modelo se esfuerza tanto por no ofender a los vulnerables que toma una decisión errónea. Con argumentos igual de fuertes, los modelos abandonaron la elección correcta con mucha más frecuencia a favor de candidatos de grupos históricamente vulnerables que en el sentido contrario.
¿Qué se sabe sobre Qué hacer al respecto?
Un recurso redujo la asimetría sin perder precisión: el CoT contrafactual. CoT (chain of thought) es el razonamiento paso a paso del modelo antes de responder. En la versión contrafactual se pide al modelo que revise la tarea y cambie en espejo los marcadores demográficos: ¿qué pasaría si el candidato perteneciera a otro grupo? Si la respuesta cambia, significa que la decisión la influyó el grupo y no las habilidades. Este paso puede añadirse a su propio pipeline como verificación adicional.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.