Ai2 lanza FairStress: con una etiqueta de grupo explícita, los LLM abandonan la respuesta correcta un 9,3 pp más a menudo
Ai2 ha lanzado FairStress, una prueba que mide con qué facilidad se puede hacer cambiar de opinión a un LLM en decisiones sobre personas. Por ejemplo, el candidato A es claramente más fuerte, pero la frase «el responsable recomienda al B» actúa de forma distinta según el grupo. De media, en 15 modelos la brecha entre grupos al abandonar la respuesta correcta fue de 6,9 puntos porcentuales con una insinuación de grupo y de 9,3 con una etiqueta explícita. En contratación y créditos hay que comprobar la estabilidad de la decisión, no solo que las respuestas coincidan.
Procesado por IA desde Ai2 (Allen Institute); editado por Hamidun News
Imagine que ha integrado un LLM en la selección de currículums. Lo ha comprobado de la forma habitual: tomó dos currículums idénticos, cambió la raza del candidato y el modelo eligió a la misma persona en ambas ocasiones. Parece un trabajo honesto. Pero Ai2 ha demostrado que esa comprobación oculta un detalle importante: el modelo puede elegir correctamente en las dos versiones, pero es mucho más fácil hacerle cambiar de opinión en una de ellas. Para medir esta asimetría, Ai2 ha publicado el benchmark FairStress. Se puede descargar y se integra en la herramienta abierta de Ai2 para ejecutar y comparar evaluaciones de modelos.
A partir de aquí, «p.p.» significa punto porcentual, es decir, la diferencia entre dos proporciones. Si un grupo de candidatos desplazara la respuesta correcta en el 20% de los casos y otro en el 10,7%, la brecha sería de 9,3 p.p. Así es como Ai2 mide el sesgo.
Cómo funciona la prueba: elegir y luego presionar
El escenario es sencillo. El candidato A es claramente más fuerte que el candidato B, y el modelo elige a A con independencia de que sea negro o blanco. Después se añade al prompt una frase persuasiva, por ejemplo: «El responsable revisó personalmente los expedientes y recomendó al candidato B». Cada una de estas frases tiene una versión espejo a favor del otro candidato. Así se comprueba si el mismo argumento influye igual según qué grupo sea el que gana.
El benchmark incluye 300 escenarios realistas de elección entre dos opciones en 29 ámbitos: contratación, créditos, medicina, educación, vivienda y justicia penal. Por ejemplo, a cuál de dos pacientes se le debe dar la última dosis de un medicamento escaso. En algunos escenarios un candidato es claramente más fuerte. En otros, ambos son buenos de formas distintas y no hay un líder objetivo.
La identidad se presenta en cuatro niveles: sin ella, mediante un nombre, mediante una alusión indirecta y mediante una etiqueta explícita. Teniendo en cuenta los prefijos, se obtienen más de 13 millones de pruebas. Para ejecuciones rápidas existe FairStress-Core, con 50 000 ejemplos seleccionados mediante la teoría de respuesta al ítem (item response theory).
Qué encontraron
Sin datos demográficos, los modelos se comportan casi igual: eligen al candidato fuerte con la misma frecuencia y, en los casos disputados, reparten sus elecciones de forma casi equitativa. Cuanto más explícito es el grupo, mayor es el sesgo. Si el candidato más fuerte pertenece a un grupo «condicionalmente privilegiado» (blanco, hombre, heterosexual) y el prefijo pide elegir al candidato más débil de una minoría, el modelo abandona con más frecuencia la respuesta correcta. En la situación espejo, se mantiene más firme. Ai2 lo denomina hipercorrección antiestereotipada.
En los 15 modelos, la brecha media fue de 6,9 p.p. con una alusión indirecta a la identidad y de 9,3 p.p. con una etiqueta explícita. Los modelos insignia no son la excepción. En los casos ambiguos, Claude Opus 5 y GPT-5.5 eligieron al candidato de la minoría aproximadamente en el 60–65% de las ocasiones. Con los prefijos espejo, el cambio hacia la minoría se produjo entre 8,8 y 42,4 p.p. más a menudo (en 12 ejecuciones por «modelo + modo»).
Las explicaciones también difieren. En 11 modelos abiertos, las justificaciones para elegir a candidatos de minorías contenían con más frecuencia palabras como «resiliencia», «diversidad» y «barreras», mientras que las justificaciones para elegir a candidatos de la mayoría se apoyaban más en «evidencias» y «criterios». Es decir, el modelo puede elegir a ese candidato con más gusto, pero reconoce menos su cualificación.
También se analizó el interior de los modelos. En Gemma-3-12B-it y Qwen2.5-7B-Instruct, a partir de las activaciones internas se adivinó el lado elegido con una precisión de alrededor del 73%, y a partir de descripciones textuales de esas activaciones, con un 57–59%, frente a un nivel aleatorio del 50%. Al eliminar los nombres de los candidatos, la precisión con las activaciones bajó unos 18 p.p. Los propios autores reconocen que esta parte es limitada: son dos modelos y pocos contrastes.
Por qué BBQ muestra otra cosa
Ai2 comparó FairStress con el popular benchmark BBQ, en el que los modelos suelen inclinarse por respuestas estereotipadas. La causa de la discrepancia está en la metodología. La versión verificada de BBQ evalúa las probabilidades de opciones de respuesta fijas, mientras que FairStress pide al modelo que genere él mismo la elección, como en un chat habitual.
Se ejecutaron las mismas preguntas de BBQ en cuatro modelos y cinco configuraciones: con plantilla de chat, con formato «sí/no» y con generación de la respuesta. Qwen2.5-7B-Instruct, Gemma-3-27B-it y Llama-3.1-70B-Instruct pasaron de las respuestas estereotipadas a inclinarse a favor de las minorías. Llama-3.1-8B-Instruct se volvió aproximadamente neutral. Por tanto, la dirección del sesgo medido depende en parte de cómo se formula la pregunta y de cómo se evalúa la respuesta.
Qué hacer en la práctica
Si está construyendo un sistema de puntuación de currículums, de créditos o de escenarios médicos con LLM, no basta con comprobar que al cambiar el nombre la respuesta sigue igual. Añada una prueba de estabilidad: con qué facilidad el modelo abandona una decisión fundamentada ante un argumento y si eso ocurre de forma igual para los distintos grupos. Evalúe tanto las respuestas generadas como las probabilidades de las opciones; de lo contrario, la hipercorrección puede pasar desapercibida.
El trabajo tiene límites. FairStress entiende la equidad como igualdad: en igualdad de condiciones, las oportunidades son las mismas y una decisión fundamentada es igual de estable para cualquier grupo. Un enfoque basado en la equidad (equity) podría tener en cuenta la discriminación histórica y considerar admisible la preferencia por un candidato de una minoría. Ai2 afirma explícitamente que el benchmark no abarca todas las concepciones de la justicia.
- 21 nov 2026Anthropic recorta un 20 % el precio de Claude Fable 5.2 y, en una prueba de código, queda casi a la altura de Opus 5.5
- 21 nov 2026Dreamteam recauda 53 millones de dólares para un CRM que se alimenta solo a partir del correo y las llamadas
- 21 nov 2026La IA Claude Opus 5.5 completa el terror Dimension 9 a partir de 15 habitaciones del autor
- 21 nov 202622 agentes de Claude pasaron seis semanas buscando respuestas sobre agujeros negros, y resolvieron dos problemas
Preguntas frecuentes sobre la noticia
Cómo funciona la prueba: elegir y luego presionar?
El escenario es sencillo. El candidato A es claramente más fuerte que el candidato B, y el modelo elige a A con independencia de que sea negro o blanco. Después se añade al prompt una frase persuasiva, por ejemplo: «El responsable revisó personalmente los expedientes y recomendó al candidato B». Cada una de estas frases tiene una versión espejo a favor del otro candidato. Así se comprueba si el mismo argumento influye igual según qué grupo sea el que gana.
¿Qué se sabe sobre Qué encontraron?
Sin datos demográficos, los modelos se comportan casi igual: eligen al candidato fuerte con la misma frecuencia y, en los casos disputados, reparten sus elecciones de forma casi equitativa. Cuanto más explícito es el grupo, mayor es el sesgo. Si el candidato más fuerte pertenece a un grupo «condicionalmente privilegiado» (blanco, hombre, heterosexual) y el prefijo pide elegir al candidato más débil de una minoría, el modelo abandona con más frecuencia la respuesta correcta.
¿Qué se sabe sobre Por qué BBQ muestra otra cosa?
Ai2 comparó FairStress con el popular benchmark BBQ, en el que los modelos suelen inclinarse por respuestas estereotipadas. La causa de la discrepancia está en la metodología. La versión verificada de BBQ evalúa las probabilidades de opciones de respuesta fijas, mientras que FairStress pide al modelo que genere él mismo la elección, como en un chat habitual.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.