Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarAi2 (Allen Institute)→ original

Ai2 lanza FairStress: con una etiqueta de grupo explícita, los LLM abandonan la respuesta correcta un 9,3 pp más a menudo

Ai2 ha lanzado FairStress, una prueba que mide con qué facilidad se puede hacer cambiar de opinión a un LLM en decisiones sobre personas. Por ejemplo, el candidato A es claramente más fuerte, pero la frase «el responsable recomienda al B» actúa de forma distinta según el grupo. De media, en 15 modelos la brecha entre grupos al abandonar la respuesta correcta fue de 6,9 puntos porcentuales con una insinuación de grupo y de 9,3 con una etiqueta explícita. En contratación y créditos hay que comprobar la estabilidad de la decisión, no solo que las respuestas coincidan.

Procesado por IA desde Ai2 (Allen Institute); editado por Hamidun News
Ai2 lanza FairStress: con una etiqueta de grupo explícita, los LLM abandonan la respuesta correcta un 9,3 pp más a menudo
Fuente: Ai2 (Allen Institute). Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAi2 (Allen Institute) ↗
Editor jefe
Dato clave #1300 escenarios en 29 ámbitos generan más de 13 millones de pruebas; la versión ligera Core tiene 50 000.
Dato clave #2Claude Opus 5 y GPT-5.5 eligieron al candidato minoritario en el 60–65% de los casos disputados.
Dato clave #3El test BBQ, basado en probabilidades de las opciones, no detecta el sesgo que sí aparece en las respuestas generadas.

Imagine que ha integrado un LLM en la selección de currículums. Lo ha comprobado de la forma habitual: tomó dos currículums idénticos, cambió la raza del candidato y el modelo eligió a la misma persona en ambas ocasiones. Parece un trabajo honesto. Pero Ai2 ha demostrado que esa comprobación oculta un detalle importante: el modelo puede elegir correctamente en las dos versiones, pero es mucho más fácil hacerle cambiar de opinión en una de ellas. Para medir esta asimetría, Ai2 ha publicado el benchmark FairStress. Se puede descargar y se integra en la herramienta abierta de Ai2 para ejecutar y comparar evaluaciones de modelos.

A partir de aquí, «p.p.» significa punto porcentual, es decir, la diferencia entre dos proporciones. Si un grupo de candidatos desplazara la respuesta correcta en el 20% de los casos y otro en el 10,7%, la brecha sería de 9,3 p.p. Así es como Ai2 mide el sesgo.

Cómo funciona la prueba: elegir y luego presionar

El escenario es sencillo. El candidato A es claramente más fuerte que el candidato B, y el modelo elige a A con independencia de que sea negro o blanco. Después se añade al prompt una frase persuasiva, por ejemplo: «El responsable revisó personalmente los expedientes y recomendó al candidato B». Cada una de estas frases tiene una versión espejo a favor del otro candidato. Así se comprueba si el mismo argumento influye igual según qué grupo sea el que gana.

El benchmark incluye 300 escenarios realistas de elección entre dos opciones en 29 ámbitos: contratación, créditos, medicina, educación, vivienda y justicia penal. Por ejemplo, a cuál de dos pacientes se le debe dar la última dosis de un medicamento escaso. En algunos escenarios un candidato es claramente más fuerte. En otros, ambos son buenos de formas distintas y no hay un líder objetivo.

La identidad se presenta en cuatro niveles: sin ella, mediante un nombre, mediante una alusión indirecta y mediante una etiqueta explícita. Teniendo en cuenta los prefijos, se obtienen más de 13 millones de pruebas. Para ejecuciones rápidas existe FairStress-Core, con 50 000 ejemplos seleccionados mediante la teoría de respuesta al ítem (item response theory).

Qué encontraron

Sin datos demográficos, los modelos se comportan casi igual: eligen al candidato fuerte con la misma frecuencia y, en los casos disputados, reparten sus elecciones de forma casi equitativa. Cuanto más explícito es el grupo, mayor es el sesgo. Si el candidato más fuerte pertenece a un grupo «condicionalmente privilegiado» (blanco, hombre, heterosexual) y el prefijo pide elegir al candidato más débil de una minoría, el modelo abandona con más frecuencia la respuesta correcta. En la situación espejo, se mantiene más firme. Ai2 lo denomina hipercorrección antiestereotipada.

En los 15 modelos, la brecha media fue de 6,9 p.p. con una alusión indirecta a la identidad y de 9,3 p.p. con una etiqueta explícita. Los modelos insignia no son la excepción. En los casos ambiguos, Claude Opus 5 y GPT-5.5 eligieron al candidato de la minoría aproximadamente en el 60–65% de las ocasiones. Con los prefijos espejo, el cambio hacia la minoría se produjo entre 8,8 y 42,4 p.p. más a menudo (en 12 ejecuciones por «modelo + modo»).

Las explicaciones también difieren. En 11 modelos abiertos, las justificaciones para elegir a candidatos de minorías contenían con más frecuencia palabras como «resiliencia», «diversidad» y «barreras», mientras que las justificaciones para elegir a candidatos de la mayoría se apoyaban más en «evidencias» y «criterios». Es decir, el modelo puede elegir a ese candidato con más gusto, pero reconoce menos su cualificación.

También se analizó el interior de los modelos. En Gemma-3-12B-it y Qwen2.5-7B-Instruct, a partir de las activaciones internas se adivinó el lado elegido con una precisión de alrededor del 73%, y a partir de descripciones textuales de esas activaciones, con un 57–59%, frente a un nivel aleatorio del 50%. Al eliminar los nombres de los candidatos, la precisión con las activaciones bajó unos 18 p.p. Los propios autores reconocen que esta parte es limitada: son dos modelos y pocos contrastes.

Por qué BBQ muestra otra cosa

Ai2 comparó FairStress con el popular benchmark BBQ, en el que los modelos suelen inclinarse por respuestas estereotipadas. La causa de la discrepancia está en la metodología. La versión verificada de BBQ evalúa las probabilidades de opciones de respuesta fijas, mientras que FairStress pide al modelo que genere él mismo la elección, como en un chat habitual.

Se ejecutaron las mismas preguntas de BBQ en cuatro modelos y cinco configuraciones: con plantilla de chat, con formato «sí/no» y con generación de la respuesta. Qwen2.5-7B-Instruct, Gemma-3-27B-it y Llama-3.1-70B-Instruct pasaron de las respuestas estereotipadas a inclinarse a favor de las minorías. Llama-3.1-8B-Instruct se volvió aproximadamente neutral. Por tanto, la dirección del sesgo medido depende en parte de cómo se formula la pregunta y de cómo se evalúa la respuesta.

Qué hacer en la práctica

Si está construyendo un sistema de puntuación de currículums, de créditos o de escenarios médicos con LLM, no basta con comprobar que al cambiar el nombre la respuesta sigue igual. Añada una prueba de estabilidad: con qué facilidad el modelo abandona una decisión fundamentada ante un argumento y si eso ocurre de forma igual para los distintos grupos. Evalúe tanto las respuestas generadas como las probabilidades de las opciones; de lo contrario, la hipercorrección puede pasar desapercibida.

El trabajo tiene límites. FairStress entiende la equidad como igualdad: en igualdad de condiciones, las oportunidades son las mismas y una decisión fundamentada es igual de estable para cualquier grupo. Un enfoque basado en la equidad (equity) podría tener en cuenta la discriminación histórica y considerar admisible la preferencia por un candidato de una minoría. Ai2 afirma explícitamente que el benchmark no abarca todas las concepciones de la justicia.

Historia

Preguntas frecuentes sobre la noticia

Cómo funciona la prueba: elegir y luego presionar?

El escenario es sencillo. El candidato A es claramente más fuerte que el candidato B, y el modelo elige a A con independencia de que sea negro o blanco. Después se añade al prompt una frase persuasiva, por ejemplo: «El responsable revisó personalmente los expedientes y recomendó al candidato B». Cada una de estas frases tiene una versión espejo a favor del otro candidato. Así se comprueba si el mismo argumento influye igual según qué grupo sea el que gana.

¿Qué se sabe sobre Qué encontraron?

Sin datos demográficos, los modelos se comportan casi igual: eligen al candidato fuerte con la misma frecuencia y, en los casos disputados, reparten sus elecciones de forma casi equitativa. Cuanto más explícito es el grupo, mayor es el sesgo. Si el candidato más fuerte pertenece a un grupo «condicionalmente privilegiado» (blanco, hombre, heterosexual) y el prefijo pide elegir al candidato más débil de una minoría, el modelo abandona con más frecuencia la respuesta correcta.

¿Qué se sabe sobre Por qué BBQ muestra otra cosa?

Ai2 comparó FairStress con el popular benchmark BBQ, en el que los modelos suelen inclinarse por respuestas estereotipadas. La causa de la discrepancia está en la metodología. La versión verificada de BBQ evalúa las probabilidades de opciones de respuesta fijas, mientras que FairStress pide al modelo que genere él mismo la elección, como en un chat habitual.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…