Autores de arXiv piden sustituir la «verdad» única del etiquetado por un espacio de interpretaciones

En arXiv (cs.AI, número 2610.10805, versión v1) se ha publicado un position paper que cuestiona el supuesto básico de la mayor parte del aprendizaje automático: que cada ejemplo tiene una única respuesta correcta. Los autores proponen modelar un «espacio de interpretaciones», es decir, el conjunto de juicios humanos plausibles sobre una misma entrada. Al mismo tiempo, quieren separar la ambigüedad con sentido del ruido habitual de anotación. En su planteamiento, hay que rediseñar cinco etapas del ciclo de vida del sistema: representación, entrenamiento, evaluación, despliegue y gobernanza.

Una advertencia previa. Se trata de un trabajo conceptual. El resumen no presenta ningún modelo nuevo, benchmark ni resultado experimental. El valor del texto está en cómo plantea el problema, y así conviene juzgarlo.

Dónde se rompe la «verdad única»

El flujo estándar es el siguiente. Varias personas etiquetan el mismo ejemplo. Las respuestas se combinan por votación o promedio, y la concordancia entre anotadores se comprueba con métricas como la kappa de Cohen o el alfa de Krippendorff. Un acuerdo bajo se interpreta como señal de unas instrucciones deficientes o de anotadores poco diligentes. Las discrepancias se eliminan o se tratan como ruido.

En tareas con una respuesta objetiva, esto funciona. Pero cuando el sistema evalúa la toxicidad de un mensaje, la emoción de un rostro, lo apropiado de la respuesta de un chatbot o el tono de una carta, personas distintas ven cosas distintas, y cada una puede tener su parte de razón. Estos ejemplos sirven de ilustración y el resumen no los menciona de forma explícita.

El argumento de los autores es el siguiente: si todo se reduce a un único objetivo, se pierde la información sobre la diversidad de percepciones, juicios y experiencias vitales. Además, los sistemas ya no solo interactúan con las personas, sino que cada vez más toman decisiones sobre ellas. Un modelo que ha asimilado la postura de la mayoría de los anotadores como «la verdad» reproduce esa postura para todos los usuarios.

Qué proponen los autores

La idea central: predecir y almacenar no una sola etiqueta, sino una distribución de juicios plausibles. El resto del resumen lo formula como un marco para todo el ciclo de vida. La lista siguiente lo recoge en esencia; el resumen no detalla los métodos:

• Representación. Los datos y las variables objetivo se describen como un conjunto de interpretaciones admisibles, no como una única etiqueta.
• Entrenamiento. El modelo aprende de la diversidad de juicios, no del resultado de agregarlos.
• Evaluación. La calidad se mide según en qué grado el sistema reproduce el espectro de interpretaciones, no según la coincidencia con un único patrón de referencia.
• Despliegue. El sistema debe tener en cuenta que, para parte de las entradas, hay varias respuestas admisibles.
• Gobernanza. La pregunta «¿la verdad de quién está incorporada en el modelo?» pasa a ser un asunto de governance.

La parte más difícil del programa es distinguir la ambigüedad con sentido del ruido. Si se declara ambigüedad cualquier discrepancia, un etiquetado descuidado puede pasar por «diversidad de opiniones». Si se considera ruido cualquier discrepancia, se queda uno con el enfoque actual. El resumen no dice cómo trazar esa frontera. A juzgar por la fórmula «hacemos un llamamiento a un cambio», es una línea para trabajos futuros.

Qué cambiar en la práctica

Incluso sin métodos nuevos, del artículo se desprenden varias medidas que los equipos pueden aplicar ya:

• Conservar las anotaciones individuales en bruto, y no solo la etiqueta agregada. Una discrepancia perdida no se puede recuperar después.
• Separar las tareas con respuesta objetiva de las que dependen de la interpretación. En estas últimas, una baja concordancia entre anotadores puede ser una señal, no un defecto.
• Observar la distribución de respuestas al evaluar el modelo. La precisión por mayoría de votos oculta con quiénes se equivoca el modelo de forma sistemática.
• Documentar quién etiquetó los datos: de qué grupos, con qué instrucciones y con qué nivel de acuerdo. Sin eso, la pregunta «¿la verdad de quién?» se queda sin respuesta.
• Empezar por una tarea, por ejemplo la moderación de contenido o la evaluación de las respuestas de un asistente, y comparar el comportamiento del modelo entrenado con etiquetas agregadas y sin agregar.

Para las empresas cuyos productos toman decisiones sobre personas, no es solo una cuestión de calidad, sino también de responsabilidad: tarde o temprano, un auditor o un regulador preguntará por qué el modelo considera correcta precisamente esta respuesta.