WhoWins: la primera línea del prompt gana los conflictos entre el 72 y el 95% de las veces

En el trabajo real, un agente recibe órdenes desde cinco lugares a la vez: el operador, la configuración del repositorio, el usuario, los resultados de las herramientas y la memoria almacenada. Estas fuentes se contradicen con regularidad. Un equipo liderado por Anish Laddha construyó el benchmark WhoWins, con 1 080 escenarios, y lo aplicó a 14 modelos abiertos. El resultado: en 1 887 356 respuestas evaluadas, el desenlace del conflicto depende en gran medida de dónde está colocada la línea y bastante menos de quién la envía.

Por qué los benchmarks anteriores de jerarquía de instrucciones se quedan cortos

Las pruebas existentes de instruction hierarchy plantean una sola pregunta: si gana la fuente de mayor rango. Los autores de WhoWins señalan un problema metodológico. La fuente determina a la vez tres cosas: la posición del texto en el contexto, el rol del mensaje y la etiqueta con la que llega. Si gana el prompt de system, no queda claro por qué. Puede ser por su estatus o simplemente porque aparece primero.

Por eso WhoWins separa estos factores. El benchmark incluye cinco tipos de tareas, hasta cinco instrucciones mutuamente excluyentes por escenario y una evaluación hecha por código, sin un LLM como juez. Siete experimentos controlados modifican únicamente la forma de entregar las instrucciones. Se probaron 14 modelos con pesos abiertos, de 0,6B a 122B parámetros, con el modo thinking activado y desactivado. Los autores volvieron a comprobar las conclusiones principales con escenarios reservados (held-out).

La primera línea gana, pero el rol system no garantiza la victoria

Dentro de un mismo mensaje, la primera de dos líneas en conflicto gana entre el 72,42 y el 94,66% de las veces, según el modelo y el modo. Entre mensajes el efecto es más débil: la instrucción temprana se impone en el 22,95–62,65% de los casos.

El hallazgo más incómodo para los profesionales afecta al nivel de sistema. Una política enviada en primer lugar en un mensaje system o developer pierde la mayoría de los conflictos frente a líneas posteriores en todos los modelos de la familia Qwen. En gpt-oss ocurre lo contrario: allí la política gana la mayoría de los conflictos cuando el modelo actúa. En tareas con herramientas y escritura de archivos, el mismo texto colocado en primer lugar como mensaje user etiquetado gana más a menudo que en un mensaje system. Esto se observa en cada combinación de modelo y modo.

En otras palabras, la etiqueta «system» no se traduce en una prioridad fiable. Mucho depende de cómo se ha entrenado cada modelo para trabajar con roles y de cómo se comporta cuando tiene que ejecutar una acción en lugar de limitarse a responder.

Los conflictos pasan inadvertidos

Los autores comprobaron también si el modelo menciona la contradicción en voz alta. Según sus plantillas de palabras clave, no más del 2,92% de las respuestas resueltas a conflictos por pares la señalan o suavizan la formulación. El agente elige una de las instrucciones y actúa. Ni el usuario ni el operador llegan a saberlo.

Un bloque aparte del trabajo se dedica a la predicción. ¿Se puede anticipar, a partir de los resultados de conflictos por pares, el comportamiento en escenarios complejos con varias instrucciones? Las predicciones mejoran en cada combinación de modelo y modo cuando se sabe en qué lugar del contexto está la línea con la propia tarea.

Qué contiene el trabajo

• Benchmark WhoWins: 1 080 escenarios evaluados por código.
• Cinco tipos de tareas, hasta cinco instrucciones mutuamente excluyentes por escenario.
• Siete experimentos controlados que modifican únicamente la forma de entregar las instrucciones.
• 14 modelos open-weight de 0,6B a 122B, con thinking desactivado y activado.
• 1 887 356 respuestas evaluadas y verificación de las conclusiones en escenarios reservados.
• Un solo mensaje: la primera de dos líneas en conflicto gana en el 72,42–94,66% de los casos.
• Mensajes distintos: la instrucción temprana se impone en el 22,95–62,65% de los casos.
• No más del 2,92% de las respuestas resueltas a conflictos por pares señalan o suavizan el conflicto de forma explícita.
• Extensión del artículo: 55 páginas, 8 figuras, 24 tablas.

Qué cambiar ya en los sistemas con agentes

Primero: no confiar en la etiqueta system como protección de las reglas críticas. Si una política de seguridad debe sobrevivir a instrucciones posteriores del usuario o a resultados de herramientas, conviene verificarla con pruebas en el modelo concreto, porque en Qwen y gpt-oss el comportamiento difiere. Segundo: el orden de las líneas en el prompt debe tratarse como parte de la arquitectura, no del formato. Tercero: en tareas con llamadas a herramientas y escritura de archivos, hay que comprobar las prioridades por separado de los escenarios de chat, ya que allí la política de system gana con menos frecuencia.

Por último, hace falta monitorizar los conflictos silenciosos. Si el agente casi nunca avisa de una contradicción, habrá que descubrirla a través de logs y pruebas. El código y los datos están disponibles mediante pip install whowins, de modo que se pueden evaluar modelos propios con el mismo protocolo.