Anthropic: el 86% de los expertos repitió la recomendación de Claude sin saber que la había decidido una moneda al aire

Imaginemos una prueba A/B en la que la mitad de los usuarios ve un botón rojo y la otra mitad, uno verde. Si el rojo recibe 3 veces más clics, la decisión se toma sola: lo desplegamos y seguimos adelante. Aquí no hace falta ni un experto ni una IA. Pero en la vida real casi nunca es tan sencillo, y precisamente para estos casos se nos suele decir que necesitamos a una persona.

Cuando los datos se contradicen

Una prueba A/B real se parece más a esto. El botón rojo recibe un 5% más de clics. Pero después los usuarios eligen un plan más barato y el importe total es un 1% menor. Ese 1% no es estadísticamente significativo. Sin embargo, seis meses después, el grupo del botón rojo registra 1,5 veces más reembolsos. Resulta extraño pensar que un reembolso depende del color de un botón durante la incorporación del usuario. Además, el botón verde encaja mejor en el sistema de diseño.

Aquí no hay una respuesta inequívoca: hay que sopesar los factores. El argumento habitual del sector es este: un profesional tiene experiencia y criterio, contrastará todo y decidirá, mientras que el modelo solo ayuda. La persona en el circuito funciona como salvaguarda.

Cómo lo comprobó Anthropic

El equipo de Anthropic decidió medirlo en lugar de discutirlo. En el experimento participaron 50 expertos. Cada uno analizó junto a Claude una situación compleja relacionada con agricultores y presentó una conclusión final.

La clave del diseño: una moneda al aire determinaba qué postura recomendaría el agente. Es decir, la orientación de la recomendación no dependía de los hechos, sino del azar. Los participantes no lo sabían. Si los expertos aplicaban su propio criterio, sus conclusiones no deberían haber coincidido tanto con el consejo recibido.

Estas son las cifras que recoge el relato del estudio:

• El 86% dio la recomendación final hacia la que lo había orientado el agente;
• el 60% coincidió con la IA en las cuatro de cuatro decisiones clave. Por puro azar, esa coincidencia habría sido del 6,25%;
• el 77% repitió el razonamiento del agente en su explicación;
• el 15% reconoció de dónde lo había sacado.

Esta última cifra es quizá la más reveladora. Los participantes no solo eligieron la misma opción: incorporaron a sus informes argumentos ajenos como si fueran propios, y casi nadie lo advirtió.

Qué significa esto en la práctica

Primero: decir que «hay una persona en el proceso» no garantiza nada por sí solo. Si un experto ve la recomendación del modelo antes de formarse una opinión, lo más probable es que se convierta en una prolongación de ella en lugar de ejercer una verificación independiente. Es el efecto de anclaje, solo que ahora el ancla se expresa con un texto convincente y coherente.

Segundo: si estás desarrollando un producto con supervisión humana, diseña esa supervisión de forma deliberada. De la lógica del experimento se desprenden algunas ideas:

• pedir a la persona que anote su opinión antes de mostrarle la respuesta del modelo;
• introducir de vez en cuando consejos deliberadamente opuestos o incorrectos y comprobar si los detecta;
• medir la proporción de casos en los que la persona rechaza la recomendación. Si se acerca a cero, es motivo de preocupación, no un indicador de la calidad del modelo;
• separar los roles: un modelo o una persona propone, y otro evalúa a ciegas.

Tercero: para responsables de producto y fundadores, es una cuestión de responsabilidad. «La decisión la tomó un experto» suena tranquilizador, pero si el experto sigue al agente en el 86% de los casos, la decisión real la tomó el modelo y la persona se limitó a firmarla.

Limitaciones

Se trata de un único experimento con 50 participantes y una tarea concreta sobre agricultores. Sus cifras no se pueden trasladar directamente a la revisión de código, la medicina o las pruebas A/B. Tampoco está claro hasta qué punto el resultado depende de la interfaz, la motivación y el tiempo del que disponían los participantes. Además, la propia Anthropic tiene intereses en el ámbito de la supervisión de agentes, por lo que conviene leer el estudio original y no solo el relato.

Aun así, la señal es relevante. La cuestión ya no es si hace falta una persona. Es si esa persona realmente está pensando y cómo comprobarlo. Mientras no haya una respuesta a la segunda pregunta, la supervisión humana seguirá siendo más un ritual que una salvaguarda.