Ocho LLM pierden un 35–46% de calibración de estrategia en la generación libre

Investigadores de Meta Superintelligence Labs y la University of Southern California evaluaron ocho modelos de lenguaje, cerrados y abiertos, en una habilidad que necesita cualquier chatbot con memoria. Un asistente puede recordar correctamente que al usuario le gusta lo salado y seguir mencionándolo, aunque el usuario ya haya contado que ahora prefiere lo dulce. Los autores llaman a esta capacidad personalización adaptativa bajo incertidumbre epistémica: la estrategia de respuesta debe cambiar según la fiabilidad de la preferencia almacenada.

Para medirla utilizan la calibración de estrategia, es decir, la proporción de respuestas en las que el modelo elige o genera una táctica admisible para el estado actual de la preferencia. Cuando los modelos eligen entre opciones predefinidas, rinden bien. En la generación libre, la calibración de estrategia cae un 35–46%.

Los autores lo describen como una brecha entre reconocimiento y generación.

Tres estados de la preferencia y cinco estrategias

Los autores distinguen tres estados en los que puede encontrarse el conocimiento sobre el usuario. La preferencia está establecida (se ha expresado de forma explícita y no ha sido refutada), es incierta (el contexto es incompleto o ambiguo) o ha sido revisada (información nueva anula la anterior). Cada estado exige un comportamiento distinto: actuar directamente, preguntar por lo que falta o corregir el rumbo.

El conjunto incluye cinco estrategias: actuar según la preferencia conocida, solicitar la información que falta, volver a comprobar si la preferencia sigue vigente, ofrecer opciones sin imponer una elección y actualizar el comportamiento tras una refutación.

Antes de construir el test, el equipo realizó una encuesta en inglés, español, portugués, hindi e indonesio. Tres anotadores evaluaron cada uno de los 500 diálogos, lo que dio unas 1500 valoraciones en total. En cada estado, una amplia mayoría de las personas elegía un conjunto reducido de estrategias. Para comprobarlo, los autores probaron las 15 formas de dividir las cinco estrategias en dos grupos y compararon cada división con la elección de los humanos mediante una prueba de bondad de ajuste. En cada estado, una división encajó mejor que las demás. Esa división se convirtió en la lista de estrategias admisibles.

Cómo está construido el benchmark

El test se montó con un pipeline de tres roles basado en varios LLM. La base fueron 250 personas de PersonaHub, seleccionadas con farthest-point sampling (selección de los puntos más distantes entre sí). A cada persona se le añadieron preferencias de 20 ámbitos de la vida. Después se planificaron diálogos de entre 10 y 14 sesiones, con transiciones programadas de la preferencia entre los tres estados. Un modelo filtro independiente comprobaba la coherencia del diálogo y la corrección de las etiquetas.

El resultado son 25 006 turnos en 2 939 diálogos de varias sesiones en cinco idiomas. Cada turno incluye cuatro candidatos: dos con estrategias admisibles y dos «trampa». Las trampas se reparten en siete tipos de error: personalización excesiva, extralimitación epistémica, obsolescencia, desajuste con la necesidad, exceso de preguntas, desajuste de estilo y ausencia de las preguntas necesarias.

El benchmark también se validó con personas. Los anotadores evaluaron 500 diálogos según cinco criterios: coherencia, claridad del estado epistémico, corrección de la etiqueta de estrategia, tipo de trampa y aceptabilidad de la respuesta. El acuerdo entre los anotadores y el jurado de LLM fue sustancial. La precisión de los humanos al elegir la respuesta admisible entre las opciones fue del 92%.

Por qué fallan los modelos y qué ayuda

El error es sistemático. Por defecto, los modelos siguen el principio de «usar primero lo conocido»: se apoyan demasiado en las preferencias anteriores, sin importar lo fiables que sean. Sin embargo, en el test de elección de respuesta suelen identificar correctamente la estrategia adecuada.

Los autores comprobaron si se podía corregir esto con instrucciones. Incluir el contexto de las preferencias en el prompt no cerró la brecha. El sondeo de las activaciones internas mostró que los modelos codifican el estado epistémico en sus representaciones ocultas. Pero ese conocimiento no guía la elección de estrategia durante la generación.

Entonces los investigadores entrenaron los modelos con una función de recompensa que acerca la estrategia de respuesta predicha a la elección de los humanos para ese estado de la preferencia. Este entrenamiento redujo en un tercio la brecha de aceptabilidad para personas nuevas y estilos de diálogo desconocidos. El resultado es en comparación con el ajuste fino estándar.

La conclusión práctica para quienes desarrollan asistentes con memoria a largo plazo: una buena búsqueda en el historial no basta. Hay que comprobar por separado si el sistema sabe repreguntar, volver a verificar o cambiar de táctica cuando los datos sobre el usuario han quedado obsoletos. El código del proyecto está publicado en GitHub.