ID-TAP elige la persona de un agente LLM en diez comparaciones por pares

La personalización de un agente LLM choca con un problema sencillo: el usuario no quiere rellenar formularios ni explicar cómo debe responderle el agente. Lo que sí está dispuesto a hacer es elegir la mejor de dos respuestas. Los autores de un nuevo trabajo han construido sobre esa señal un framework completo, ID-TAP. En diez rondas fijas de comparaciones por pares, encuentra una persona adecuada dentro de un conjunto discreto y grande, y tiene en cuenta que las preferencias dependen de la propia consulta. En siete benchmarks de generación con conocimiento del usuario, ID-TAP obtuvo el mejor resultado agregado entre los métodos base evaluados.

El problema: elegir una persona cuando casi no hay retroalimentación

Por persona se entiende aquí el estilo y la postura con los que responde el agente: el tono, el nivel de detalle, la forma de presentar la información. Los candidatos pueden ser muchos y probarlos todos en un diálogo real es inviable. Cada ronda exige atención por parte de la persona, así que el presupuesto es estricto: diez comparaciones.

Los autores plantean la tarea como un problema de bandidos duelistas (dueling bandits). El agente muestra dos respuestas generadas con personas distintas, recibe una elección binaria y actualiza su representación de las preferencias. La dificultad está en que una buena persona para una pregunta sobre la receta del borscht puede ser mala para una pregunta sobre una deducción fiscal. Un «perfil de usuario» estático no sirve en este caso: la evaluación debe depender de la consulta.

Cómo decide ID-TAP a quién enfrentar al líder actual

El enfoque se basa en la idea de information-directed sampling (IDS): elegir la acción no por la máxima recompensa esperada, sino por el equilibrio entre el beneficio esperado y la cantidad de información que aporta. En el planteamiento de duelos, esto se traduce en escoger un «retador» frente al líder actual.

ID-TAP tiene dos componentes de trabajo:

• un modelo neuronal de utilidad que depende de la consulta: comparte potencia estadística entre consultas distintas, pero mantiene estimaciones separadas para cada una;
• un explorador ligero basado en el modelo de Bradley-Terry: se actualiza con rapidez y evalúa retadores hipotéticos, es decir, calcula qué aportaría la siguiente comparación.

Un tercer elemento se encarga de transferir conocimiento. Las comparaciones acumuladas en unas consultas se pasan a las consultas relacionadas mediante warm start con pesos de similitud. Una consulta nueva no parte de cero si el sistema ya ha visto otras parecidas.

Qué mostró la validación

La evaluación se hizo en siete benchmarks de generación en los que la respuesta debe tener en cuenta al usuario. Las preferencias se simularon de dos maneras: a partir de respuestas de referencia y con un modelo juez. Es un recurso habitual en el aprendizaje en línea a partir de comparaciones, porque hacer participar a personas reales en cada ejecución es caro. El efecto secundario también está claro: un simulador sigue siendo un simulador, y el comportamiento real de las personas puede ser distinto.

Parámetros clave del experimento:

• señal: comparación binaria de dos respuestas;
• presupuesto: diez rondas de comparación;
• espacio: un conjunto discreto y grande de personas;
• conjunto de pruebas: siete benchmarks condicionados al usuario;
• resultado: la mejor métrica agregada entre los métodos base evaluados.

Los autores formulan su conclusión con cautela: elegir al retador según su capacidad informativa funciona como esquema para adaptar la persona en tiempo de inferencia. El trabajo no hace afirmaciones grandilocuentes de superioridad sobre todo el mercado, y es un planteamiento honesto.

Dónde puede resultar útil en la práctica

La personalización en tiempo de prueba resulta interesante porque no requiere reentrenar el modelo. La LLM base permanece congelada y solo cambia la persona que adopta para cada consulta. Para los equipos de producto, es un camino barato: la adaptación ocurre dentro de la sesión y los datos del usuario no hay que convertirlos en un conjunto de entrenamiento.

La aplicación más directa son los asistentes y agentes en los que el usuario ya está acostumbrado a elegir entre dos variantes de respuesta. Los botones de «esta es mejor» llevan tiempo en las interfaces de chat, y ID-TAP ofrece una forma de usarlos no solo para recopilar anotaciones, sino también para ajustar el comportamiento de inmediato.

Antes de implantarlo conviene comprobar tres cosas. Primero, hasta qué punto los simuladores de preferencias coinciden con las personas reales en su dominio. Segundo, cómo se comporta el método cuando el usuario se contradice a sí mismo: las elecciones por pares son ruidosas. Tercero, cuánto costará generar dos respuestas en cada ronda, ya que diez comparaciones suponen al menos veinte generaciones por consulta. Si esas cuestiones quedan resueltas, el esquema parece un candidato viable para personalizar sin reentrenamiento.