ID-TAP encontra a persona ideal para um agente LLM em dez comparações pareadas

A personalização de um agente LLM esbarra em um problema simples: o usuário não quer preencher formulários nem explicar como deseja ser respondido. Escolher a melhor de duas respostas, por outro lado, ele topa fazer. Os autores de um novo trabalho construíram em cima desse sinal um framework completo, o ID-TAP. Em um número fixo de dez rodadas de comparações pareadas, ele encontra uma persona adequada em um grande conjunto discreto e leva em conta que as preferências dependem da própria consulta. Em sete benchmarks de geração com condicionamento ao usuário, o ID-TAP teve o melhor resultado agregado entre os métodos de base avaliados.

O desafio: escolher uma persona quase sem feedback

Aqui, persona é o estilo e a postura com que o agente responde: tom, nível de detalhe, forma de apresentação. Os candidatos podem ser muitos, e testar todos em uma conversa real é inviável. Cada rodada exige atenção da pessoa, então o orçamento é rígido: dez comparações.

Os autores formulam o problema como um caso de dueling bandits (bandits em duelo). O agente mostra duas respostas geradas com personas diferentes, recebe uma escolha binária e atualiza sua noção das preferências. A dificuldade é que a persona boa para uma pergunta sobre receita de borscht pode ser ruim para uma pergunta sobre dedução de imposto. Um "perfil de usuário" estático não funciona nesse cenário: a avaliação precisa depender da consulta.

Como o ID-TAP decide quem enfrentará o líder atual

A base da abordagem é a ideia de information-directed sampling (IDS): escolher a ação não pela maior recompensa esperada, mas pelo equilíbrio entre o benefício esperado e a quantidade de informação que ela fornece. No formato de duelo, isso se traduz na escolha de um "desafiante" contra o líder atual.

O ID-TAP tem dois componentes principais:

• um modelo neural de utilidade que depende da consulta: ele compartilha poder estatístico entre consultas diferentes, mas mantém estimativas separadas para cada uma;
• um explorador leve baseado no modelo de Bradley—Terry: ele se atualiza rapidamente e avalia desafiantes hipotéticos, ou seja, estima o que a próxima comparação revelaria.

Um terceiro elemento cuida da transferência de conhecimento. As comparações acumuladas em algumas consultas são repassadas a consultas relacionadas por meio de warm start, com pesos de acordo com a similaridade. Uma consulta nova não começa do zero se o sistema já viu outras parecidas.

O que a avaliação mostrou

A avaliação foi feita em sete benchmarks de geração em que a resposta deve levar o usuário em conta. As preferências foram simuladas de duas formas: com base em respostas de referência e com um modelo juiz. Essa é uma prática comum no aprendizado online por comparações, porque colocar pessoas reais em cada execução sai caro. O efeito colateral também é claro: simulador continua sendo simulador, e o comportamento real das pessoas pode ser diferente.

Principais parâmetros do experimento:

• sinal: comparação binária entre duas respostas;
• orçamento: dez rodadas de comparação;
• espaço: um grande conjunto discreto de personas;
• conjunto de testes: sete benchmarks com condicionamento ao usuário;
• resultado: melhor métrica agregada entre os métodos de base avaliados.

Os autores são cautelosos na conclusão: escolher o desafiante pela informatividade funciona como um esquema de adaptação de persona no momento da inferência. O trabalho não faz afirmações bombásticas de superioridade sobre todo o mercado, e esse é um enquadramento honesto.

Onde isso pode ser útil na prática

A personalização em tempo de teste é interessante porque não exige ajuste fino do modelo. O LLM base permanece congelado; muda apenas a persona que ele assume para cada consulta. Para equipes de produto, é um caminho barato: a adaptação acontece dentro da sessão, e os dados do usuário não precisam virar conjunto de treinamento.

A aplicação mais direta são assistentes e agentes em que o usuário já está acostumado a escolher entre duas opções de resposta. Botões do tipo "esta é melhor" existem há tempos em interfaces de chat, e o ID-TAP oferece uma forma de usá-los não só para coletar anotações, mas também para um ajuste imediato.

Antes de adotar, vale verificar três pontos. Primeiro, o quanto os simuladores de preferência coincidem com pessoas reais no seu domínio. Segundo, como o método se comporta quando o usuário se contradiz: escolhas pareadas são ruidosas. Terceiro, quanto custará gerar duas respostas a cada rodada, já que dez comparações significam no mínimo vinte gerações por consulta. Se essas questões estiverem resolvidas, o esquema parece um candidato viável para personalização sem ajuste fino.