ID-TAP подбирает персону для LLM-агента за десять парных сравнений

Персонализация LLM-агента упирается в простую проблему: пользователь не хочет заполнять анкеты и объяснять, как именно ему отвечать. Зато выбрать лучший из двух ответов он готов. Авторы новой работы построили на этом сигнале целый фреймворк ID-TAP. Он за фиксированные десять раундов парных сравнений находит подходящую персону в большом дискретном наборе и учитывает, что предпочтения зависят от самого запроса. На семи бенчмарках генерации с учётом пользователя ID-TAP показал лучший совокупный результат среди оцениваемых базовых методов.

Задача: выбрать персону, когда обратной связи почти нет

Под персоной здесь понимается стиль и позиция, в которых агент отвечает: тон, уровень детализации, манера подачи. Кандидатов может быть много, и перебрать их все в живом диалоге нереально. Каждый раунд требует от человека внимания, поэтому бюджет жёсткий: десять сравнений.

Авторы формулируют это как задачу дуэльных бандитов (dueling bandits). Агент показывает два ответа, сгенерированных в разных персонах, получает бинарный выбор и обновляет представление о предпочтениях. Сложность в том, что хорошая персона для вопроса про рецепт борща может быть плохой для вопроса про налоговый вычет. Статичный «профиль пользователя» тут не работает, оценка должна зависеть от запроса.

Как ID-TAP решает, кого поставить против текущего лидера

В основе подхода идея information-directed sampling (IDS): выбирать действие не по максимальной ожидаемой награде, а по балансу между ожидаемой пользой и объёмом информации, который оно даёт. В дуэльной постановке это превращается в выбор «претендента» против текущего лидера.

У ID-TAP два рабочих компонента:

• нейросетевая модель полезности, зависящая от запроса: она делит статистическую силу между разными запросами, но сохраняет отдельные оценки для каждого из них;
• лёгкий эксплорер на модели Брэдли—Терри: быстро обновляется и оценивает гипотетических претендентов, то есть прикидывает, что дало бы очередное сравнение.

Третий элемент отвечает за перенос знаний. Сравнения, накопленные на одних запросах, передаются связанным запросам через warm start с весами по сходству. Новый запрос не начинается с нуля, если система уже видела похожие.

Что показала проверка

Оценка шла на семи бенчмарках генерации, где ответ должен учитывать пользователя. Предпочтения имитировали двумя способами: по референсным ответам и с помощью модели-судьи. Это стандартный приём для онлайн-обучения по сравнениям, потому что гонять живых людей на каждый запуск дорого. Побочный эффект тоже понятен: симулятор остаётся симулятором, и реальное поведение людей может отличаться.

Ключевые параметры эксперимента:

• сигнал: бинарное сравнение двух ответов;
• бюджет: десять раундов сравнения;
• пространство: большой дискретный набор персон;
• набор тестов: семь бенчмарков с условием на пользователя;
• результат: лучшая агрегированная метрика среди оценённых базовых методов.

Авторы формулируют вывод осторожно: выбор претендента по информативности работает как схема для адаптации персоны на этапе вывода. Громких заявлений о превосходстве над всем рынком в работе нет, и это честная рамка.

Где это пригодится на практике

Тест-тайм-персонализация интересна тем, что не требует дообучения модели. Базовая LLM остаётся замороженной, меняется только то, какую персону она примет для конкретного запроса. Для продуктовых команд это дешёвый путь: адаптация идёт внутри сессии, а данные пользователя не нужно превращать в обучающую выборку.

Самое прямое применение — ассистенты и агенты, где пользователь уже привык выбирать между двумя вариантами ответа. Кнопки «этот лучше» встречаются в чат-интерфейсах давно, и ID-TAP даёт способ использовать их не только для сбора разметки, но и для немедленной подстройки.

Перед внедрением стоит проверить три вещи. Во-первых, насколько симуляторы предпочтений совпадают с реальными людьми в вашем домене. Во-вторых, как ведёт себя метод, когда пользователь противоречит сам себе: парные выборы шумные. В-третьих, во сколько обойдётся генерация двух ответов на каждом раунде, ведь десять сравнений означают минимум двадцать генераций на запрос. Если эти вопросы закрыты, схема выглядит рабочим кандидатом для персонализации без дообучения.