Контекст диалога меняет списки CRM у нейросетей более чем наполовину

Спросите нейросеть, какую CRM выбрать для российской компании, — и получите список знакомых продуктов. Добавьте перед тем же вопросом пару фраз о размере отдела продаж или длинной сделке — список заметно изменится. А если заранее назвать конкретный бренд, он с большой вероятностью появится и в финальном ответе.

Это кажется очевидным, пока компании не начинают измерять свою «видимость в ИИ» одним числом. Тогда ответы без подсказки и ответы после обсуждения бренда нередко попадают в общий отчет. Пилот руководителя Pragmatix Digital Андрея Кружкова показывает, почему такое смешение искажает результат.

Один вопрос, пять разных предысторий

В эксперименте участвовали ChatGPT, Perplexity и Алиса AI. Каждой системе задавали один и тот же вопрос: какие CRM она рассматривала бы для компании в России. Менялась только предыстория разговора.

В контрольном сценарии вопрос задавали сразу. В других чатах перед ним описывали небольшую B2B-компанию, длинный цикл сделки, упоминали BPMSoft либо сначала обсуждали CRM, предложенные самой нейросетью. Каждый сценарий повторили трижды для каждой системы — всего получилось 45 диалогов.

Для сравнения списков автор использовал коэффициент Жаккара: долю общих продуктов среди всех уникальных CRM в двух ответах. Если списки совпадают полностью, результат равен 100%.

Без предыстории ответы одной системы были сравнительно устойчивыми: сходство трех контрольных подборок составило 83% у ChatGPT, 91% у Perplexity и 67% у Алисы. Но после описания компании состав менялся заметнее. Для сценария с небольшой командой сходство с контролем упало до 48% у ChatGPT, 23% у Perplexity и 51% у Алисы. Описание длинной сделки дало соответственно 62%, 59% и 46%.

Простой пример: пользователь не менял сам вопрос о CRM, а лишь сообщал раньше, что в продажах работают восемь человек и сложное внедрение нежелательно. Этого оказалось достаточно, чтобы ChatGPT и Perplexity сильнее перестроили подборку, чем при обычном разбросе между повторными ответами.

Упоминание бренда меняет смысл метрики

Самый наглядный результат появился в сценарии с BPMSoft. Пользователь сначала говорил, что коллега упоминал этот продукт, затем просил посмотреть рынок шире и только после этого задавал общий вопрос о CRM.

BPMSoft вошла во все девять итоговых подборок: по три ответа каждой нейросети. У ChatGPT продукт во всех трех случаях оказался первым в перечислении, хотя в контрольных ответах эту позицию занимал Битрикс24. Частота появления BPMSoft выросла с двух до трех случаев у ChatGPT и с одного до трех у Алисы; у Perplexity она не изменилась.

Но считать это доказательством высокой самостоятельной видимости бренда нельзя. Название уже находилось в контексте, а в одном из диалогов ChatGPT успел объяснить, что такое BPMSoft, и обсудить рынок BPM и low-code. Эксперимент измерял реакцию всей беседы, а не только последнего вопроса.

Отсюда важное разделение. Первая метрика отвечает на вопрос: назовет ли модель продукт без подсказки при общем запросе. Вторая показывает, сохранит ли она уже упомянутый продукт в итоговой рекомендации. Это разные задачи, и объединять их в один показатель опасно.

Как проводить такие проверки

Для рабочего GEO-замера нужно заранее зафиксировать сценарий, модель, режим поиска, формулировки, правила разметки и число повторов. Следует сохранять весь диалог: промежуточные ответы тоже влияют на дальнейшую выдачу. Отдельно стоит тестировать новый чат без истории и разговор, где бренд уже назывался.

У пилота есть ограничения. На каждый сценарий пришлось только три запуска, все они прошли за один день. Междневный разброс не проверялся, а влияние содержания требований и способа их подачи не разделялось. В одном запуске ChatGPT отличался даже режим веб-поиска. Поэтому числа показывают направление эффекта, но не его устойчивый масштаб.

Практический вывод для продуктовых и маркетинговых команд простой: контекст — часть теста, а не фон. Если не хранить его вместе с ответом, отчет о видимости бренда превращается в смесь самостоятельных рекомендаций, пользовательских подсказок и случайного разброса модели.