100 повторов ChatGPT снижают ошибку замера видимости сайта до ±10 пунктов

Вчера ChatGPT сослался на ваш сайт, сегодня на тот же вопрос ссылки нет. Это ещё не означает, что сайт потерял позиции. Ответы поисковых ИИ меняются от запуска к запуску: модель переформулирует исходный вопрос, отправляет несколько внутренних поисковых запросов, получает разные страницы и уже из них собирает ответ.

Поэтому один прогон даёт лишь «да» или «нет». Он не показывает, насколько часто сайт появляется в ответах. Для разработчика аналитики, продуктовой команды или владельца бизнеса полезнее другая метрика: доля повторов, в которых домен оказался среди источников, вместе с диапазоном статистической неопределённости.

Один ответ ничего не измеряет

Представим, что сайт в действительности появляется в 30% ответов. В любом отдельном запуске вероятность не увидеть его равна 70%. Ссылка могла быть вчера и исчезнуть сегодня без каких-либо изменений на сайте, в модели или в поисковом индексе.

Чтобы получить число, один и тот же вопрос нужно задать многократно в одинаковых условиях. Если домен встретился в 6 ответах из 20, наблюдаемая видимость равна 30%. Но выборка маленькая: 95-процентный интервал Уилсона составит примерно от 15% до 52%. Иными словами, результат пока совместим как с редким появлением сайта, так и с попаданием почти в каждый второй ответ.

При 30 попаданиях из 100 доля останется той же — 30%, — однако интервал сузится примерно до 22–40%. Такой замер уже заметно полезнее для сравнения периодов и проверки гипотез.

Интервал Уилсона здесь удобнее простой формулы «доля плюс-минус стандартная ошибка». На небольших выборках и при редких попаданиях простая формула способна выдать бессмысленную отрицательную нижнюю границу. Интервал Уилсона остаётся внутри диапазона от 0% до 100% и лучше ведёт себя при малом числе наблюдений.

Сколько запусков потребуется

Число повторов зависит от допустимой ошибки. При доверии 95% консервативная оценка даёт около 25 запусков для ошибки ±20 процентных пунктов, 43 — для ±15 пунктов, 97 — для ±10 пунктов и 385 — для ±5 пунктов. Расчёт предполагает долю 50%, при которой нужна самая большая выборка; для редкого появления сайта фактический интервал может оказаться уже.

Практический компромисс — 60–100 повторов на каждый важный вопрос. Сто запусков дают ошибку примерно ±10 пунктов в худшем случае. Если прогонов меньше 25, отчёт годится скорее для разведки, чем для уверенного вывода о росте или падении.

Перед запуском нужно дословно зафиксировать вопрос, регион, состояние памяти, модель и критерий попадания. Отдельно решите, считаете ли вы только видимую пользователю ссылку или любую страницу, которую система просмотрела при поиске. Менять критерий между замерами нельзя.

API и чат показывают разные вещи

Замер через API не обязательно отражает то, что видит человек в интерфейсе ChatGPT. API может вернуть полный список просмотренных страниц, тогда как в чате показывается лишь часть цитат. Кроме того, модель иногда решает вообще не обращаться к поиску. Если такой ответ записывать как промах, это допустимо, но правило должно быть одинаковым во всех сериях.

Поэтому отчёт обязан указывать канал измерения. Долю, полученную по внутренним источникам API, нельзя без оговорок называть пользовательской видимостью в ChatGPT.

Сравнивать два периода только по пересечению или непересечению отдельных интервалов тоже недостаточно: это удобная грубая проверка, но не полноценный тест разницы долей. Для важного решения лучше сохранить исходные результаты и применить статистический тест, учитывающий две выборки.

Практический минимум отчёта прост: точный вопрос, условия запуска, число повторов, число попаданий, доля и 95-процентный интервал. Если подрядчик показывает один удачный ответ или одну итоговую цифру без размера выборки, это демонстрация, а не измерение.