100 répétitions dans ChatGPT réduisent l’erreur de mesure de la visibilité d’un site à ±10 points

Hier, ChatGPT citait votre site ; aujourd’hui, aucune référence n’apparaît pour la même question. Cela ne signifie pas encore que le site a perdu des positions. Les réponses des moteurs de recherche fondés sur l’IA varient d’une exécution à l’autre : le modèle reformule la question initiale, lance plusieurs requêtes de recherche internes, obtient des pages différentes, puis compose sa réponse à partir de celles-ci.

Une seule exécution ne produit donc qu’un « oui » ou un « non ». Elle n’indique pas à quelle fréquence le site apparaît dans les réponses. Pour un développeur d’outils analytiques, une équipe produit ou un dirigeant d’entreprise, une autre métrique est plus utile : la proportion de répétitions au cours desquelles le domaine figure parmi les sources, accompagnée d’une plage d’incertitude statistique.

Une seule réponse ne mesure rien

Supposons qu’un site apparaisse réellement dans 30 % des réponses. Lors de toute exécution isolée, la probabilité de ne pas le voir est de 70 %. Le lien peut donc être présent hier et disparaître aujourd’hui sans qu’aucun changement n’ait eu lieu sur le site, dans le modèle ou dans l’index de recherche.

Pour obtenir une valeur chiffrée, il faut poser plusieurs fois exactement la même question dans des conditions identiques. Si le domaine apparaît dans 6 réponses sur 20, la visibilité observée est de 30 %. Mais l’échantillon est petit : l’intervalle de Wilson à 95 % s’étend approximativement de 15 % à 52 %. Autrement dit, le résultat reste compatible aussi bien avec une apparition rare du site qu’avec sa présence dans presque une réponse sur deux.

Avec 30 détections sur 100, la proportion reste la même — 30 % —, mais l’intervalle se resserre pour atteindre environ 22–40 %. Une telle mesure devient nettement plus utile pour comparer des périodes et tester des hypothèses.

L’intervalle de Wilson est ici plus pratique que la formule simple « proportion plus ou moins erreur standard ». Avec de petits échantillons et des détections rares, cette formule simple peut produire une borne inférieure négative, dénuée de sens. L’intervalle de Wilson reste compris entre 0 % et 100 % et se comporte mieux avec un faible nombre d’observations.

Combien d’exécutions sont nécessaires

Le nombre de répétitions dépend de la marge d’erreur acceptable. Avec un niveau de confiance de 95 %, une estimation prudente donne environ 25 exécutions pour une erreur de ±20 points de pourcentage, 43 pour ±15 points, 97 pour ±10 points et 385 pour ±5 points. Le calcul suppose une proportion de 50 %, qui exige le plus grand échantillon ; lorsque le site apparaît rarement, l’intervalle réel peut être plus étroit.

Un compromis pratique consiste à effectuer 60–100 répétitions pour chaque question importante. Cent exécutions donnent, dans le pire des cas, une erreur d’environ ±10 points. Avec moins de 25 exécutions, le rapport relève davantage de l’exploration que d’une conclusion fiable sur une hausse ou une baisse.

Avant le lancement, il faut consigner mot pour mot la question, la région, l’état de la mémoire, le modèle et le critère de détection. Il convient aussi de décider séparément si seule une référence visible par l’utilisateur est comptabilisée ou si toute page consultée par le système pendant la recherche est prise en compte. Le critère ne doit pas changer entre deux mesures.

L’API et le chat montrent des réalités différentes

Une mesure réalisée par l’API ne reflète pas nécessairement ce qu’une personne voit dans l’interface de ChatGPT. L’API peut renvoyer la liste complète des pages consultées, tandis que le chat n’affiche qu’une partie des citations. En outre, le modèle décide parfois de ne pas lancer de recherche du tout. Il est possible de comptabiliser une telle réponse comme un échec, mais la règle doit rester identique dans toutes les séries.

Le rapport doit donc préciser le canal de mesure. Une proportion calculée à partir des sources internes de l’API ne peut pas être qualifiée sans réserve de visibilité auprès des utilisateurs dans ChatGPT.

Comparer deux périodes uniquement selon que leurs intervalles distincts se chevauchent ou non ne suffit pas non plus : c’est un contrôle approximatif pratique, mais pas un véritable test de différence entre deux proportions. Pour une décision importante, mieux vaut conserver les résultats bruts et appliquer un test statistique tenant compte des deux échantillons.

Le contenu minimal d’un rapport est simple : la question exacte, les conditions d’exécution, le nombre de répétitions, le nombre de détections, la proportion et l’intervalle à 95 %. Si un prestataire présente une seule réponse favorable ou un chiffre final sans indiquer la taille de l’échantillon, il s’agit d’une démonstration, pas d’une mesure.