Le contexte de la conversation modifie de plus de moitié les listes de CRM proposées par les IA

Demandez à une IA quel CRM choisir pour une entreprise russe, et vous obtiendrez une liste de produits familiers. Ajoutez avant la même question deux phrases sur la taille de l'équipe commerciale ou sur une vente au cycle long : la liste change nettement. Et si l'on cite d'emblée une marque précise, elle a de fortes chances d'apparaître aussi dans la réponse finale.

Cela semble évident, jusqu'à ce que les entreprises commencent à mesurer leur « visibilité dans l'IA » avec un seul chiffre. Les réponses sans indice et celles obtenues après avoir évoqué la marque se retrouvent alors souvent mélangées dans un même rapport. Le pilote mené par Andreï Kroujkov, dirigeant de Pragmatix Digital, montre pourquoi ce mélange fausse le résultat.

Une question, cinq préambules différents

L'expérience a porté sur ChatGPT, Perplexity et Alice AI. La même question était posée à chaque système : quels CRM envisagerait-il pour une entreprise en Russie. Seul le préambule de la conversation changeait.

Dans le scénario de contrôle, la question était posée directement. Dans les autres conversations, on décrivait d'abord une petite entreprise B2B, un long cycle de vente, on mentionnait BPMSoft, ou l'on commençait par discuter des CRM proposés par l'IA elle-même. Chaque scénario a été répété trois fois pour chaque système, soit 45 conversations au total.

Pour comparer les listes, l'auteur a utilisé l'indice de Jaccard : la part de produits communs parmi tous les CRM uniques présents dans deux réponses. Si les listes sont identiques, le résultat est de 100 %.

Sans préambule, les réponses d'un même système étaient relativement stables : la similarité entre les trois sélections de contrôle était de 83 % pour ChatGPT, 91 % pour Perplexity et 67 % pour Alice. Mais après la description de l'entreprise, la composition changeait davantage. Pour le scénario de la petite équipe, la similarité avec le contrôle tombait à 48 % pour ChatGPT, 23 % pour Perplexity et 51 % pour Alice. La description d'une vente longue donnait respectivement 62 %, 59 % et 46 %.

Un exemple simple : l'utilisateur ne modifiait pas la question sur le CRM elle-même, mais indiquait auparavant que l'équipe commerciale comptait huit personnes et qu'une implémentation complexe n'était pas souhaitable. Cela a suffi pour que ChatGPT et Perplexity remanient la sélection plus profondément que ne le fait la dispersion habituelle entre réponses répétées.

La mention d'une marque change le sens de la métrique

Le résultat le plus parlant est apparu dans le scénario BPMSoft. L'utilisateur disait d'abord qu'un collègue avait mentionné ce produit, demandait ensuite d'examiner le marché plus largement, et ne posait qu'après cela la question générale sur les CRM.

BPMSoft figurait dans les neuf sélections finales : trois réponses pour chaque IA. Chez ChatGPT, le produit arrivait en premier dans l'énumération dans les trois cas, alors que dans les réponses de contrôle cette place était occupée par Bitrix24. La fréquence d'apparition de BPMSoft est passée de deux à trois cas chez ChatGPT et d'un à trois chez Alice ; chez Perplexity, elle n'a pas changé.

Mais on ne peut y voir la preuve d'une forte visibilité autonome de la marque. Le nom figurait déjà dans le contexte, et dans l'une des conversations, ChatGPT a même expliqué ce qu'est BPMSoft et discuté du marché du BPM et du low-code. L'expérience mesurait la réaction de toute la conversation, et non seulement celle de la dernière question.

D'où une distinction importante. La première métrique répond à la question : le modèle citera-t-il le produit sans indice, pour une requête générale ? La seconde montre s'il conservera dans sa recommandation finale un produit déjà mentionné. Ce sont deux tâches différentes, et les fusionner en un seul indicateur est dangereux.

Comment mener ces vérifications

Pour une mesure GEO exploitable, il faut fixer à l'avance le scénario, le modèle, le mode de recherche, les formulations, les règles d'annotation et le nombre de répétitions. Il faut conserver la conversation entière : les réponses intermédiaires influencent aussi les résultats suivants. Il convient de tester séparément une nouvelle conversation sans historique et un échange où la marque a déjà été nommée.

Le pilote a ses limites. Chaque scénario n'a compté que trois exécutions, toutes réalisées le même jour. La dispersion d'un jour à l'autre n'a pas été vérifiée, et l'influence du contenu des exigences et de leur mode de présentation n'a pas été dissociée. Dans une des exécutions de ChatGPT, le mode de recherche web différait même. Les chiffres indiquent donc la direction de l'effet, mais pas son ampleur stable.

La conclusion pratique pour les équipes produit et marketing est simple : le contexte fait partie du test, il n'en est pas la toile de fond. Si on ne le conserve pas avec la réponse, le rapport de visibilité de marque devient un mélange de recommandations autonomes, d'indices fournis par l'utilisateur et de dispersion aléatoire du modèle.