La vérification des faits a épargné à une entreprise jusqu'à 100 000 $ de budget publicitaire

Une réponse convaincante d'un réseau de neurones se confond facilement avec une analyse — surtout lorsqu'elle confirme l'hypothèse d'un collaborateur. Dans le cas de Kumar & Solo, c'est ainsi qu'une décision marketing coûteuse a failli voir le jour : la hausse du coût d'acquisition client a été attribuée à un renchérissement saisonnier des enchères publicitaires, et Claude a soutenu cette hypothèse. L'équipe discutait déjà d'une augmentation du budget Google Ads, mais une vérification distincte n'a trouvé aucune preuve solide d'un pic saisonnier.

Les auteurs affirment que l'arrêt de cette décision a préservé jusqu'à 100 000 $ de budget publicitaire et potentiellement environ 400 000 $ de chiffre d'affaires. Ces montants ne peuvent pas être considérés comme confirmés de manière indépendante : la publication ne contient ni exports des comptes publicitaires, ni évolution du CAC, ni structure d'attribution, ni calcul du chiffre d'affaires manqué. Mais le mécanisme de l'erreur est familier à toute équipe produit : une personne avance une cause plausible, le modèle la développe en une explication cohérente, et le texte assuré est pris pour une preuve.

Où le raisonnement a déraillé

Une requête du type « agis comme un marketeur expérimenté » définit le style de la réponse, mais ne donne pas au modèle accès aux faits de l'entreprise. Si le contexte ne contient pas de données sur les enchères, les concurrents, la conversion, la fréquence d'affichage et la qualité des créations, le réseau de neurones comble les lacunes avec le scénario le plus plausible. La saisonnalité a bien pu influencer les enchères, mais sans chiffres à l'appui, ce n'est qu'une hypothèse.

Il en résulte une boucle dangereuse. Le responsable marketing formule une conclusion préliminaire, le LLM la rend plus convaincante, et le collaborateur perçoit l'accord du modèle comme une vérification indépendante. En réalité, les deux conclusions découlent de la même supposition initiale. Plus le rôle assigné est prestigieux et le ton de la réponse assuré, plus il est difficile de remarquer l'absence de preuves.

Comment vérifier les décisions avec un LLM

Il est plus utile de demander au modèle non pas de jouer l'expert, mais d'analyser une décision concrète. Fournissez-lui les indicateurs de départ, la période de comparaison, les contraintes et le seuil à partir duquel l'action est jugée justifiée. Exigez ensuite qu'il sépare les faits des hypothèses, présente des arguments pour et contre, trouve des sources primaires et nomme les données susceptibles de changer la conclusion.

Par exemple : « Nous voulons transférer du budget de Meta vers Google. Voici les dépenses, le CAC, la conversion et le chiffre d'affaires par semaine. Quelles explications sont étayées par les données ? Lesquelles restent des hypothèses ? Quelles trois vérifications faut-il effectuer avant de déplacer les fonds ? » Une telle requête n'élimine pas les erreurs du modèle, mais les rend plus visibles.

Les liens fournis dans la réponse doivent aussi être ouverts manuellement. La page doit exister, contenir la thèse annoncée et correspondre à la bonne période. Si la source est introuvable ou concerne un autre marché, l'affirmation retourne dans la catégorie des hypothèses.

Que mettre en place dans le processus de travail

Pour les décisions à enjeu notable, instaurez un court point de contrôle. Commencez par consigner l'hypothèse initiale et les métriques. Demandez ensuite des explications alternatives et les objections les plus fortes. Vérifiez enfin les sources et menez une expérience limitée plutôt qu'une réallocation brutale du budget.

Dans le cas décrit, l'équipe s'est concentrée sur la production de créations et a annoncé un chiffre d'affaires record en octobre, supérieur à 430 000 $. La publication ne prouve pas de lien de causalité entre ce résultat et la tactique choisie. La leçon pratique est plus modeste, mais plus utile : un LLM peut élargir l'espace des décisions, mais le droit de confirmer une cause et de miser de l'argent dessus doit rester aux données, à l'expérimentation et à un responsable humain.