Snapchat : Gemini multimodal dans le chatbot My AI — croissance d'engagement de plus de 2,5x aux États-Unis

• Snap Partners with Google Cloud to Power Multi-Modal Generative AI Experiences Within My AI — Snap Inc. (newsroom), 2024-09-24
• Gemini at Work: how customers use Google Cloud AI products (Thomas Kurian) — Google (blog), 2024-09-24
• Snap Inc. Partners with Google Cloud to Power Multi-Modal Generative AI Experiences Within its My AI Chatbot — Google Cloud Press Corner, 2024-09-24
• Snapchat taps Google's Gemini to power its chatbot's generative AI features — TechCrunch, 2024-09-24

Contexte

Snap Inc. est le créateur de Snapchat, l'une des plus grandes applications de messagerie au monde : selon le communiqué de presse de Google Cloud, l'application compte plus de 850 millions d'utilisateurs actifs mensuels, principalement un public jeune. My AI est le chatbot intégré de Snapchat et, selon les propres termes de Snap, « l'un des plus grands chatbots destinés aux consommateurs disponibles aujourd'hui ». Il a été lancé en février 2023 — et, point important pour comprendre ce cas, était initialement alimenté par ChatGPT d'OpenAI.

La relation de Snap avec Google Cloud est bien antérieure à l'IA générative : Snapchat a d'abord été lancé sur l'infrastructure Google Cloud en 2011, ce qui rend le partenariat plus qu'une décennie. Le 24 septembre 2024, les entreprises ont annoncé son expansion : les capacités multimodales de Gemini sur Vertex AI sont devenues la base de la prochaine génération de My AI. L'annonce a coïncidé avec le billet de blog « Gemini at Work » du PDG de Google Cloud Thomas Kurian, synchronisé avec l'événement mondial de Google du même nom. Dans le message, Kurian classe près de 50 exemples de clients en six types d'agents IA — client, employé, données, sécurité et créatif — et Snap figure dans la section « agents clients », avec une démo vidéo dans le programme de l'événement. En d'autres termes, pour Google, ce n'était pas une intégration de routine, mais l'un de ses principaux exemples publics de Gemini destiné aux consommateurs.

Ce qui rend ce cas plus intéressant que la plupart des histoires « nous avons branché un LLM dans un chatbot » : l'appareil photo est l'interface principale de Snapchat. Les utilisateurs de cette application communiquent par des snaps et des vidéos, pas par des paragraphes de texte. Ainsi, la multimodalité ici n'est pas une fonctionnalité d'une liste de contrôle marketing, mais une extension naturelle du produit : un bot qui comprend les snaps s'intègre au comportement existant de l'audience au lieu de demander un nouveau comportement.

L'historique de la commutation de modèle est une histoire en soi. En un an et demi, My AI est passé de ChatGPT (lancement en février 2023) à Gemini (septembre 2024) — une illustration vivante de la façon dont les grandes plateformes B2C traitent la sélection de modèles : non pas « se marier avec un fournisseur pour toujours » mais « choisir le modèle pour la capacité spécifique ». Pour Google, cela devient un cas de démonstration : il démontre Gemini fonctionnant à l'échelle des consommateurs, avec des interactions comptées en millions par jour.

Problème

Un chatbot textuel uniquement à l'intérieur d'une application centrée sur l'appareil photo est une demi-mesure. Les utilisateurs de Snapchat s'expriment par des snaps et des vidéos ; les forcer à taper de longs requêtes textuelles signifie arracher le bot du mode de communication natif de l'application. Pour que My AI soit utile à ce public spécifique, il doit comprendre les images et les vidéos aussi couramment que le texte : d'une photo de panneau routier dans une langue étrangère à une vidéo d'un rayon de collations.

La deuxième partie du problème est l'échelle et l'économie. My AI est l'un des plus grands chatbots destinés aux consommateurs au monde, et Snapchat rejoint plus de 850 millions d'utilisateurs mensuels. À cette échelle, chaque amélioration de modèle est multipliée par des millions d'interactions quotidiennes — mais c'est aussi le cas de la latence et des coûts d'inférence. Le service avait besoin de réponses multimodales avec une faible latence et un coût acceptable par requête, sinon l'économie d'unité de la fonctionnalité n'ajouterait pas.

La troisième couche est la confiance et la sécurité. L'audience de Snapchat est jeune, et depuis son lancement, My AI a été entourée de débats publics sur les risques potentiels pour les utilisateurs, en particulier les enfants — TechCrunch l'a noté dans sa couverture du passage à Gemini, soulignant que à mesure que les capacités du bot augmentent, les enjeux aussi. Pour Snap, cela signifiait que la nouvelle génération de My AI devait reposer sur un modèle doté de mécanismes de précision et de sécurité intégrés, pas seulement le plus puissant disponible.

Solution

Snap a déployé Gemini sur Vertex AI dans My AI. La formulation de l'annonce est précise et mérite d'être citée intégralement : l'entreprise exploite « les fortes capacités multimodales de Gemini sur Vertex AI, en particulier la capacité de la technologie à comprendre et à fonctionner dans différents types d'informations tels que le texte, l'audio, l'image, la vidéo et le code, pour offrir des fonctionnalités plus engageantes et innovantes à notre communauté Snapchat via My AI ».

En pratique, cela ressemble à des scénarios intégrés au geste familier « prendre et envoyer ». Un utilisateur peut photographier un panneau routier en voyageant et demander à My AI de le traduire. Ils peuvent prendre une vidéo de différentes offres de collations et demander laquelle est l'option la plus saine. Ce qui nécessitait autrefois une application traducteur distincte ou une session de recherche se produit désormais dans une conversation avec le bot — avec le même mouvement qu'un utilisateur envoie un snap à un ami. Les capacités multimodales ont été déployées à tous les Snapchatters aux États-Unis.

Choisir Vertex AI comme plateforme continue une histoire d'infrastructure : Snapchat fonctionne sur Google Cloud depuis 2011, donc c'était la voie de la moindre résistance pour l'intégration, les opérations et la mise à l'échelle. Le communiqué de presse de Google Cloud souligne séparément que les modèles Gemini fournissent « des fonctionnalités de précision et de sécurité intégrées » et servent des millions d'interactions multimodales quotidiennement — pour un produit avec un public jeune et un historique de questions publiques autour de My AI, c'était un argument de sélection significatif.

Tout aussi important est ce que Snap n'a pas fait : l'entreprise n'a pas réécrit My AI « tout-Google » et n'a pas abandonné sa stratégie multi-fournisseurs. My AI a été lancé sur ChatGPT en février 2023 ; depuis septembre 2024, les scénarios multimodaux fonctionnent sur Gemini — Snap a historiquement combiné des modèles de différents fournisseurs dans différentes parties du produit. Le cas enregistre donc non pas une « défection au camp de Google » mais une décision ciblée : pour la multimodalité à l'échelle des consommateurs, ils ont choisi le modèle qui à ce moment combinait le mieux les capacités, la latence, le coût et la sécurité.

Du côté de Google, le cas se situe dans un cadre plus large : dans le billet de blog « Gemini at Work », Thomas Kurian classe My AI comme un exemple d'« agent client » — un agent qui aide à faire des recommandations et à répondre aux questions des clients. Le PDG de Snap, Evan Spiegel, selon TechCrunch, a décrit le partenariat comme renforçant « tout ce qui est si important pour servir notre communauté » : les utilisateurs peuvent « en apprendre beaucoup plus sur le monde, le faire vraiment rapidement dans le moment ». Dans le communiqué de presse de Google Cloud, Spiegel ajoute le cadre de la mission : Snap autonomise les gens pour qu'ils s'expriment, vivent le moment, apprennent sur le monde et s'amusent ensemble — et dans cette logique, un assistant multimodal n'est pas un produit séparé mais un amplificateur de chacun des quatre. Kurian, de son côté, appelle Snap « un leader précoce dans la communication numérique » maintenant « à l'avant-garde de l'utilisation de l'IA générative pour construire des agents créant une nouvelle valeur pour sa communauté ».

Résultat

Selon Snap et Google Cloud, après le déploiement de Gemini dans My AI, l'engagement dans Snapping to My AI a augmenté de plus de 2,5x aux États-Unis. La formulation de Kurian dans le blog de Google : « Snap a déployé la capacité multimodale de Gemini dans son chatbot « My AI » et a depuis enregistré plus de 2,5x d'engagement dans Snapping to My AI aux États-Unis ».

Un cadrage qui compte. C'est la seule métrique publiée du cas. Il a été mesuré dans une fenêtre étroite du 27 août au 2 septembre 2024 — indiqué directement dans la note de bas de page de l'annonce de Snap, marqué « données internes de Snap Inc. ». « Snapping to My AI » signifie envoyer des snaps au bot, donc la métrique suit la croissance de l'utilisation multimodale spécifiquement, pas toute l'activité de My AI. Les chiffres absolus d'audience pour le bot n'ont pas été divulgués : « 2,5x » d'une base inconnue pourrait signifier une croissance explosive ou des nombres absolus modestes. Aucun impact sur les revenus, la rétention ou le temps passé dans l'application n'a été publié.

Analyse éditoriale. D'abord : la taille de l'effet ici est moins intéressante que sa mécanique. La croissance 2,5x+ s'est produite non pas parce que le modèle est devenu « plus intelligent pour répondre en texte », mais parce que le bot a appris à accepter les données dans le format que l'audience de Snapchat utilise déjà pour communiquer — les snaps. C'est une confirmation inhabituellement claire du principe selon lequel la modalité doit correspondre à l'interface du produit : la même fonctionnalité LLM emballée dans une boîte de texte n'aurait presque certainement pas produit un tel saut. Deuxièmement : une fenêtre de mesure d'une semaine juste après le lancement est la hausse classique de la nouveauté ; le niveau d'engagement en régime permanent aurait pu s'avérer plus élevé ou notablement plus bas, mais les entreprises ne l'ont jamais publié — en fin 2024 ou depuis. Le silence après une annonce bruyante est lui-même une information pour quiconque évalue le cas.

Troisièmement : stratégiquement, le cas illustre où se situent les plateformes à l'échelle de Snap sur le marché des modèles — elles migrent entre les fournisseurs (ChatGPT en 2023, Gemini en 2024) plus rapidement que le segment entreprise, car leurs intégrations sont plus minces et leur motivation est une capacité spécifique plutôt que la loyauté écosystémique. Pour les fournisseurs de modèles, cela signifie que les navires amiraux des consommateurs sont un segment gagnable — et perdable — ; pour les équipes de produit, concevoir pour la remplaçabilité des modèles est payant à chaque transition de ce type. Enfin, notez l'asymétrie de divulgation : l'annonce comprend un chiffre d'engagement mais ne dit rien sur le coût d'inférence, la latence ou l'impact des requêtes multimodales (notablement plus chères que le texte) sur l'économie de la fonctionnalité — même si avec 850M+ utilisateurs mensuels ce sont les paramètres qui décident si la fonctionnalité survit. La partie publique du cas répond « a-t-il décollé » mais pas « est-ce que ça s'additionne ».

Pour un lecteur qui mappe ce cas sur son propre produit, cela signifie que les scénarios et la mécanique sont transférables, mais le modèle financier devra être construit à partir de zéro avec vos propres données.

Leçons

1. La modalité doit correspondre à l'interface du produit : dans une application centrée sur l'appareil photo, c'était la multimodalité, non pas de meilleures réponses textuelles, qui a débloqué la croissance de l'utilisation.
2. Lisez les notes de bas de page : le gros titre 2,5x a été mesuré dans une fenêtre d'une semaine juste après le lancement — un signal de hausse précoce, pas un état stationnaire prouvé ; l'absence de publications de métriques de suivi est aussi un signal.
3. Les métriques relatives sans données de base absolues (combien d'utilisateurs, combien de sessions) sont standard dans les études de cas des fournisseurs ; exigez la base avant de prendre des décisions pour votre propre produit.
4. Un assistant IA destiné aux consommateurs se développe sur des scénarios concrets (traduire un panneau, comparer des collations), non pas sur un abstrait « discuter avec un bot » — les scénarios doivent correspondre au geste existant de l'utilisateur.
5. Les grandes plateformes B2C choisissent des modèles par capacité, pas par marque : My AI est passé de ChatGPT à Gemini en dix-huit mois — concevez pour la remplaçabilité des modèles.
6. L'historique de l'infrastructure a du poids : 10+ ans de Snapchat sur Google Cloud ont fait de Vertex AI la voie de la moindre résistance — toutes choses égales par ailleurs, le fournisseur déjà en production gagne.
7. Pour les produits ayant des audiences jeunes, les mécanismes de sécurité intégrés d'un modèle sont un critère de sélection au même titre que la capacité : le contexte public autour de My AI n'a laissé à Snap aucune place pour une solution « brute ».

Questions fréquentes