Morgan Stanley : l'assistant GPT-4 utilisé par 98 % des équipes de conseillers financiers

• Morgan Stanley uses AI evals to shape the future of financial services — OpenAI (customer story)
• Morgan Stanley kicks off generative AI era on Wall Street with assistant for financial advisors — CNBC, 2023-09-18
• Launch of AI @ Morgan Stanley Debrief — Morgan Stanley (пресс-релиз), 2024-06-26
• Morgan Stanley wealth advisors are about to get an OpenAI-powered assistant to do their grunt work — CNBC, 2024-06-26
• Morgan Stanley Research Announces AskResearchGPT — Morgan Stanley (пресс-релиз), 2024-10-23

Contexte

Morgan Stanley Wealth Management est l'une des plus grandes opérations de gestion de patrimoine au monde : environ 15 000 conseillers financiers et 5,5 billions de dollars d'actifs clients (en mars 2024 ; l'objectif de l'entreprise est 10 billions de dollars). L'atout immatériel clé de la division est sa base de connaissances interne : des décennies de recherche, d'analyse de marché, de procédures et de manuels regroupés dans un corpus d'environ 100 000 documents.

Le hic : une base de connaissances n'a de valeur que si l'accès à celle-ci est rapide. Un conseiller en communication avec un client ne peut pas se permettre de passer vingt minutes à chercher dans les PDF internes — ce qui signifiait qu'une grande partie du « capital intellectuel » de l'entreprise ne fonctionnait tout simplement pas au moment de la vente ou du conseil.

En mars 2023, Morgan Stanley a annoncé qu'elle construisait un assistant sur GPT-4, devenant l'un des premiers partenaires d'entreprise d'OpenAI. Le contexte concurrentiel est important : Goldman Sachs et JPMorgan Chase avaient également annoncé des projets d'IA générative à ce moment-là, mais Morgan Stanley a été la première grande entreprise de Wall Street à mettre une solution GPT-4 personnalisée entre les mains de ses employés — selon le rapport de CNBC, citant Jeff McMillan, alors responsable de l'analytique, des données et de l'innovation dans la gestion de patrimoine (plus tard directeur de l'IA à l'échelle de l'entreprise).

Pour une industrie financière réglementée, c'était une mesure audacieuse : les banques n'ont aucune tolérance pour les réponses inventées, et tout système qui peut « halluciner » une recommandation est un risque de conformité. C'est pourquoi l'affaire Morgan Stanley est devenue le point de référence, non pas à cause du modèle, mais à cause de la méthodologie de mise en œuvre : des évaluations systématiques qui ont transformé la confiance en l'IA d'une question de foi en une question de mesure. McMillan a exprimé la motivation clairement : « Je n'ai jamais vu quelque chose comme ça dans ma carrière, et je fais de l'intelligence artificielle depuis 20 ans. Nous avons vu une fenêtre d'opportunité qui était complètement disruptive, et je pense qu'en tant qu'organisation, nous ne voulions pas être laissés de côté. »

Problème

Les connaissances de l'entreprise étaient enfermées dans un immense corpus de documents internes. Selon le compte rendu de l'entreprise elle-même, les conseillers ne pouvaient efficacement accéder qu'à une fraction de celui-ci : l'accessibilité des documents était estimée à 20 %. L'outil interne précédent répondait à un ensemble limité de questions — environ 7 000 — et n'évoluait pas à l'échelle du corpus complet de l'entreprise.

Les mécanismes sont familiers à quiconque a utilisé une recherche d'entreprise : la recherche par mot-clé classique trouve des documents, non des réponses. Un conseiller auquel on posait une question client sur la stratégie de marché ou une procédure interne devait formuler une requête, ouvrir plusieurs rapports, faire défiler des dizaines de pages et synthétiser la réponse lui-même — au mieux quelques minutes, et en pratique souvent « je vais revenir vers vous ». Sur un appel, cela signifiait une pause et une perte de momentum ; après l'appel, une réponse retardée à un client qui compare déjà le service avec les concurrents.

Le deuxième, moins évident, défi était le traitement post-réunion. La division accueille environ un million d'appels Zoom par an, et un conseiller typique — selon le participant au pilote Don Whitehead — organise quatre à six réunions par jour. Après chacune d'elles, quelqu'un doit rédiger des notes, enregistrer les engagements, mettre à jour le CRM et envoyer un e-mail de suivi. Les conseillers ou leur personnel junior effectuaient cette routine à la main, et la préparation du suivi pouvait s'étendre sur plusieurs jours.

Ces deux défis constituent un problème stratégique unique : le temps des spécialistes les plus chers de l'entreprise était consacré à la récupération d'informations et à la tenue de dossiers — au lieu du travail client pour lequel ils ont été embauchés.

Solution

Morgan Stanley a construit l'« Assistant IA @ Morgan Stanley » — un assistant GPT-4 sur la base de connaissances interne utilisant un schéma RAG : le modèle répond uniquement à partir des documents vérifiés de l'entreprise, non « de mémoire ». Avant le lancement, l'équipe a passé des mois à curater le corpus et à tester les réponses avec des experts humains (McMillan en a parlé à CNBC). Le déploiement complet auprès de tous les conseillers et de leur personnel de soutien a eu lieu le 18 septembre 2023 — CNBC a obtenu le mémo du co-président Andy Saperstein : « Les conseillers financiers seront toujours au centre de l'univers de la gestion de patrimoine de Morgan Stanley. Nous croyons également que l'IA générative révolutionnera les interactions client... et finalement aidera à libérer du temps pour faire ce que vous faites de mieux : servir vos clients. »

L'élément clé de la mise en œuvre est le système d'évaluation, que OpenAI a ensuite détaillé dans une étude de cas dédiée. L'équipe a commencé par trois scénarios cibles : une récupération d'information plus rapide, l'automatisation de la synthèse de rapports courants et des insights adaptés aux besoins des clients. Chacun a eu ses propres évaluations : les conseillers et les ingénieurs de prompts ont noté manuellement les réponses du modèle pour la précision et la cohérence, et les prompts et la récupération ont été affinés en conséquence. Les évaluations de traduction pour les clients multilingues ont suivi, et en collaboration avec OpenAI, l'équipe a affiné itérativement les méthodes de récupération sur la bibliothèque croissante. En production, une suite de régression quotidienne de questions d'exemple capture les dégradations avant que la conformité ne les remarque. La question des données a été réglée séparément : une politique de rétention zéro données garantit que les données exclusives de l'entreprise ne sont pas utilisées pour entraîner des modèles publics — David Wu a appelé cette condition critique pour l'accord.

Un détail de mise en œuvre curieux était le changement d'habitude : les conseillers devaient apprendre à poser des questions en phrases complètes, comme ils le feraient avec un assistant humain, plutôt que des mots-clés, comme avec un moteur de recherche. « Pas différent de la façon dont je vous poserais une question, c'est ainsi que vous parlez à cette machine. Les gens ne sont pas habitués à cela, » a expliqué McMillan.

Le deuxième produit de la gamme est « AI @ Morgan Stanley Debrief » sur une pile Whisper + GPT-4 : avec le consentement du client (demandé pour chaque réunion séparément), l'outil écoute une réunion Zoom, génère des notes structurées, enregistre les points d'action, enregistre le dossier dans Salesforce et rédige un brouillon d'e-mail de suivi que le conseiller édite et envoie personnellement. Le pilote a commencé en mars 2024, le lancement à l'échelle de l'entreprise a été annoncé le 26 juin 2024, et le déploiement auprès d'environ 15 000 conseillers s'est achevé début juillet. McMillan a noté que l'ajustement des prompts de Debrief a pris des mois — et que « cela fait un meilleur travail de prise de notes que l'humain moyen ».

Pour l'équipe, c'a aussi été un changement de paradigme de développement. « La façon traditionnelle de résoudre ces choses est d'écrire du code, » a expliqué McMillan. « Dans le nouveau monde, vous donnez des exemples de ce à quoi ressemble « bon » et le système apprend ce qu'est bon. Il est en fait capable de « raisonner » et d'appliquer une logique qu'un humain appliquerait. » Le responsable de la gestion de patrimoine Jed Finn a défini le cadre stratégique : l'objectif est une couche technologique dans laquelle un conseiller effectue toutes les tâches avec des prompts simples — de la rédaction de propositions au rééquilibrage de portefeuilles et la production de rapports.

De manière cruciale, un humain reste dans la boucle à chaque étape : l'Assistant récupère et synthétise, Debrief rédige, mais la décision finale et le bouton d'envoi appartiennent toujours au conseiller. Pour le régulateur et la conformité, cette limite est fondamentale.

Résultat

Plus de 98 % des équipes de conseillers financiers utilisent l'assistant — une adoption quasi-maximale pour un outil d'entreprise. Le système répond efficacement aux questions portant sur un corpus de 100 000 documents — contre environ 7 000 questions que l'outil précédent pouvait traiter. L'accessibilité des documents, selon l'estimation de l'entreprise, est passée de 20 % à 80 %, et la récupération d'information s'est effondrée de minutes à secondes. McMillan décrit le changement qualitatif : « Maintenant, les conseillers peuvent engager des clients sur des sujets qu'ils n'ont jamais discutés auparavant car la friction entre la connaissance et la communication a disparu. »

Pour Debrief, des estimations publiques précoces existent : un conseiller pilote a évalué les économies à environ 30 minutes de travail par réunion ; avec un million d'appels Zoom par an dans la division, CNBC a estimé le potentiel à des centaines de milliers d'heures annuellement. Kaitlin Elliott, responsable de la solution d'IA générative à l'échelle de l'entreprise, a noté : « Les retours des conseillers ont été extrêmement positifs... les suivis qui prenaient des jours se font maintenant en heures. » En même temps, McMillan a candidement appelé le projet une « grande expérience en productivité » et a déclaré qu'une évaluation d'impact rigoureuse prendrait au moins un an d'observation.

L'approche se déploie au-delà de la gestion de patrimoine : le 23 octobre 2024, l'entreprise a lancé AskResearchGPT — un assistant GPT-4 sur le corpus Morgan Stanley Research (70 000+ rapports exclusifs par an) pour le personnel de la banque d'investissement, des opérations de trésorerie et de la recherche, avec un flux de travail breveté « requête → e-mail prêt pour le client avec citations et liens en un clic ».

Il est important de contextualiser ces chiffres : Morgan Stanley publie des métriques d'utilisation (adoption, accessibilité du corpus, vitesse) plutôt qu'un impact en dollars — la banque n'a nulle part affirmé « l'IA nous a rapporté X millions ». Selon nous, c'est une position délibérée et honnête pour un outil interne : attribuer rigoureusement la contribution d'un copilote aux revenus des conseillers est méthodologiquement difficile, et l'entreprise préfère les métriques qu'elle contrôle.

Les enjeux sectoriels sont élevés : selon une estimation de Citigroup citée par CNBC, les emplois dans la finance sont parmi les plus susceptibles d'être déplacés par l'IA, et l'adoption de l'IA pourrait augmenter le profit du secteur de 170 milliards de dollars d'ici 2028.

Pour le marché, l'affaire Morgan Stanley est le modèle du chemin « à faible risque » vers l'IA générative, l'image miroir des chatbots orientés client comme celui de Klarna : l'IA se tourne vers l'intérieur, vers les employés ; un humain reste dans la boucle de chaque décision ; et la confiance se construit sur des évaluations mesurables, non des démos. Selon nous, cette combinaison — un corpus étroit, les évaluations comme processus, un humain comme filtre final — est la partie la plus transférable de cette affaire : elle fonctionne dans tout secteur où le coût d'une mauvaise réponse est élevé, de la médecine au droit.

Leçons

1. Dans une industrie réglementée, la confiance en l'IA se construit sur les évaluations : la notation systématique de la qualité des réponses sur des questions réelles est ce qui convainct la conformité — non pas les démos.
2. RAG sur votre propre corpus est le bon premier pari pour une entreprise dense en connaissances : le modèle ne « connaît » pas la réponse, il la trouve dans les documents de l'entreprise.
3. Les évaluations sont un processus, non un test d'acceptation ponctuel : une suite de régression quotidienne sur des questions d'exemple capture la dégradation de la qualité avant que les utilisateurs ou la conformité ne la remarquent.
4. La métrique « accessibilité des connaissances » (20 → 80 %) est un indicateur de valeur plus honnête que « nombre de requêtes de bot ».
5. L'adoption de 98 % découle de l'intégration dans le flux de travail réel du conseiller (et de mois de curation du corpus avant le lancement), non d'un mandat top-down.
6. Le consentement du client par réunion et l'édition humaine finale (Debrief) sont le modèle pour intégrer l'IA dans les scénarios clients sensibles sans risque réputationnel.
7. Commencez par un corpus étroit et un seul rôle d'utilisateur (le conseiller) ; augmentez l'échelle après que la qualité soit prouvée — le chemin de Morgan Stanley de l'Assistant à Debrief et AskResearchGPT a pris deux ans de lancements séquentiels.

Questions fréquentes