Morgan Stanley: o assistente GPT-4 usado por 98% das equipes de consultores financeiros

• Morgan Stanley uses AI evals to shape the future of financial services — OpenAI (customer story)
• Morgan Stanley kicks off generative AI era on Wall Street with assistant for financial advisors — CNBC, 2023-09-18
• Launch of AI @ Morgan Stanley Debrief — Morgan Stanley (пресс-релиз), 2024-06-26
• Morgan Stanley wealth advisors are about to get an OpenAI-powered assistant to do their grunt work — CNBC, 2024-06-26
• Morgan Stanley Research Announces AskResearchGPT — Morgan Stanley (пресс-релиз), 2024-10-23

Contexto

Morgan Stanley Wealth Management é uma das maiores operações de gestão de patrimônio do mundo: cerca de 15.000 consultores financeiros e $5,5 trilhões em ativos de clientes (a partir de março de 2024; a meta da empresa é $10 trilhões). O principal ativo intangível da divisão é sua base de conhecimento interna: décadas de pesquisa, análise de mercado, procedimentos e playbooks condensados em um corpus de aproximadamente 100.000 documentos.

O problema: uma base de conhecimento só é tão valiosa quanto a velocidade de acesso a ela. Um consultor em uma chamada com cliente não pode se dar ao luxo de vinte minutos procurando PDFs internos — o que significava que uma enorme parte do 'capital intelectual' da empresa simplesmente não funcionava no momento da venda ou aconselhamento.

Em março de 2023, Morgan Stanley anunciou que estava construindo um assistente em GPT-4, tornando-se um dos primeiros parceiros empresariais da OpenAI. O contexto competitivo é importante: Goldman Sachs e JPMorgan Chase também haviam anunciado projetos de IA generativa naquela época, mas Morgan Stanley foi a primeira grande empresa de Wall Street a colocar uma solução personalizada com GPT-4 nas mãos dos funcionários — como informou a CNBC, citando Jeff McMillan, então chefe de análise, dados e inovação em gestão de patrimônio (mais tarde Chefe de IA em Toda a Empresa).

Para uma indústria financeira regulamentada, foi um passo ousado: bancos têm tolerância zero para respostas inventadas, e qualquer sistema que possa 'alucinar' uma recomendação é um risco de conformidade. É por isso que o caso Morgan Stanley se tornou o ponto de referência não por causa do modelo, mas por causa da metodologia de implementação: avaliações sistemáticas que transformaram a confiança em IA de uma questão de fé em uma questão de medição. McMillan colocou a motivação claramente: 'Nunca vi nada assim em minha carreira, e venho trabalhando com inteligência artificial há 20 anos. Vimos uma janela de oportunidade que era completamente disruptiva, e acho que como organização, não queríamos ficar para trás.'

Problema

O conhecimento da empresa estava trancado em um enorme corpus de documentos internos. Pela própria conta da empresa, consultores conseguiam acessar efetivamente apenas uma fração dele: a acessibilidade de documentos era estimada em 20%. A ferramenta interna anterior respondia a um conjunto limitado de perguntas — cerca de 7.000 — e não era escalável para o corpo completo de conhecimento da empresa.

A mecânica é familiar para qualquer um que tenha usado busca corporativa: a busca por palavras-chave clássica encontra documentos, não respostas. Um consultor com uma pergunta de cliente sobre estratégia de mercado ou um procedimento interno tinha que elaborar uma query, abrir vários relatórios, rolar dezenas de páginas e sintetizar a resposta por conta própria — minutos no melhor dos casos, e na prática frequentemente 'Vou voltar para você'. Em uma chamada, isso significava uma pausa e perda de momentum; após a chamada, uma resposta atrasada a um cliente que já está comparando o serviço com concorrentes.

O segundo problema, menos óbvio, era o pós-processamento de reuniões. A divisão hospeda cerca de um milhão de chamadas Zoom por ano, e um consultor típico — segundo o participante piloto Don Whitehead — realiza quatro a seis reuniões por dia. Após cada uma, alguém precisa anotar, capturar compromissos, atualizar o CRM e enviar um email de acompanhamento. Consultores ou sua equipe júnior faziam essa rotina manualmente, e a preparação do acompanhamento podia se estender por dias.

Ambas as dores se resumem a um problema estratégico: o tempo dos especialistas mais caros da empresa era gasto em recuperação de informações e manutenção de registros — em vez do trabalho com clientes para o qual foram contratados.

Solução

Morgan Stanley construiu o 'AI @ Morgan Stanley Assistant' — um assistente GPT-4 sobre a base de conhecimento interna usando um esquema RAG: o modelo responde apenas a partir de documentos verificados pela empresa, não 'da memória'. Antes do lançamento, a equipe passou meses curando o corpus e testando respostas com especialistas humanos (McMillan descreveu isso para a CNBC). O lançamento completo para todos os consultores e sua equipe de suporte aconteceu em 18 de setembro de 2023 — a CNBC obteve o memorando do co-presidente Andy Saperstein: 'Os consultores financeiros sempre serão o centro do universo da gestão de patrimônio da Morgan Stanley. Também acreditamos que a IA generativa revolucionará as interações com clientes... e finalmente ajudará a liberar tempo para fazer o que você faz melhor: servir seus clientes.'

O elemento chave de implementação é o sistema de avaliações, que OpenAI mais tarde detalhou em um caso de estudo dedicado. A equipe começou com três cenários alvo: recuperação de informações mais rápida, automação de sumarização de relatórios rotineiros e insights personalizados para as necessidades dos clientes. Cada um recebeu suas próprias avaliações: consultores e engenheiros de prompt classificaram manualmente respostas do modelo quanto à precisão e coerência, e prompts e recuperação foram refinados em conformidade. Avaliações de tradução para clientes multilíngues vieram a seguir, e junto com OpenAI a equipe sintonizou iterativamente métodos de recuperação sobre a biblioteca crescente. Em produção, uma suíte de regressão diária de perguntas de amostra detecta degradações antes da conformidade perceber. A questão de dados foi resolvida separadamente: uma política de retenção zero de dados garante que os dados proprietários da empresa não sejam usados para treinar modelos públicos — David Wu chamou essa condição de crítica para o negócio.

Um detalhe de implementação curioso foi a mudança de hábito: consultores tiveram que aprender a fazer perguntas em frases completas, como fariam com um assistente humano, em vez de palavras-chave, como em um mecanismo de busca. 'Não diferente de como eu faria a você uma pergunta, é assim que você fala com essa máquina. As pessoas não estão acostumadas com isso,' explicou McMillan.

O segundo produto da linha é 'AI @ Morgan Stanley Debrief' em uma pilha Whisper + GPT-4: com consentimento do cliente (solicitado para cada reunião separadamente), a ferramenta ouve uma reunião Zoom, gera notas estruturadas, captura itens de ação, salva o registro no Salesforce e elabora um email de acompanhamento que o consultor edita e envia pessoalmente. O piloto começou em março de 2024, o lançamento em toda a empresa foi anunciado em 26 de junho de 2024, e o rollout para ~15.000 consultores foi concluído no início de julho. McMillan observou que ajustar os prompts do Debrief levou meses — e que 'isso faz um trabalho melhor de tomar notas do que o humano médio.'

Para a equipe, também foi uma mudança de paradigma de desenvolvimento. 'A forma tradicional de resolver essas coisas é você escrever código,' explicou McMillan. 'No novo mundo, você dá exemplos do que "bom" parece, e o sistema aprende o que é bom. Na verdade, é capaz de "raciocinar" e aplicar lógica que um humano aplicaria.' O chefe de gestão de patrimônio, Jed Finn, estabeleceu o marco estratégico: o objetivo é uma camada de tecnologia na qual um consultor executa todas as tarefas com prompts simples — desde rascunhar propostas até rebalancear portfólios e produzir relatórios.

Crucialmente, um humano permanece no loop a cada passo: o Assistente recupera e sintetiza, Debrief elabora, mas a decisão final e o botão de envio sempre pertencem ao consultor. Para o regulador e conformidade, essa fronteira é fundamental.

Resultado

Mais de 98% das equipes de consultores financeiros usam o assistente — perto do teto de adoção para uma ferramenta corporativa. O sistema responde efetivamente a perguntas em um corpus de 100.000 documentos — versus aproximadamente 7.000 perguntas que a ferramenta anterior conseguia lidar. A acessibilidade de documentos, pela estimativa da empresa, aumentou de 20% para 80%, e a recuperação de informações caiu de minutos para segundos. McMillan descreve a mudança qualitativa: 'Agora, consultores podem engajar clientes em tópicos que não discutiram antes porque o atrito entre conhecimento e comunicação foi para zero.'

Para Debrief, existem estimativas públicas iniciais: um consultor piloto colocou a economia em cerca de 30 minutos de trabalho por reunião; com um milhão de chamadas Zoom por ano em toda a divisão, CNBC estimou o potencial em centenas de milhares de horas anualmente. Kaitlin Elliott, Head of Firmwide Generative AI Solutions, observou: 'O feedback dos consultores foi extremamente positivo... acompanhamentos que costumavam levar dias agora acontecem em poucas horas.' Ao mesmo tempo, McMillan candidamente chamou o projeto de 'grande experimento em produtividade' e disse que uma avaliação rigorosa de impacto levaria pelo menos um ano de observação.

A abordagem está escalonando além da gestão de patrimônio: em 23 de outubro de 2024, a empresa lançou AskResearchGPT — um assistente GPT-4 sobre o corpus de Pesquisa Morgan Stanley (70.000+ relatórios proprietários por ano) para equipes de banca de investimento, vendas e negociação, e pesquisa, com um fluxo de trabalho patenteado 'query → email pronto para cliente com citações e links em um clique'.

É importante enquadrar esses números: Morgan Stanley publica métricas de uso (adoção, acessibilidade de corpus, velocidade) em vez de um impacto em dólares — o banco nunca alegou 'IA nos rendeu X milhões'. Em nossa opinião, esta é uma posição deliberada e honesta para uma ferramenta interna: atribuir rigorosamente a contribuição de um copilot à receita do consultor é metodologicamente difícil, e a empresa prefere métricas que controla.

As apostas da indústria são altas: segundo uma estimativa da Citigroup citada pela CNBC, empregos em finanças estão entre os mais propensos a deslocamento por IA, e a adoção de IA poderia impulsionar o lucro da indústria em $170 bilhões até 2028.

Para o mercado, o caso Morgan Stanley é o modelo do caminho 'baixo risco' para IA generativa, o espelho de chatbots voltados para o cliente como o da Klarna: a IA volta-se para dentro, para funcionários; um humano permanece no loop de cada decisão; e confiança é construída em avaliações mensuráveis, não em demos. Em nossa opinião, essa combinação — um corpus estreito, avaliações como processo, um humano como filtro final — é a parte mais transferível do caso: funciona em qualquer indústria onde o custo de uma resposta errada é alto, de medicina a lei.

Lições aprendidas

1. Em uma indústria regulamentada, confiança em IA é construída em avaliações: pontuação sistemática de qualidade de resposta em perguntas reais é o que convence a conformidade — não demos.
2. RAG sobre seu próprio corpus é a aposta inicial correta para um negócio intensivo em conhecimento: o modelo não 'sabe' a resposta, ele a encontra nos documentos da empresa.
3. Avaliações são um processo, não um teste de aceitação único: uma suíte de regressão diária em perguntas de amostra detecta degradação de qualidade antes dos usuários ou conformidade perceberem.
4. A métrica de 'acessibilidade de conhecimento' (20→80%) é um indicador de valor mais honesto do que 'número de consultas de bot'.
5. Adoção de 98% segue da incorporação no fluxo de trabalho real do consultor (e meses de curação de corpus antes do lançamento), não de um mandato de cima para baixo.
6. Consentimento por reunião de cliente e edição final humana (Debrief) são o modelo para trazer IA para cenários sensíveis com clientes sem risco reputacional.
7. Comece com um corpus estreito e um papel de usuário (o consultor); escalone depois que a qualidade for comprovada — o caminho de Morgan Stanley do Assistant para Debrief e AskResearchGPT levou dois anos de lançamentos sequenciais.

Perguntas frequentes