Morgan Stanley opnår 98% adoption af AI-løsninger gennem systematisk evaluering
Morgan Stanley har i samarbejde med OpenAI implementeret AI-værktøjer, der har revolutioneret arbejdsgangen for finansielle rådgivere. Med en adoption på over 98% blandt rådgiverteams demonstrerer investeringsbanken, hvordan grundig evaluering og kvalitetssikring kan drive succesfuld AI-implementering i finanssektoren.
Morgan Stanley Wealth Management har integreret GPT-4 i deres daglige arbejdsgange gennem to primære værktøjer: AI @ Morgan Stanley Assistant, en intern chatbot til informationssøgning, og AI @ Morgan Stanley Debrief, et mødesammendragsværktøj baseret på Whisper og GPT-4.
“Denne teknologi gør dig lige så klog som den klogeste person i organisationen. Hver klient er forskellig, og AI hjælper os med at imødekomme hver klients unikke behov,” forklarer Jeff McMillan, Head of Firmwide AI hos Morgan Stanley.
Evaluering som fundament for succes
Nøglen til Morgan Stanleys succes ligger i deres systematiske evalueringsramme. Før udrulning af hver AI-løsning gennemfører teamet omfattende tests, hvor AI-modellens præstationer måles mod ekspertbedømmelser i virkelige anvendelsesscenarier.
For Assistant-værktøjet udviklede Morgan Stanley evalueringer af sammendragskvalitet, hvor rådgivere og prompt-ingeniører vurderede AI-svarenes nøjagtighed og sammenhæng. Dette gjorde det muligt at forfine systemet fra at kunne besvare 7.000 spørgsmål til effektivt at håndtere forespørgsler fra et bibliotek på 100.000 dokumenter.
“Friktionen mellem viden og kommunikation er gået til nul,” siger McMillan om effekten på rådgivernes klientsamtaler.
Fra pilot til firmadækkende implementering
Debrief-værktøjet, der omdanner Zoom-optagelser til handlingsrettede outputs som klientnotater og opfølgningsudkast, blev udviklet med samme evalueringsdrevne tilgang. Systemet integrerer automatisk med CRM-systemer, mens rådgiverne bibeholder kontrol ved at gennemgå og justere AI-genereret indhold før finalisering.
“Feedbacken fra rådgivere har været overvældende positiv. De er mere engagerede med klienter, og opfølgninger, der plejede at tage dage, sker nu inden for timer,” fortæller Kaitlin Elliott, Head of Firmwide Generative AI Solutions.
Sikkerhed og compliance i fokus
For at leve op til finanssektorens strenge krav har Morgan Stanley integreret kvalitetssikring i deres evalueringsramme gennem daglige tests med et regressionsudvalg af eksempelspørgsmål.
OpenAI’s nul-datalagringspolitik har været afgørende for at adressere sikkerhedsmæssige bekymringer. “Et af de første spørgsmål, vi får, er, om vores information vil blive brugt af OpenAI til at træne den offentlige ChatGPT,” siger David Wu, Head of Firmwide AI Product & Architecture Strategy. “OpenAI-teamets villighed til at sikre nul-datalagring har været virkelig betydningsfuld.”
Imponerende resultater og fremtidige planer
Implementeringen har leveret målbare resultater:
- Næsten alle rådgiverteams bruger nu AI-værktøjerne dagligt med over 98% adoption
- Adgang til dokumenter er steget fra 20% til 80%
- Rådgivere bruger mere tid på klientrelationer takket være automatisering og hurtigere indsigter
Morgan Stanley ser AI @ Morgan Stanley som en “super-app” for medarbejdere og udvider allerede Assistant-funktionaliteten til deres institutional securities-gruppe.
“Vi bygger platforme, der vil understøtte mange andre anvendelsesscenarier,” siger Wu. “Debrief er i øjeblikket til rådgivere, der taler med klienter, men hvorfor kunne vi ikke gøre det tilgængeligt for investeringsbankfolk, der taler med CFO’er?”
McMillan konkluderer: “Det er en fundamental ændring, som både forbedrer kvaliteten af vores indhold og skaber nye produkter og tjenester, som kun mennesker tæt på problemet kan forestille sig.”
