Data Science volgens de PDCA cyclus
In het onlangs gepubliceerde Data-Driven Marketing Onderzoek 2020 inventariseert de DDMA de stand van zaken van data-gedreven marketing. Dit deel van het onderzoek richt zich op de vraag hoe volwassen organisaties zijn als het gaat om de technologie om met data de klant / klantbehoefte in beeld te brengen. Enkele uitkomsten:
- Bij 27% van de onderzochte organisaties is data gemakkelijk toegankelijk
- Slechts 20% heeft een centraal klantbeeld
- Technieken als data visualisatie worden steeds meer gebruikt maar realtime personalisatie wordt nog maar bij 40% van de organisaties toegepast en staat het bij 34% nog niet eens op de planning.
- Ook met predictive modelling kunnen nog stappen worden gemaakt. 40% heeft de techniek inmiddels in gebruik, maar bij 29% is de techniek nog geen onderwerp van gesprek of zelfs volledig onbekend.
Er is dus nog het een en ander te verbeteren. Duurzame procesverbetering is echter een uitdaging. Hoewel er al sinds de jaren 50 een krachtige, bewezen verbetermethode is (Plan-Do-Check-Act, PDCA) leidt die niet automatisch tot duurzame verbeteringen.
De Plan en Do fases kunnen met enthousiasme worden begonnen maar als de Check en Act stappen niet met dezelfde discipline worden uitgevoerd (dit is wat we vaak zien…) zal de verbetering niet duurzaam zijn.
In deze case study laten we zien hoe Data Science kan helpen de Check en Act stappen te vergemakkelijken. Belangrijke voorwaarden voor succes zijn
- database integratie van predictive modelling en scoring
- metadata management
We zullen aantonen dat als aan deze voorwaarden wordt voldoen het relatief gemakkelijk is om nieuwe modellen toe te voegen. Hiervoor gebruiken we 2 gangbare data science toepassingen: cross-selling door personalisatie en churn preventie.
Doel nr 1 – omzet verhogen door cross-selling
In dit voorbeeld van een organisatie die vakantiehuizen verhuurt wordt een plan gemaakt om de omzet te verhogen door een campagne waarbij gepersonaliseerde emails worden verzonden met een aanbeveling van een vakantiehuis waar klanten met een vergelijkbaar profiel ook zijn geweest. Er wordt een model gemaakt met het a priori (market basket analyse) algoritme: op grond van historische transacties wordt in kaart gebracht welke
De do fase bevat 4 stappen:
- Bouw rule set
- Bouw scoring model
- Selecteer klanten
- Voor de campagne uit
Eerst wordt het algoritme gekozen en een model gemaakt o.g.v. historische transacties. In het scoring model wordt de selectie van vakantiehuis-suggesties bepaald (huizen die altijd bezet zijn kunnen bijvoorbeeld worden uitgefilterd). Ook bij het selecteren van klanten kunnen filters worden toegepast; alle criteria worden in de metadata database opgeslagen zodat de performance van het model daaraan gerelateerd kan worden.
Ook wordt per klant vastgelegd welke aanbeveling met welk model is gedaan zodat ook hiervan geleerd kan worden.
In de check stap worden de resultaten van de campagne geanalyseerd, de reacties (opens, clicks, boekingen) worden per klant vastgelegd samen met de informatie over de campagne, rule set, scoring model etc.
Omdat alle informatie centraal is opgeslagen kan in de act stap de volgende plan & do fases worden bepaald.
Doel nr 2 – churn reductie
In dit voorbeeld zoomen we in op de doelstellingen van de loyalty manager in dezelfde organisatie. Churn (klanten stappen over naar andere leveranciers) is een bekend probleem, het zal altijd optreden maar het is belangrijk om het te beperken: zoals bekend kost het verwerven van een nieuwe klant een veelvoud van het behouden van een bestaande klant. Om churn te beperken moeten we per klant de kans op churn bepalen en ons met name richten op klanten met een hoog churn risico.
In de plan fase wordt de doelstelling bepaald, bijvoorbeeld een reductie van 10%. Uiteraard vereist dit dat we een goede schatting hebben van de churn die zou optreden als we geen campagne zouden doen.
De do fase bevat 4 stappen:
- Bouw een goed predictiemodel (incl. de te gebruiken predictoren)
- Verzamel / prepareer de predictoren voor alle klanten
- Bereken het churn risico per klant met het model en identificeer klanten met een hoog risico
- Voor de campagne uit op de geïdentificeerde klanten
In de check stap worden de resultaten van de campagne geanalyseerd, de reacties (opens, clicks, boekingen) worden per klant vastgelegd samen met de informatie over de campagne, predictiemodel etc. Het resultaat van de campagne wordt vergeleken met het percentage churn wanneer er geen campagne zou zijn uitgevoerd.
Omdat alle informatie centraal is opgeslagen kan in de act stap de volgende plan & do fases worden bepaald.
Data Science biedt de mogelijkheden om de Check en Act stappen te vergemakkelijken
Zoals eerder werd gememoreerd vereist duurzame procesverbetering een integrale PDCA cyclus. De Check en Act stappen schieten er vaak bij in en dat is een gemiste kans. Wat we kunnen doen is de drempel voor de Check en Act stappen aanzienlijk verlagen door de benodigde informatie gemakkelijk beschikbaar te maken.
Data Science biedt hiervoor de mogelijkheden – mits goed toegepast. Om processen duurzaam te verbeteren is een integrale benadering vereist: naast machine learning / statistiekexpertise is data(base) integratie even essentieel.
Python Notebooks op een laptop kunnen nuttig zijn voor educatie en prototyping maar hebben weinig toegevoegde waarde voor de Check en Act fasen.
Zonder expertise en focus op gebieden als SQL, ETL, data cleaning, statistiek, database programmeren / administratie kan een data science team weinig bijdragen aan duurzame procesverbetering.
Metadata en database integratie
Leren van een marketing campagne vereist dat we de resultaten kunnen relateren aan het gebruikte model, scoringcriteria etc. En dat per klant per campagne-actie. Dat gaat niet met spreadsheets, hier is 100% database integratie noodzakelijk.
Dit betekent dat alle informatie van een model (gekozen algoritme, regressie-coëfficienten, test/training sets, model, implementatie zoals Python notebook of SPSS Modeler stream etc. ) samen met de informatie van een campagne (selectiecriteria, tijdstip, email subject line etc.) d.m.v. een database query gerelateerd kan worden aan klant data (klantprofiel, boekingen, opens, clicks, etc.).
Idealiter vindt het scoren van een model (bepalen van churn risico, het aanbevolen vakantiehuis) plaats binnen de database. Met name vanuit AVG compliance (security, privacy) is het geen optie om met datasets heen en weer te schuiven. Veel modellen (market basket analyse, (logistic) regressie, discriminant analyse) zijn prima te implementeren in SQL procedures die de modelparameters uit de metadata tabel kunnen lezen.
Wanneer alle data beschikbaar is in de database omgeving is de informatie die nodig is voor de check en plan stappen gemakkelijk beschikbaar te maken in een dashboard. Dit kan de drempel om de PDCA cyclus efficiënt en effectief te gebruiken aanzienlijk verlagen.
Combinatie van PDCA processen
Nog een voordeel van de integrale data science benadering is de mogelijkheid processen te combineren.
In de omzetverhoging cyclus ging het om persoonlijke aanbevelingen met als doel de omzet te verhogen. In de churn cyclus ging het om klanten te identificeren die een hoog churn risico hebben. In een geïntegreerde omgeving kunnen we nu deze cycli combineren: het selecteren van klanten voor een retentie campagne (waarbij we bijvoorbeeld extra korting geven) kunnen we ‘delegeren’ aan het churn model: klanten met een hoog risico selecteren we voor een aantrekkelijke persoonlijke aanbieding.
In een geïntegreerde omgeving is deze koppeling heel goed te automatiseren. Elke dag of week kunnen de 1000 klanten met het hoogste churn risico geselecteerd worden voor de persoonlijke aanbieding. De modellen kunnen periodiek worden verbeterd terwijl het geautomatiseerd proces gewoon doorloopt.
In het genoemde DDMA onderzoek kwam naar voren dat de toepassing van prescriptive modelling (predictive: wat kunnen we verwachten, prescriptive: wat moeten we doen) achter blijft – slechts 5% van de organisaties gebruikt het. Met het koppelen van goed geïmplementeerde PDCA cycli kan een stapje in deze veelbelovende richting worden gemaakt.
