Churnen du aldri ser: Hvorfor forebygging er så vanskelig å måle

Kort svar

Hvorfor er det så vanskelig å måle churn som Customer Success har forhindret?

Fordi man bare ser det som faktisk skjedde. En kunde som ble værende etter et tiltak, kunne ha blitt værende uansett – og churnen som ble forhindret, finnes ikke i noen rapport. Effekten kan ikke observeres, bare anslås, ved å sammenligne med en gruppe som ikke fikk tiltaket. Den mest pålitelige måten er en tilfeldig valgt kontrollgruppe.

En Customer Success Manager tar kontakt med en kunde som har sluttet å bruke produktet. De finner problemet, løser det, og tre måneder senere fornyer kunden avtalen. I rapporten står det én ting: en fornyelse. Den ser helt lik ut som alle de andre fornyelsene det kvartalet.

Spørsmålet ingen kan svare sikkert på, er om kunden ville ha sluttet uten samtalen. Kanskje. Kanskje ikke. Det er dette som gjør forebygging så vanskelig å verdsette: Når den virker, skjer det ingenting – og det som ikke skjer, kan ikke telles.

Denne artikkelen handler om hvorfor problemet oppstår, hvilke feilslutninger det fører til, og hvordan man kan anslå effekten likevel.

Hvorfor det som ikke skjedde, ikke kan observeres#

Å si at et tiltak «reddet» en kunde, er egentlig å sammenligne to versjoner av samme kundeforhold: det som skjedde, og det som ville ha skjedd uten tiltaket. Den andre versjonen kalles det kontrafaktiske utfallet – det som ville ha skjedd hvis noe hadde vært annerledes.

Problemet er at bare den ene versjonen noen gang finnes. Kunden fikk enten samtalen eller ikke. Man kan aldri observere begge utfallene for den samme kunden på det samme tidspunktet.

I statistikken er dette godt kjent. Statistikeren Paul W. Holland kalte det i 1986 for det grunnleggende problemet med kausal slutning: Man kan ikke observere effekten av en behandling på én enkelt enhet, fordi man bare ser utfallet med eller uten behandlingen – aldri begge.¹ Customer Success har nøyaktig det samme problemet. Det har bare sjelden blitt kalt ved navn.

To versjoner av samme kundeforhold

Det som skjedde

1. Kunden viser risikosignaler
2. CSM tar kontakt
3. Problemet løses
4. Kunden fornyer

Synlig: én fornyelse, lik alle andre.

↕ Bare den ene historien kan observeres. Effekten av tiltaket er forskjellen mellom dem.

Det som ville ha skjedd

1. Kunden viser risikosignaler
2. Ingen tar kontakt
3. Problemet vokser
4. Kunden sier opp

Usynlig: churnen som aldri ble churn.

Konsekvensen er at effekten av forebyggende arbeid alltid er et anslag. Det betyr ikke at den ikke kan måles. Det betyr at den må måles indirekte, gjennom sammenligning med kunder som ikke fikk tiltaket – og at kvaliteten på anslaget avhenger helt av hvor godt sammenlignbare de kundene er.

Tre feilslutninger det fører til#

Når det kontrafaktiske utfallet ikke er synlig, fyller man ofte inn hullet med antakelser. Tre av dem er særlig vanlige.

Alle som ble værende, ble reddet#

Mange Customer Success-team fører en oversikt over kunder de har «reddet»: kunder som var i risiko, fikk oppfølging og ble værende. Problemet er at en del av disse kundene ville ha blitt værende uansett. En slik oversikt teller alle som ble værende, ikke dem som ble værende på grunn av tiltaket.

Summerer man slike lister over et år, kan resultatet bli at teamet har «reddet» flere kunder enn det er rimelig at det har gjort. Listen er ikke verdiløs – den dokumenterer arbeid og gir eksempler – men den er ikke et mål på effekt.

Kunder i risiko blir bedre av seg selv – delvis#

Kunder blir ofte flagget som risikokunder i et dårlig øyeblikk: en måned med lav bruk, en klage, en kontaktperson på ferie. Mange slike målinger beveger seg tilbake mot det normale av seg selv, uten at noen gjør noe. I statistikken kalles det regresjon mot gjennomsnittet.

Det betyr at en gruppe risikokunder som får oppfølging, nesten alltid vil se bedre ut etterpå. Spørsmålet er hvor mye bedre de ser ut enn de ville ha gjort uten oppfølging.

Hypotetisk eksempel

60 % → 15 pp

Uten en sammenligningsgruppe ser tiltaket ut til å virke for 60 % av kundene. Med en sammenligningsgruppe er det anslåtte bidraget 15 prosentpoeng.

Ingen churn betyr ingen behov#

Den tredje feilslutningen er den mest kostbare. Hvis forebyggingen virker, går churnen ned. Da kan det se ut som om problemet var mindre enn antatt – og at ressursene kan brukes et annet sted.

Hvis Customer Success-arbeidet så reduseres, kommer churnen ofte tilbake, men gjerne med forsinkelse. Kunder som ikke får oppfølging, slutter ikke neste dag. De slutter ved neste fornyelse, som kan ligge mange måneder frem i tid. Da er det vanskelig å koble økningen til beslutningen som ble tatt lenge før.

Hvorfor redningsaksjonen får æren#

Det kontrafaktiske problemet påvirker også hvilket arbeid som blir sett. En dramatisk redningsaksjon har en historie: en kunde som var på vei ut, et møte, en løsning, en fornyelse. Den kan fortelles i et ledermøte.

Godt forebyggende arbeid har ingen slik historie. En bedre onboarding gjør at færre kunder havner i risikosonen i det hele tatt. Det finnes ingen enkeltkunde å peke på, ingen krise som ble avverget – bare en kurve som er litt lavere enn den ellers ville ha vært.

Resultatet kan være at organisasjonen belønner det synlige arbeidet og nedprioriterer det som virker tidligere i kundeforholdet. Det er en faglig vurdering, ikke et forskningsfunn, men mekanismen er lett å kjenne igjen: Det som kan telles, får oppmerksomhet.

En bedre onboarding har ingen redningshistorie. Den har bare færre kunder som trengte å reddes.

Slik kan effekten anslås likevel#

Selv om det kontrafaktiske utfallet aldri kan observeres direkte, kan det anslås. Metodene under er ordnet fra sterkest til svakest. Alle bygger på samme idé: å finne en gruppe kunder som ligner dem som fikk tiltaket, men som ikke fikk det.

Metoder for å anslå forebygget churn

Sterkere grunnlagSvakere grunnlag

1. Tilfeldig kontrollgruppe

   Holdout

   En tilfeldig valgt del av kundene får ikke tiltaket.

2. Trinnvis innføring

   Alle får tiltaket – i tur og orden

   Sammenlign dem som har fått det, med dem som venter.

3. Naturlige sammenligninger

   Kapasitet, terskler

   Kunder som tilfeldigvis ikke ble nådd.

4. Prognose mot faktisk

   Risikomodell

   Forventet churn sammenlignet med faktisk.

5. Før og etter

   Tidsserie

   Enkel, men påvirkes av alt annet som endret seg.

6. Redningslogg

   Eksempler

   Dokumenterer arbeid, ikke effekt.

Tilfeldig kontrollgruppe#

Den mest pålitelige metoden er å velge ut en tilfeldig del av kundene som ikke får tiltaket i en periode, og sammenligne resultatene. Fordi utvelgelsen er tilfeldig, er gruppene i utgangspunktet like – også på ting man ikke har målt. Forskjellen i churn mellom gruppene er da det beste anslaget på effekten.

Innvendingen er at det kan føles galt å holde hjelp tilbake. Det er en reell vurdering, men den kan ofte løses:

• Hold tilbake det nye, ikke det grunnleggende. Kontrollgruppen får fortsatt vanlig Customer Support og ordinær oppfølging – bare ikke det nye tiltaket som skal testes.
• Begynn med automatiserte tiltak. For e-poster, produktmeldinger og digitale kundereiser er kontrollgrupper vanlig praksis i markedsføring og sjelden kontroversielt.
• Hold kontrollgruppen liten og tidsbegrenset. Den trenger ikke vare evig – bare lenge nok til at forskjellen kan måles.

Trinnvis innføring#

Hvis alle kunder skal få et tiltak, men ikke kan få det samtidig, kan rekkefølgen brukes som sammenligning. Kundene som får tiltaket først, sammenlignes med dem som ennå ikke har fått det. Er rekkefølgen tilfeldig, er metoden nesten like sterk som en kontrollgruppe – og ingen kunder holdes permanent utenfor.

Naturlige sammenligninger#

Noen ganger oppstår det sammenligningsgrupper av seg selv. Et team har ikke kapasitet til å kontakte alle risikokundene. En kunde havner rett under grensen for personlig oppfølging, en annen rett over. Slike situasjoner kan gi nyttige sammenligninger.

Svakheten er at gruppene sjelden er helt tilfeldige. Kundene teamet rakk å kontakte, kan ha blitt valgt fordi de virket lettest å redde. Da måler sammenligningen delvis utvelgelsen, ikke tiltaket.

Prognose mot faktisk#

Har virksomheten en risikomodell eller helsescore, kan man sammenligne hvor mange kunder modellen forventet ville slutte, med hvor mange som faktisk sluttet. Forskjellen er et grovt anslag på effekten.

Metoden forutsetter at modellen var treffsikker før tiltaket ble innført. Ellers er det umulig å skille effekten av tiltaket fra feil i modellen. Den er også utsatt for regresjon mot gjennomsnittet: En modell som flagger kunder i et dårlig øyeblikk, vil overvurdere hvor mange av dem som ville ha sluttet.

Før og etter, og redningslogg#

Å sammenligne churn før og etter et tiltak er enkelt, men svakt, fordi pris, produkt, konkurranse og konjunkturer kan ha endret seg i samme periode. En redningslogg er nyttig for å forstå hva som virker i enkeltsaker, men den sier ingenting om hvor mange av kundene som ville ha blitt værende uansett. Begge kan brukes som støtte – ingen av dem som bevis.

Et regneeksempel med kontrollgruppe#

Eksempelet under viser hvordan en kontrollgruppe gjør det usynlige synlig – og hvorfor anslaget må tolkes med forsiktighet.

Andel risikokunder som sluttet innen seks måneder

Vis tallene

Gruppe	Andel som sluttet
Kontrollgruppe	25 %
Med tiltak	15 %

Uten kontrollgruppen ville virksomheten bare ha sett at 136 av 160 risikokunder ble værende. Det er lett å presentere det som 136 reddede kunder. Kontrollgruppen viser at de fleste av dem – anslagsvis 120 – sannsynligvis ville ha blitt værende uansett.

Anslaget er likevel usikkert. Med 40 kunder i kontrollgruppen utgjør hver kunde 2,5 prosentpoeng. Hadde 8 i stedet for 10 sluttet, ville forskjellen vært 5 prosentpoeng, og anslaget halvert. Små grupper gir store svingninger. Det taler for å gjenta målingen over flere perioder, og for å rapportere anslaget som et spenn heller enn et presist tall.

Slik rapporterer du forebygging ærlig#

Det kontrafaktiske problemet forsvinner ikke, men det kan håndteres åpent. Noen prinsipper gjør rapporteringen både ærligere og mer overbevisende:

1. Si hva sammenligningen er. «Churn ble redusert med 10 prosentpoeng sammenlignet med en tilfeldig kontrollgruppe» er et helt annet utsagn enn «vi reddet 136 kunder».
2. Rapporter usikkerhet. Et spenn er mer troverdig enn et presist tall, særlig med små grupper.
3. Snakk om bidrag, ikke årsak. Retensjon påvirkes av mye mer enn Customer Success. Se Hvordan måler man verdien av Customer Success? for en grundigere gjennomgang.
4. Vis ledende indikatorer. Når effekten på churn ennå ikke kan måles, kan man vise at tiltaket påvirker indikatorer som i egne data henger sammen med retensjon – for eksempel fullført onboarding eller tid til verdi.
5. Følg kohortene over tid. Forebygging viser seg ofte først når en hel kohort har passert fornyelsen. Se Slik måler du churn i et selskap i rask vekst.

Hva du kan gjøre nå#

Det viktigste er å bestemme hvordan effekten skal måles før et tiltak innføres, ikke etterpå. Når tiltaket først er rullet ut til alle, er sjansen for en god sammenligning ofte borte.

Churnen som aldri ble churn, vil aldri stå i en rapport. Men med en god sammenligning kan den anslås – og det er nok til å ta bedre beslutninger om hva som faktisk virker.