Theorie vs. praktijk: de ROI* van een conversie optimalisatie traject

In mijn vorige blog heb ik de return-on-investment case voor conversie optimalisatie beschreven. Hoewel die op lange termijn zeer positief is, is het soms wel lastig om de opbrengst van een conversie optimalisatie traject goed inzichtelijk te maken. Waarom is dat zo? In dit blog wil ik je een helpende hand bieden en inzichtelijk maken waarom conversie optimalisatie trajecten lastig te beoordelen zijn, maar vooral op welke nuances je dient te letten als je dat gaat doen.  

Marketing Research Chart: Does A/B testing deliver a positive ROI? -Marketingsherpa

Als we de cijfers van Marketingsherpa (2012) mogen geloven weet meer dan de helft van de deelnemers de return-on-investment (ROI) van hun conversie optimalisatie traject niet, of weten niet hoe ze dit konden berekenen.

Laten we vooral kijken hoe we bij benadering deze berekening kunnen maken. Als je je ROI zou willen berekening van een conversie optimalisatie traject, zou je in theorie al je positieve resultaten bij elkaar kunnen optellen. Dan kun je redelijk schatten wat zo’n traject je in euro’s heeft opgeleverd. In de praktijk wordt een ROI-berekening steeds lastiger naarmate een conversie optimalisatie traject langer duurt. Hoe zit het precies?

De return-on-investment van conversie optimalisatie

De ROI van een positieve A/B-test is gemakkelijk uit te rekenen: als er een 99% kans is dat een aanpassing in een range van 2,5% – 5% voor meer bestellingen gaat zorgen, kun je uitrekenen wat dat je in de praktijk op termijn zou moeten gaan opleveren.

De ROI van een negatieve A/B-test is uiteraard negatief. Echter als je de slechter presterende aanpassing toch niet doorvoert, is je ROI wat minder negatief en verlies je alleen wat op proceskosten. Hierbij houden we dan nog geen rekening met eventuele waardevolle inzichten en learnings die uit A/B-tests met een negatief resultaat voortkomen. Ook lijd je geen omzetverlies in het geval je de aanpassing gewoon had doorgevoerd.

Stel we doen 6 A/B-tests in een half jaar, dan kijken we graag naar de winrate. Met een winrate van 33% kun je dus vooraf verwachten dat 2 van de 6 tests een positief resultaat opleveren. Dit zegt dus nog niets over het verhoogde conversie percentage wat je na het doorvoeren kunt verwachten. Het vertelt je alleen dat de kans op een winnende aanpassing in een A/B-test 33% is.

Willen we een aantal A/B-tests voor een bepaalde periode evalueren, dan wordt het al lastiger. Hierbij is het probleem dat je voor elke A/B-test niet altijd voor hetzelfde conversiedoel aan het optimaliseren bent. Met sommige aanpassingen wil je juist de soft doelen proberen te verbeteren. Deze doelen zijn misschien niet meteen van invloed op het hoofd conversie doel, maar wel op de ervaring die je website biedt. Voorbeeld: bij e-commerce partijen is het percentage bestellingen niet altijd de primaire KPI van de A/B-test. Dat kan bijvoorbeeld ook het aantal winkelmandje toevoegingen zijn.

Voor conversie optimalisatie trajecten die langer dan een jaar duren geldt hetzelfde. Omdat er bij verschillende A/B-tests verschillende doelen (vaak tegelijk) worden geoptimaliseerd, is het lastig om daar het cumulatieve resultaat van op te maken. Al zou je de effecten op elkaar in kaart kunnen brengen, reken je jezelf al snel rijker dan gedacht.

Over de invloed van externe factoren

Vaak gaan we ervan uit dat het conversiepercentage zonder onderhoud op hetzelfde niveau blijft, maar is dat een wel een juiste aanname? Als de externe factoren veranderen, verandert het conversiepercentage automatisch mee.

Voorbeeld: het conversiepercentage kan door marktomstandigheden 10% gedaald zijn in een kwartaal. Echter als ik met één van mijn A/B tests +10% conversiepercentage haal, is het feitelijke conversiepercentage dus hetzelfde gebleven, maar ziet het er van bovenaf niet uit alsof het conversie optimalisatie traject ‘zijn werkt wel doet’. Effectief is het conversiepercentage namelijk niet toegenomen, terwijl zonder het conversie optimalisatie het conversiepercentage in datzelfde kwartaal zou zijn afgenomen.

Van welke externe factoren is website performance o.a. afhankelijk?

Om er een aantal te noemen:

    1. Het veranderende concurrentielandschap. Hierdoor zul je bijvoorbeeld op dezelfde advertentieposities niet hetzelfde rendement halen met hetzelfde mediabudget. Marktomstandigheden kunnen ook gunstiger zijn geworden: als er een belangrijke concurrent wegvalt, kan het zo zijn dat jouw totalen en percentages toenemen zonder dat er eigenlijk iets gebeurt waar je invloed op hebt gehad. 
    2. Niet (direct) conversie optimalisatie gerelateerde website evolutie. De evolutie van de website is ook gaande zonder conversie optimalisatie. Anders gezegd vinden er bijvoorbeeld technische aanpassingen of andere optimalisaties plaats. Of verandert simpelweg het aanbod door interne of externe omstandigheden. 
    3. De website populatie verandert constant. De aantallen bezoekers, de bronnen waarvan ze komen en de customer journey instappunten van elk van deze bezoekers is elke keer weer anders. 
    4. Seasonality. Dat betekent dat verkopen in de zomermaanden zeer waarschijnlijk wat moeizamer gaan dan vlak voor de kerst. Voor sommige bedrijven is hun verkoop piek in een bepaald seizoen, denk aan de online skikleding branche of aan zorgverzekeraars. Het lijkt logisch dat elk online bedrijf eigenlijk te maken heeft met een vorm van seasonality.

Kortom, als ik jaar op jaar het conversiepercentage vergelijk en dan een conclusie trek hoe een conversie optimalisatie traject het heeft gedaan, ga ik er wel vanuit dat alle andere omstandigheden hetzelfde zijn gebleven. Het is wellicht wel de ‘beste vergelijking die je kunt maken’, maar de validiteit is ver te zoeken.

Nuances in het interpreteren van A/B testuitslagen

Daarnaast zijn er nog een aantal nuances in het interpreteren van A/B-test uitslagen. Onderstaand een aantal aannames die we in een grijs gebied kunnen plaatsen. Dit zijn aannames die vaak als exact doorgaan, maar die praktisch niet exact te bepalen zijn of in een range liggen.

    1. De stijging in het conversiepercentage is niet exact te bepalen aan de hand van de uitslag, maar je krijgt wel een betrouwbare indicatie. Een A/B-test blijft een kortlopende steekproef uit de populatie. Een steekproef die, mits we die langer door laten lopen zeer waarschijnlijk een andere uitkomst zou hebben. Er zal verschil zitten in resultaat als we dezelfde A/B-test drie weken of een half jaar draaien. Daarom is het fijn als we met Bayesian een range krijgen, en daarmee of een aanpassing zeer waarschijnlijk een positief, negatief of neutrale invloed zal hebben. 
    2. Er zit vertraging tussen het einde van de test en de daadwerkelijke implementatie van een aanpassing. Voor de tijd dat een A/B-test live staat geldt wel dat de helft van de gemiddelde stijging (of daling) wel direct wordt meegenomen in de resultaten. 
    3. Alle aanpassingen worden niet tegen alle aanpassingen getest. We testen namelijk enkel één aanpassing per keer t.o.v. het origineel. Het kan zijn dat A/B-test #5 van invloed is op A/B-test #7 en #8, maar hier kom je niet achter omdat deze aanpassing (nog) niet live staat als je start met A/B #7 en #8. Zet deze logica voort voor 40 random A/B-tests op verschillende pagina’s en je snapt mijn punt. 
    4. Effecten op niet gemeten metrieken. Een uitslag laat een verandering in het conversiepercentage zien, maar natuurlijk zijn er ook effecten op niet gemeten metrieken. Deze meten we niet dus kunnen we ze niet weten (credit: team DA).

Conclusie

Samengevat zijn er dus (bij benadering) veel factoren die we niet exact kunnen bepalen:

  • De invloed van van de optimalisaties van soft conversies op harde conversie doelen.    
  • Constant veranderende factoren als concurrentielandschap, website evolutie, populatie en seasonality.
  • Oneerlijke of niet-exacte uitslagen waarvan we de effecten op overige metrieken eigenlijk niet weten. 

Er zijn dus behoorlijk wat factoren waar we rekening mee moeten houden als we de opbrengst van een conversie optimalisatie traject over een bepaalde periode exact in euro’s willen uitdrukken. Of dat noodzakelijk is, is een tweede. Waarom is conversie optimalisatie zo’n goede investering, zeker voor langere termijn? Omdat je gaat werken aan de basis van je website. Simpel gezegd: een vondst, een aanpassing die meer conversies en een betere bezoekerservaring teweegbrengt, verbeterd de basis van jouw website voor altijd. En zolang deze aanpassing blijft bestaan op onze website, draagt deze aanpassing dus bij aan een hoger conversiepercentage en een betere bezoekerservaring. Over tijd kun je met deze werkwijze een steeds betere basis bouwen, zodat je steeds meer conversies kunt binnenhalen.  

Uiteraard voorziet Traffic Builders in de dienst conversie optimalisatie. Ben je geïnteresseerd geraakt in na het lezen van dit blog? Aarzel dan niet om contact op te nemen of het mij te laten weten in een reply hieronder.