Waarom je de looptijd van je A/B-test moét weten

Vroeger hielden we nog geen rekening met de looptijd van onze A/B-testen. We bedachten een test, maakten een nieuwe variant aan en zetten de test live. Af en toe bekeken we de resultaten en als onze tool aangaf dat deze significant waren, pauzeerden we de test en verwerkten we de resultaten. Het probleem hiermee is dat significantie heel relatief is. Als je op straat mensen ondervraagt met het doel 50 mensen te vinden die boodschappen doen bij supermarkt X, maakt het voor de resultaten van je onderzoek nogal verschil of je 100 of 1000 mensen hebt moeten ondervragen voordat je die 50 vond. Voor A/B-testen is dit niet anders. In dit blog laat ik je zien hoe belangrijk het is om vóór je gaat testen al te weten wat de looptijd van je A/B-test is en hoe je deze looptijden zelf kunt bepalen.

De basis: het voorbereiden van de data

Het berekenen van de looptijd van je A/B-test is eigenlijk heel eenvoudig. Als je eenmaal weet hoe het moet, kun je je niet meer voorstellen dat je het ooit anders – of niet – hebt gedaan. Er zijn drie dingen die je moet weten om de looptijd te kunnen berekenen:

• De pagina’s waarop je de A/B-test wilt uitvoeren
• Het aantal bezoekers per week per pagina
• Het conversiepercentage via die pagina’s

That’s it! Allemaal zaken die je snel uit je eigen webanalytics-tool kunt trekken.

De pagina’s waarop je de A/B-test wilt uitvoeren

Deze stap lijkt mij relatief eenvoudig. Als het goed is heb je wel al een idee van de pagina’s waarop je graag wilt testen. Vaak zijn dit de pagina’s waarvan je weet dat ze het meeste verkeer vangen, of juist de pagina’s waarvan je weet dat ze niet goed presteren.

Het aantal pagina’s waarmee je wilt gaan testen verschilt per website. Mijn stelregel is om met minimaal vier pagina’s tegelijkertijd aan de slag te gaan. Zo kunnen de activiteiten elkaar per pagina afwisselen en staat er in ieder geval altijd één A/B-test live.

Het aantal bezoekers per week per pagina

Hiervoor kun je gewoon je webanalytics-tool checken. Het is belangrijk om rekening te houden met variabelen en invloeden van buitenaf. Het verkeer per week schommelt ontzettend, afhankelijk van bijvoorbeeld een nieuwe aanbieding of zelfs het weer. Ik pak zelf altijd een periode van 12 weken en dat verkeer deel ik vervolgens weer door 12 om tot een aantal per week te komen. Zo heeft het grootste aantal variabele factoren geen invloed op het getal waarmee ik aan de slag ga.

Nog even een praktische tip voor de Google Analytics-gebruikers onder ons: vergeet niet dat pageviews en visitors twee verschillende dingen zijn! Wanneer je de berekening voor looptijd baseert op pageviews in plaats van visitors, zal er van de uiteindelijke uitkomst weinig kloppen. Kijk dus naar de juiste metriek!

Het conversiepercentage via die pagina’s

Check het aantal doelconversies van verkeer dat via deze pagina’s is doorgestroomd. Ook daarvoor pak ik dezelfde periode van 12 weken. Deel het aantal doelconversies per week vervolgens door het aantal bezoekers per week dat je in de vorige stap hebt achterhaald.

Belangrijk om te weten voordat je begint

De regel voor de looptijd van een A/B-test is erg eenvoudig: een test zou eigenlijk nooit langer dan twee weken mogen lopen. Dat heeft te maken met het feit dat het grootste deel van je bezoekers na twee weken de cookies een keer verwijdert, waardoor de kans groot is dat ze bij een volgend bezoek andere keuzes maken. Dit vervuilt je resultaten.

In de praktijk is het echter best lastig om binnen twee weken voldoende verkeer en conversies te genereren voor een A/B-test en daarom hanteren we een uitloop van één week. Die ene week maakt het mogelijk om de meeste A/B-testen af te ronden. Hiervoor moet je wel iets inleveren op de zuiverheid van je resultaten, maar in mijn ervaring is de impact daarvan zo klein, dat je dit voor lief kunt nemen.

Het belang van het MDE

Nu we de benodigde data en regels duidelijk hebben, kunnen we een berekening maken van het MDE.

Het wat?

MDE! Oftewel het Minimum Detectable Effect. Dit is het effect dat je uiteindelijk terug wilt zien op het conversiepercentage als gevolg van je test. Hoe kleiner de verandering die je wilt meten, des te meer verkeer je nodig hebt om deze verandering te kunnen herkennen. Het MDE is dus erg belangrijk voor je looptijd!

In de meeste tools is het MDE het uitgangspunt en de looptijd van de test het gevolg. Wij doen het een beetje anders. Bij ons is de looptijd van een test het uitgangspunt en het MDE het gevolg. Als we weten wat de minimale stijging is die we moeten behalen om binnen maximaal drie weken een significant resultaat te kunnen realiseren, kunnen we daar rekening mee houden als we een testopzet bedenken.

Kortom: bij het uitvoeren van onze berekening spelen we net zo lang met het MDE tot we zien dat we binnen maximaal twee weken een effect kunnen behalen.

De berekening uitvoeren & looptijd achterhalen

Hoe werkt dat nou precies in de praktijk? Om deze berekening uit te voeren, maken we gebruik van een Excel-sheet die we zelf hebben opgezet. Het berekenen van een MDE of de hoeveelheid verkeer die je nodig hebt voor een A/B-test is op zich niets nieuws. Maar wij hebben dit gekoppeld aan een uitkomst in aantal weken. Deze sheet maakt het erg makkelijk om net zo lang aan het MDE te sleutelen tot je zeker weet dat je met een acceptabele looptijd aan de slag gaat.

Download hier de sheet zodat je de berekening kunt volgen en zelf ook berekeningen kunt uitvoeren

Je begint met het invullen van het aantal bezoekers en het conversiepercentage per pagina. In mijn fictieve voorbeeld heb ik te maken met een homepage, een productpagina en een informatiepagina. De homepage vangt per week 6000 bezoekers en heeft een gemiddeld conversiepercentage van 3,5%. De productpagina heeft per week 2000 bezoekers en een conversiepercentage van 3%. De informatiepagina ziet slechts 1000 bezoekers per week met een conversiepercentage van 2%. Deze data vul ik in op de sheet:

Het standaard uitgangspunt voor een MDE is 20%. Bij dit percentage heb je maar een hele kleine wijziging nodig (bijvoorbeeld de kleur van een button) om een significant resultaat te kunnen behalen. Zoals je kunt zien is dit percentage in mijn voorbeeld voor de homepage voldoende; dit resulteert in een looptijd van 3 weken. Hier kan ik dus met kleine wijzigingen gaan testen en toch binnen de maximale looptijd het resultaat behalen. Ik kan hier echter waarschijnlijk ook binnen twee weken significante resultaten behalen en dat heeft natuurlijk de voorkeur. De andere twee pagina’s hebben met 20% een veel te lange looptijd nodig.

De vervolgstap is dus om aan het MDE te sleutelen. Mijn doel is om een percentage te vinden waarbij de looptijd op maximaal drie weken terecht komt, of twee weken in het geval van de homepage. Het sleutelen zal je in eerste instantie misschien wat tijd kosten, maar naarmate je het wat vaker hebt gedaan zal je sneller en makkelijker aankunnen voelen in welke richting het MDE moet gaan voor de juiste looptijd.

De uitkomst: hulp bij de opzet van je A/B-test

Uiteindelijk haal ik uit de sheet de volgende uitkomst:

De looptijd van je A/B-test berekenen levert uiteindelijk twee resultaten op. Aan de ene kant weet je na het uitvoeren van de berekening dus hoe lang je A/B-test live moet staan om een significant resultaat te kunnen behalen. Aan de andere kant weet je ook meteen welke impact je A/B-test moet generen om überhaupt een significant resultaat te kunnen laten zien. Met behulp van dit laatste kun je bepalen of de wijziging die je wilt testen wel groot genoeg is om een resultaat te tonen.

De kleuren van het MDE worden automatisch toegekend en hebben te maken met de grootte van het percentage. Bij een laag percentage voor het MDE weet ik dat ik voldoende testen kan uitvoeren. Als het percentage onder MDE erg hoog is, moet ik mij misschien wel afvragen of het testen met deze pagina de moeite waard is. De legenda is als volgt:

Het is dus noodzakelijk om de berekening van de looptijd voor de A/B-test uit te voeren voor je begint met het bedenken van een invulling voor de test om…

• …te bepalen wanneer welke test live kan gaan. Je kunt tests op de verschillende pagina’s met elkaar afwisselen en je weet van te voren op welke datum je een A/B-test kan starten en wanneer je deze ook weer kan afronden
• …van te voren inzicht te hebben in de grote van de wijziging die je moet gaan testen. Hoe hoger het benodigde MDE, hoe uitgebreider je testopzet moet zijn.

Door tijdens het opstarten van je conversie-optimalisatietraject rekening te houden met deze factoren minimaliseer je de kans op A/B-testen zonder significant resultaat!

Zelf aan de slag

Met behulp van deze uitleg en de sheet kun je ook zelf aan de slag! Bekijk de pagina’s waarmee je wilt gaan testen, realiseer het benodigde verkeer per week en het conversiepercentage en tweak net zo lang tot je een acceptabele looptijd hebt gevonden.

Tot slot…

★  Hoe pak jij deze berekening aan? En ontbreekt er volgens jou nog wat? Wij horen het graag van je, dus laat vooral je reactie achter onder dit blog.

Hulp nodig bij het bepalen van de looptijd?

Zie je het belang van het bepalen van de looptijd van een A/B-test in, maar weet je niet goed hoe je dit aan moet pakken? Dan helpen wij je daar natuurlijk graag bij. Meer weten? Neem dan vrijblijvend contact met ons op.