Van ondermaats naar fenomenaal: zo scoor je met ieder A/B testvoorstel!

Een A/B testvoorstel, hoe beoordeel je die? Jammer genoeg zien wij nog vaak voorstellen voorbijkomen die wij als ondermaats zouden beoordelen. Dit zijn bijvoorbeeld voorstellen op basis van onderbuikgevoel, of voorstellen waarbij hypotheses te groot of te klein zijn uitgewerkt. Kort gezegd kan dit de optimalisatieslagen, die je in je organisatie kan maken met conversie-optimalisatie, beperken. In dit blog kijken we naar de vraag “Hoe kun je zorgen dat je met ieder testvoorstel scoort?” 

Van ondermaats naar fenomenaal

Hoe ontstaan ondermaatse voorstellen? Ondermaatse voorstellen ontstaan bijvoorbeeld bij een brainstorm. Onder het mom van ‘veel mensen zorgen voor meer inzichten’ worden hier vaak (te)veel mensen uitgenodigd. Ze bieden allerlei oplossingen, en geven allemaal hun input over wat ze goed of slecht vinden. Hier wordt vaak geen rekening gehouden met analytics data, kosten bij de webbouwer of de relevantie van pagina’s. Zonde.

Daarnaast komt het weleens voor dat we, zonder dat we het zelf door hebben, door de onbewuste invloed van de ervaren machtsafstand, de HiPPO (Highest Paid Person’s Opinion) te veel respect geven. Hierdoor worden de riskantere voorstellen vaak niet gedaan. Realiseer je dat je dan niet speelt om te winnen, maar om niet te verliezen. Ook zonde.

Ook maken we ons nogal eens schuldig aan het feit voor het grootste gedeelte van de tijd bezig te zijn met vorm van de oplossing, en niet zozeer met het definiëren van het probleem. Dit heeft als nadeel dat er tijd wordt besteed aan oplossingen voor het verkeerde probleem. Ook zonde. Bij deze nog één keer de beroemde quote van Einstein.

 

Met een A/B test probeer je systematisch problemen op te lossen

 

Of deze voorbeelden specifiek voor jou gelden weet ik niet, maat wat mij betreft laten we de wereld van de ondermaatse voorstellen zo snel mogelijk achter ons.

Onvoorspelbaarheid

Bezoekersgedrag is onvoorspelbaar, en dat is maar goed ook. Het feit dat elke bezoeker zich willekeurig gedraagt is in jouw voordeel. Hierdoor kun je immers twee versies objectief vergelijken, en kun je de best presterende versie voor eeuwig live kunt zetten. Willekeurigheid maakt dus dat we met A/B testing voor optimalisatie kunnen zorgen.

Ik heb nog geen expert ontmoet die A/B testresultaten consistent correct kon voorspellen. We hebben allemaal een gevoel bij een bepaalde variant, en we denken allemaal te weten welke versie het beste zal werken. In werkelijkheid doen we er goed aan om onderbuikgevoelens te laten voor wat ze zijn.

Net als bij een speculatieve investering kun je de toekomst niet voorspellen, maar wel een technische analyse doen op basis van de informatie die voor handen is. Dit wil niet zeggen dat je resultaat gegarandeerd positief is, maar wel dat je voorwerk niet beter had gekund.

De A/B testvoorstel checklist

Hieronder de A/B testvoorstel checklist. Deze kun je nagaan om te beoordelen of jouw testvoorstel ondermaats, of fenomenaal is. Dit doe je dus voordat je het voorstel naar je front-end developer stuurt. Als je een testvoorstel beoordeelt, is mijn advies om je te focussen op de criteria waar je objectief naar kunt kijken. Hieronder zes punten die je kunt zou kunnen nagaan.

1. Probeer je een echt probleem te tackelen?

De centrale vraag bij conversie-optimalisatie is hoe je consistent problemen en onduidelijkheden tackelt die de bezoeker daadwerkelijk helpen. Bij het gemak van zijn handelen, bij het gemak van het begrijpen van je waarde propositie, of bij het onderscheid maken van wat jouw product of service zo uniek maakt ten opzichte van alle anderen. Dit zodat elke bezoeker het gevoel krijgt met de rode loper te worden binnen gehaald.

Probeer met het juiste A/B testvoorstel de problemen van jouw bezoekers te tackelen.

Als bezoekers op je klantenservice pagina opzoek zijn naar direct contact, maar je deze optie niet biedt, is het aan jou om dit probleem zo goed mogelijk op te lossen.

Vanzelfsprekend is het zo dat we met onze A/B testing tool van alles en nog wat kunnen testen, maar met welke aanpassingen proberen we nu een echt probleem te tackelen? Het spreekt voor zich dat als jij de grootste hindernissen en problemen van je bezoeker verhelpt, deze bezoekers jou helpen om je salestargets te behalen. Focus je voorstellen dus op bestaande bezoekersproblemen.

2. Optimaliseer je voor het juiste doel?

Elke organisatie heeft zijn belangrijkste doel: het verhogen van het aantal aankopen, aanmeldingen of app downloads. Is je voorstel opgezet om de nieuwsbrief inschrijvingen te verhogen, terwijl je in aankopen commercieel de grootste slag kunt slaan? Richt je op het verhogen van dit doel, dan zal je significante impact op de organisatie hebben. Zorg dus dat je altijd de focus legt op het belangrijkste doel van de organisatie, of aan ondersteunende doelen daarvan.

3. Baseer je je hypothese op data, of kun je data vinden die jouw hypothese kracht bijzet?

Het loont altijd om te A/B testen, zelfs als dat op basis van onderbuikgevoel is. Een goed A/B testvoorstel is echter altijd onderbouwd, of gebaseerd op data. Dit kan dan kwalitatieve data vanuit onderzoeken of polls zijn, of standaard metrieken uit je analytics pakket. Zorg wel dat je uit deze data juiste conclusies trekt.

Als je ziet dat je belangrijkste landingspagina een bouncerate van boven de 90% heeft, dan zou je daar een aantal hypotheses (en diepgaander onderzoek) op kunnen baseren. Opzoek gaan naar data die je hypothese ontkracht kan ook zeer inzichtvol zijn. Wellicht wil je iets testen dat al bij meerdere andere partijen negatief is getest. Of gaf een eerdere testuitslag aanleiding tot je huidige hypothese. Baseer je voorstel dus altijd op data!

4. Kun je je voorstel binnen aanzienbare tijd statistisch toetsen?

Bij elk A/B testvoorstel hebben we een verwachting. Vinden we het realistisch binnen afzienbare tijd een uplift van 25% te verwachten bij de aanpassing van één woord in de call-to-action button? Of zouden we onze hypothese grootser moeten uitvoeren om dat resultaat te behalen?

Hier gaat het om de inschatting of onze hypothese binnen afzienbare tijd statistisch toetsbaar is. Misschien heb je een mooie variant bedacht, maar is je volume en conversieratio erg laag. In dit geval kan jouw variant beter zijn, maar kan dit niet binnen afzienbare tijd worden aangetoond.

Kortom, klopt de impact die een aanpassing kan hebben met de beschikbaarheid in volume en conversieratio die beschikbaar is? Wat betreft significantie hanteren wij de regel om met een niveau van 95% of hoger te werken. Zorg dus dat je een inschatting maakt met het volume en conversieratio dat binnen jouw organisatie voorhanden is.

5. Staat de totale investering in verhouding tot het mogelijke resultaat?

Laat duidelijk zijn dat elk A/B testvoorstel uiteindelijk gebouwd en geïmplementeerd moet worden bij positief resultaat. Dit kost ook tijd en geld. Wellicht wil je de hele landingspagina en funnel op de schop gooien om je hypothese te testen, maar wordt het technisch (bijvoorbeeld omwille van dynamic pricing) of praktisch te lastig om uit te voeren.

Houd er rekening mee dat je met de minste middelen voor de grootste impact wilt zorgen. Dus ook al heb je maar budget om één A/B test per maand uit te voeren, laat deze test dan het absolute beste voorstel zijn waarmee je de conversies van jouw organisatie wilt trachten te beïnvloeden. Maak dus een inschatting van de totale investering (van alle betrokken partijen) die het kost om jouw voorstel te testen.

6. Kan het A/B testvoorstel wel worden doorgevoerd?

Last but not least is het natuurlijk belangrijk om te weten of jouw testvoorstel, bij positief resultaat, ook kan worden doorgevoerd op de site. Dit zou je het beste te weten kunnen komen door het uit te vragen bij de desbetreffende stakeholders. Het spreekt voor zich dat als een voorstel niet kan worden doorgevoerd, je misschien beter een voorstel kan kiezen dat wel kan worden doorgevoerd. Hier zoek je dus eigenlijk de grenzen op van wat je wel, of niet kunt maken. Check dus of jouw voorstel uiteindelijk kan worden doorgevoerd.

Conclusie

Mocht jouw A/B testvoorstel op alle zes de punten een ja hebben, dan kun je concluderen dat jouw voorstel daadwerkelijk fenomenaal is. Je kunt nu met een gerust hart het voorstel naar je webbouwer of front-end developer sturen, omdat jij je technische analyse met succes hebt voltooid.

Welke checks doe jij bij elk voorstel om ervoor te zorgen dat elk voorstel fenomenaal is? Laat het weten!