AdWords-statistiek: trek de juiste conclusies! (deel 1)

Iedereen die een AdWords-account beheert weet dat (een klein beetje) kennis van statistiek geen overbodige luxe is. Rekenen met gemiddelden, significantie en percentages is aan de orde van de dag. In deze serie neem ik jullie mee in de wondere wereld van de statistiek en de valkuilen waar je in kunt stappen! Open Excel, pak je rekenmachine of telraam en reken mee…

Simpsons paradox

Om maar meteen met de deur in huis te vallen: een prachtig voorbeeld van hoe cijfers kunnen bedriegen. Simpsons paradox werd in 1951 gepubliceerd door niemand minder dan E.H. Simpson. Deze paradox kan het beste uitgelegd worden aan de hand van een voorbeeld.

Stel: je hebt een account waarin je twee advertenties live hebt staan die je wilt beoordelen op basis van conversieratio. Je wilt toch zoveel mogelijk conversies uit je budget halen, of niet?! Laten we zeggen dat na een maand de resultaten zijn van je A/B-test er als volgt uitzien:

Veel adverteerders zouden op basis van deze cijfers Advertentie B tot winnaar uitroepen, de splittest beëindigen en een nieuwe advertentie aanmaken om tegen de winnaar af te zetten. Ook al zijn de resultaten niet significant, een totaal van 31000 klikken is voor veel adverteerders voldoende data om een beslissing op te baseren.

Laten we nu eens kijken hoe de data eruit zien als we segmenteren op apparaat:

Ineens zien we dat advertentie A zowel op desktop als mobiel beter presteert.

Hoe kan dat?!

Omdat in dit geval mobiel slechter converteert en Advertentie A veel vaker op mobiel is vertoond, trekt het lage conversiepercentage op mobiel het totale gemiddelde voor Advertentie A naar beneden. Het relatief lage, maar goed converterende aantal desktop-bezoeken wordt voor Advertentie A teniet gedaan door het grote aandeel mobiele bezoekers dat deze advertentie genereert.

Wat kan ik hier mee?

Bovenstaand voorbeeld kan in de praktijk zomaar voorkomen. Uiteraard kan de derde variabele die invloed heeft op de conversie (in het voorbeeld was dat type apparaat) van alles zijn. Bijvoorbeeld: locatie, dag van de week of misschien zelfs tijd van de dag. Om voor een zo eerlijk mogelijke test te zorgen, adviseren wij daarom altijd om je advertentieweergaven in te stellen op ‘Gelijkmatig rouleren’, om een zo schoon mogelijke dataset te krijgen. Maar dan nog: wees scherp op mogelijke derde variabelen die de resultaten van je test kunnen beïnvloeden!

Tot slot

★  Ben jij bekend met Simpsons paradox? Of ben je deze zelfs al een keer tegengekomen? Wij horen graag meer over jouw ervaringen, dus laat vooral je reactie achter onder dit blog.

Zelf meer controle over je tests?

Wil je zelf meer controle hebben over je tests? De specialisten van Traffic Builders helpen je graag verder met het optimaliseren van je campagnes of het geven workshops in hoe je het maximale uit AdWords kunt halen. Wil je meer weten?  Neem dan vrijblijvend contact met ons op of bekijk al onze SEA-diensten.