Wat je moet weten over Google Optimize

AB testing tools: ze zijn er in overvloed en hebben allemaal hun eigen voor- en nadelen. Om je te helpen bij je keuze voor een van de AB testing tools, heeft Eva in een eerder artikel de mogelijkheden op een rij gezet. In dit artikel leg ik Google Optimize onder de loep: de tool van Google voor A/B testing en personalisatie. Hierbij wordt vooral ingezoomd op de resultatensectie van de tool, waarom je deze niet blind kunt vertrouwen en hoe je toch het maximale uit de data kunt halen.

Met Google’s uitgebreide (vaak gratis) tools zoals Analytics, Search Console en AdWords, kan iedereen (met de nodige training en certificaten) snel aan de slag om de websiteprestaties te optimaliseren. Ook voor conversie optimalisatie bood Google al enige tijd oplossingen aan. Zo kon je met Content Experiments redirect testen uitvoeren. Echter bleef deze oplossing erg achter op het gebied van rapportage en gebruiksvriendelijkheid, dus deze tool werd vrij weinig gebruikt.

En daar was Google Optimize!

Sinds dit jaar biedt Google een eigen A/B testing- en personalisatietool aan: Google Optimize. Met deze tool kun je A/B tests en personalisatiecampagnes opzetten, bouwen, targeten en rapporteren. De tool heeft erg veel mogelijkheden, maar waarom is het nou de moeite waard om deze tool te proberen? Hierbij een aantal voordelen van de tool op een rij:

1. Google Optimize is GEÏNTEGREERD met Google Analytics

Google Optimize heeft verschillende voordelen. Eén daarvan is de naadloze integratie met Google Analytics. Met deze integratie worden setup, targeting en rapportage van tests en personalisatiecampagnes gemakkelijker gemaakt. Je kunt gemakkelijk doelen en segmenten uit Analytics gebruiken voor tests in Optimize. Voor de resultaten worden gegevens uit Analytcis in Optimize weergegeven en kunnen gegevens omgekeerd ook uit Optimize in Analytics worden geladen. Op het resultaatgedeelte kom ik later in dit artikel uitgebreid terug.

2. Google Optimize kan ook gratis 🙂

Het grootste voordeel van Optimize, is dat iedereen ermee kan beginnen. De gratis versie biedt bijna alle functionaliteiten die nodig zijn voor het opzetten van een A/B test- of personalisatiecampagne. De gratis versie heeft een aantal limieten tegenover de betaalde 360-variant, namelijk:

  • Geen doelgroepen uit Google Analytics: Optimize 360 geeft je de mogelijkheid om doelgroepen uit Google Analytics te gebruiken voor het opzetten van tests. De gratis versie heeft deze mogelijkheid niet. Je kunt wel gebruik maken van voor gedefinieerde segmenten die Optimize aanbiedt, maar je kunt ze niet zelf vormgeven of uit Analytics halen.
  • Gelimiteerd aantal experimenten: in de gratis versie kun je maximaal drie tests tegelijkertijd draaien. Voor kleine en middelgrote websites moet dit geen probleem zijn. Veel grotere bedrijven met een uitgebreid testprogramma en -team vinden dit echter wel een grote beperking.
  • Gelimiteerd multivariate testing: met de gratis versie kun je multivariate testen. Echter is het aantal varianten hierbij gelimiteerd tot 16.
  • Gelimiteerd aantal doelen: in de gratis versie kun je maximaal drie doelen per test instellen. Deze doelen zijn voorgeselecteerd op basis van doelen die gemeten worden in Analytics.

Google optimize_vs_360
Bron: Optimize Help Center

 

3. Gebruiksvriendelijkheid: +2

De tool is erg gebruiksvriendelijk. Zonder veel technische kennis kunnen marketeers gemakkelijk de trackingcode installeren, tests bouwen, targeting-instellingen wijzigen, doelen bepalen en resultaten rapporteren.

4. De (aankomende) integratie met Google AdWords

Ten slotte heeft Google aangekondigd dat er nog veel interessants aan zit te komen omtrent Google Optimize. Zo komt er een koppeling met Google AdWords, waarmee je gemakkelijk landingspagina-optimalisatie kunt koppelen aan je search campagnes.

Kortom: genoeg redenen om de tool eens uit te proberen.

Waar het allemaal om draait: de resultaten

De resultatensectie van Google Optimize is duidelijk en gebruiksvriendelijk. Een groot pluspunt is dat gebruik wordt gemaakt van de Bayesian-methode voor het beoordelen van de resultaten. Dit is geen familie uit de Game of Thrones-serie, dus voor de lezers die de Bayesian-methode niet kennen, leg ik het hieronder even uit.

Frequentist vs. Bayesian

Als je al een tijdje bezig bent met A/B testen, zal je vast vaak de term ‘significantie’ tegen zijn gekomen. Deze manier van resultaatbeoordeling (frequentist) is altijd in de vorm van een ‘ja of nee antwoord’. Is het antwoord ‘ja’, dan Is het resultaat significant en voeren we de verandering(en) door. Is het antwoord ‘nee’, dan is het resultaat niet significant en wordt de verandering niet doorgevoerd.

Echter zien we steeds vaker dat een testresultaat niet alleen afgerekend kan worden op significantie en kijken we steeds meer naar de resultaten op de langere termijn: wat is de kans dat variant B op de langere termijn beter presteert dan variant A? En hoeveel winst levert dit ons op? Dit is de Bayesian-methode. Met Bayesian kijk je niet meer naar significantie, maar maak je als het ware een risicoanalyse van de testresultaten, waarbij de beoogde stijging in conversiepercentage wordt afgezet tegen het risico dat de nieuwe variant gaat onderpresteren. Dit zegt veel meer dan alleen significantie en is volgens ons een betere manier om testresultaten af te rekenen.

Google Optimzie is een van de weinige testingtools waarbij de resultaten volledig worden afgerekend op basis van de Bayesian-methode. In de resultatensectie komen de volgende onderdelen naar voren:

  • Improvement: het verschil in conversiepercentage tussen de variant en het origineel.
  • Probabilit to beat baseline: de mogelijkheid dat het conversiepercentage van de variant hoger is dan het conversiepercentage van het origineel.
  • Probability to be best: de mogelijkheid dat een bepaalde variant beter presteert dan al de andere varianten. De som van deze percentage is hierbij altijd 100%.

Google optimize_results

Google optimize_results1

Twist: Waarom je deze rapportage NIET kunt vertrouwen

Hoe mooi en uitgebreid deze rapportage er ook uitziet, er zit een groot nadeel aan. De resultaten worden namelijk berekend op basis van sessies, waar andere tools standaard gebruik maken van unieke gebruikers. Laten we hier wat dieper op ingaan.

Google Analytics sessies hebben een maximale sessieduur van 30 minuten. Dit betekent dat als iemand de website twee keer bezoekt met meer dan 30 minuten tussen beide bezoeken, dat Google Analytics dit zal tellen als twee sessies. Echter gaat het in dit geval wel om één gebruiker. Analyseren op basis van sessies is dus echt voor de korte termijn. Men bezoekt een website gemiddeld meerdere keren voordat een conversie wordt gedaan. Het is dus altijd aan te raden om te rapporteren op basis van unieke gebruikers, in plaats van op basis van sessies.

Hoe krijg je de juiste gegevens om mee aan de slag te gaan?

Allereerst wordt geadviseerd om resultaten altijd uit Google Analytics te halen. Het nadeel hiervan, is dat je dan geen gebruik kunt maken van de Bayesian analyse die Optimize biedt. Gelukkig zijn er genoeg tools om de Bayesian berekening alsnog toe te passen op je (op gebruikers gebaseerde) resultaten.

De beste manier om de juiste gegevens in een overzicht te krijgen, is met behulp van aangepaste rapporten. De werkwijze gaat hierbij als volgt:

  • Stap 1: Maak een aangepast rapport aan in Google Analytics
  • Stap 2: Kies ‘Gebruikers’ als statistiekgroep. Kies daarnaast alle andere metrics die relevant zijn voor het beoordelen van de test.
  • Stap 3: Kies ‘Experiment ID’ of ‘Naam van Experiment’ als dimensiedetail.
  • Stap 4: Kies ‘Variant’ als tweede dimensiedetail
  • Stap 5: Kies de juiste date range
  • Stap 6: voer de gegevens in een Bayesian calculator in en beoordeel de resultaten!

Conclusie: prima tool!

Het feit dat Google Optimize voor iedereen gratis te gebruiken is, de integratie met andere Google tools en de duidelijke interface zorgen ervoor dat de tool zeker aan te raden is voor A/B testing en personalisatiecampagnes. De resultatensectie laat helaas nog te wensen over, maar er zijn verschillende trucjes om toch het maximale uit de data te halen. Wil je ook aan de slag met Google Optimize? Wij helpen je met het opzetten, bouwen, targeten en analyseren van test- en/of personalisatiecampagnes. Neem gerust contact op als je benieuwd bent naar de mogelijkheden.