Conversie-optimalisatie is een datavak. En juist daar gaat het vaak mis: tests worden te vroeg gestopt, en een toevallige voorsprong wordt als winst gevierd. Hieronder lees je hoeveel data je echt nodig hebt voor betrouwbare A/B testen, waarom significantie telt, en wat je doet als je weinig verkeer hebt.
Waarom significantie het verschil maakt
Vroeg in een test schommelen de cijfers sterk, en het is verleidelijk om een voorsprong meteen als winst te lezen. Uit een analyse van ruim 4.000 tests bleek dat 41 procent van de tests significantie claimt terwijl er onvoldoende statistische power is. Van die “winnaars” hield later maar 28 procent stand bij vol verkeer. Bijna de helft van de gevierde overwinningen was dus toeval. Zonder genoeg data neem je beslissingen op ruis.
Wat bepaalt hoeveel data je nodig hebt?
Er is geen vast getal, want het hangt van drie dingen af:
- Je basis-conversieratio. Hoe lager je conversieratio, hoe meer verkeer je nodig hebt om een verschil betrouwbaar te zien.
- De minimale verbetering die je wilt aantonen (MDE). Wil je een klein verschil van 2 procent oppikken, dan heb je veel meer data nodig dan voor een groot verschil van 20 procent. Een MDE van 2 tot 5 procent is een gangbare richtlijn.
- Je zekerheid en power. De standaard is 95 procent betrouwbaarheid (de kans dat een verschil echt is) en 80 procent power (de kans dat je een echt verschil ook oppikt).
Als concreet ankerpunt: de mediane A/B-test heeft ongeveer 14.800 sessies per variant nodig om een verschil van 5 procent op een basis van 3 procent conversie aan te tonen. De meeste tests draaien tussen de 10.000 en 50.000 bezoekers. Gebruik altijd een steekproefcalculator om je eigen aantal te bepalen, en laat een test minstens één tot twee volledige weken lopen zodat je dag- en weekpatronen meeneemt.
Weinig verkeer? Zo pak je het aan
Niet elk bedrijf heeft tienduizenden bezoekers per maand. Heb je weinig verkeer, dan is klassiek A/B testen vaak niet betrouwbaar af te ronden. Wat je dan wél kunt doen:
- Test grotere veranderingen. Grote ingrepen geven een grotere MDE, en die toon je met minder data aan dan een subtiele tweak.
- Focus op je drukste pagina’s. Test daar waar het meeste verkeer en de meeste omzet samenkomen.
- Leun op kwalitatieve data. Heatmaps, sessie-opnames en klantfeedback laten zien waar bezoekers afhaken, ook zonder statistische massa.
- Kijk naar het grotere geheel. Bij weinig verkeer per test loont het om effecten op omzetniveau te modelleren, bijvoorbeeld met Marketing Mix Modeling.
Wat je vooral niet moet doen: een test stoppen zodra hij toevallig gunstig staat, of significantie forceren. Dat kost je op termijn meer dan het oplevert.
Betrouwbare data is de voorwaarde
Alle statistiek ten spijt: een test is zo goed als de cijfers eronder. Mis je conversies door consent of adblockers, tel je dubbel, of loopt je meting via de browser die data wegvreet, dan test je op een vertekend beeld. Wij zorgen daarom eerst dat je meting klopt, met server-side tracking en één bron van waarheid in het marketing dashboard, gekoppeld aan je echte omzet. Pas op schone data kun je betrouwbaar optimaliseren.
Veelgestelde vragen
Hoeveel verkeer heb ik nodig voor een A/B-test?
Dat hangt af van je conversieratio, het verschil dat je wilt aantonen en je gewenste zekerheid. Als richtlijn heeft de mediane test zo’n 14.800 sessies per variant nodig. Gebruik een steekproefcalculator voor je eigen situatie.
Wat is statistische significantie?
De kans dat het verschil dat je meet echt is en geen toeval. Bij 95 procent significantie is er nog 5 procent kans dat het op toeval berust. Zonder voldoende steekproef haal je die zekerheid niet.
Wat is statistische power bij A/B testen?
De kans dat je een echt bestaand verschil ook daadwerkelijk oppikt. De standaard is 80 procent. Tests met te weinig power claimen vaak winst die zich later niet herhaalt.
Kan ik A/B testen met weinig verkeer?
Beperkt. Test dan grotere veranderingen, focus op je drukste pagina’s, en leun meer op kwalitatieve data zoals heatmaps en sessie-opnames. Forceer geen significantie.
Hoe lang moet een test minimaal lopen?
Bij voorkeur minstens één tot twee volledige weken, zodat je verschillen tussen dagen en weken meeneemt, en altijd tot je de benodigde steekproef en significantie hebt bereikt.
Aan de slag met betrouwbare CRO
Wil je optimaliseren op cijfers die kloppen in plaats van op toeval? Bekijk onze aanpak op conversie-optimalisatie, of vraag de gratis analyse aan. Dan kijken we of je genoeg data hebt en waar de betrouwbare winst zit.