A/B-testcalculator

Deze tool evalueert een experiment met twee varianten (controle A versus variant B) aan de hand van alleen bezoekers en conversies per groep. Hij berekent het conversiepercentage van elke groep, de relatieve lift, een z-score en p-waarde voor twee verhoudingen, een 95%-betrouwbaarheidsinterval voor het verschil en een uitspraak over significantie bij de drempel 0,05, en beveelt vervolgens aan of de variant moet worden uitgerold, de controle behouden moet blijven of dat verder getest moet worden.

1. Voer in de kaart Controle A Bezoekers en Conversies in. 2. Voer in de kaart Variant B Bezoekers en Conversies in. 3. Klik op Berekenen. Ongeldige invoer wordt geblokkeerd met toasts: bezoekers moeten > 0 zijn, conversies ≥ 0 en conversies mogen het aantal bezoekers niet overschrijden. 4. Lees conversiepercentages, lift, z-score, p-waarde, betrouwbaarheid, de 95%-BI en de Significant / Niet significant-badge met zijn aanbeveling. Reset wist het formulier.

rateA = conversionsA / visitorsA; rateB = conversionsB / visitorsB. Standaardfouten seA = sqrt(rateA × (1 − rateA) / visitorsA), seB analoog. z = (rateB − rateA) / sqrt(seA² + seB²). p-waarde = 2 × (1 − Φ(|z|)) met behulp van een Abramowitz-Stegun-benadering van de normale CDF. confidence = (1 − pValue) × 100. lift = (rateB − rateA) / rateA × 100 (0 wanneer rateA 0 is). 95%-BI voor het verschil = (rateB − rateA) ± 1,96 × sqrt(seA² + seB²). Significant wanneer pValue < 0,05; de aanbeveling is keepTesting tenzij significant, dan variantWins als lift > 0, anders controlWins.