A/B-test-beregner

Dette værktøj vurderer en eksperiment med to varianter (kontroll A mod variant B) baseret kun på besøg og konverteringer per gruppe. Det beregner hver groups konverteringsrate, den relative forbedring, en z-score for to proportioner samt en p-værdi, en 95% tillidssinterval for forskellen, og en signifikansudvikling ved 0,05-trækken. Deretter anbefaler det, om man skal lancere varianten, holde kontrollen eller fortsætte med testning.

1. I kortet Control A indtast Besøg og Konverteringer. 2. I kortet Variant B indtast Besøg og Konverteringer. 3. Klik på Beregn. Ugyldige indtastelser blokeres med meddelelser: Besøg må være > 0, Konverteringer ≥ 0, og Konverteringer kan ikke overtræde Besøg. 4. Ls konverteringsprocenter, lift, z-score, p-verdi, tillid, den 95% CI, samt badge’en for Signifikant / Ikke signifikant med dess anbefaling. Sæt til nul sletter formularen.

rateA = conversionsA / visitorsA; rateB = conversionsB / visitorsB. Standardfejl: seA = sqrt(rateA × (1 − rateA) / visitorsA), seB på samme måde. z = (rateB − rateA) / sqrt(seA² + seB²). p-værdi = 2 × (1 − Φ(|z|)) med brug af Abramowitz-Stegun-approksimationen for den normale CDF. Tillidssinterval: confidence = (1 − pValue) × 100. Lift: lift = (rateB − rateA) / rateA × 100 (0 når rateA er 0). 95% CI for forskellen: = (rateB − rateA) ± 1.96 × sqrt(seA² + seB²). Signifikant når pValue < 0.05; anbefalingen er at fortsætte med testing, medmindre det er signifikant – da er variantWins valgt hvis lift > 0, andetfalls controlWins.