Kalkulator testów Ab Test Calculator

Narzędzie to ocenia eksperyment z dwiema wariantami (kontrola A wobec wariantu B) na podstawie jedynie liczby odwiedzających i konwersji w grupie. Oblicza współczynnik konwersji każdej grupy, względny wzrost (lift), dwuproporcjonalny z-score i p-value, 95-procentowy przedział ufności dla różnicy oraz werdykt istotności przy progu 0,05, a następnie zaleca, czy wdrożyć wariant, zachować kontrolę czy kontynuować testy.

1. W karcie Kontrola A wpisz Odwiedzających i Konwersje. 2. W karcie Wariant B wpisz Odwiedzających i Konwersje. 3. Kliknij Oblicz. Nieprawidłowe dane wejściowe są blokowane powiadomieniami toast: liczba odwiedzających musi być > 0, konwersje ≥ 0, a konwersje nie mogą przekraczać liczby odwiedzających. 4. Odczytaj współczynniki konwersji, wzrost, z-score, p-value, ufność, 95% PI oraz plakietkę Istotne / Nieistotne wraz z zaleceniem. Reset czyści formularz.

rateA = conversionsA / visitorsA; rateB = conversionsB / visitorsB. Błędy standardowe seA = sqrt(rateA × (1 − rateA) / visitorsA), seB analogicznie. z = (rateB − rateA) / sqrt(seA² + seB²). p-value = 2 × (1 − Φ(|z|)) przy użyciu przybliżenia Abramowitz-Stegun dla normalnego CDF. confidence = (1 − pValue) × 100. lift = (rateB − rateA) / rateA × 100 (0, gdy rateA wynosi 0). 95% PI dla różnicy = (rateB − rateA) ± 1.96 × sqrt(seA² + seB²). Istotne, gdy pValue < 0,05; zaleceniem jest keepTesting, chyba że jest istotne, wtedy variantWins, jeśli lift > 0, w przeciwnym razie controlWins.