Test A/B na stronie: wielkość próby, czas trwania i istotność statystyczna

Kiedy test A/B ma sens, a kiedy nie

Test A/B odpowiada na jedno pytanie: czy konkretna zmiana poprawia konkretny wskaźnik. Ruch na stronie jest losowo dzielony między wersję obecną (A) i zmienioną (B), a po zebraniu zaplanowanej liczby użytkowników porównujesz wyniki. Losowy podział sprawia, że obie grupy różnią się tylko testowaną zmianą, więc różnicę w wyniku można jej przypisać.

To najmocniejsza metoda w badaniach konsumenckich, bo mierzy zachowanie, a nie deklaracje. Ma jednak trzy warunki brzegowe. Potrzebujesz wyraźnej hipotezy, wystarczającego ruchu i jednego głównego wskaźnika ustalonego przed startem. Jeśli któregoś brakuje, lepiej zacząć od metod opisanych w przewodniku badania konsumenckie: jak zaplanować i przeanalizować badanie.

Dobre hipotezy rzadko biorą się z pomysłów zespołu. Częściej wynikają z danych: z zapytań w wyszukiwarce sklepu, ze zgłoszeń do obsługi albo z nagrań sesji, na których widać, gdzie użytkownicy się gubią. Te źródła opisujemy w tekstach o badaniach konsumenckich za 0 zł i o mapach ciepła i nagraniach sesji.

Jak policzyć wielkość próby: wzór

Wielkość próby zależy od czterech wartości, które ustalasz przed startem:

• p₁ – bazowa konwersja wersji A, na przykład z ostatnich tygodni w GA4.
• Minimalny wykrywalny efekt (MDE) – najmniejsza różnica, która ma dla Ciebie znaczenie biznesowe. Daje p₂, czyli oczekiwaną konwersję wersji B.
• Poziom istotności α – akceptowane ryzyko fałszywego alarmu, zwykle 5%. Dla testu dwustronnego z = 1,96.
• Moc testu 1 − β – szansa wykrycia efektu, jeśli on istnieje, zwykle 80%. Wtedy z = 0,84.

Liczba użytkowników potrzebna na każdy wariant to:

n = (z(α/2) + z(β))² × [p₁(1 − p₁) + p₂(1 − p₂)] / (p₂ − p₁)²

Do szybkiego szacunku wystarczy reguła, którą podaje Evan Miller w tekście o typowych błędach testów A/B: n = 16 × σ² / δ², gdzie δ to minimalna różnica, a dla konwersji σ² = p × (1 − p). Liczba 16 odpowiada mniej więcej przyjętym wyżej wartościom: (1,96 + 0,84)² × 2 ≈ 15,7.

Przykład modelowy krok po kroku

Sklep ma konwersję 3% na karcie produktu i chce sprawdzić nowy układ przycisku zakupu. Interesuje go wzrost co najmniej o 20% względnie, czyli do 3,6%. Przyjmuje istotność 5% i moc 80%.

1. Wariancje: 0,03 × 0,97 = 0,0291 oraz 0,036 × 0,964 ≈ 0,0347. Suma: 0,0638.
2. Współczynnik: (1,96 + 0,84)² ≈ 7,85.
3. Różnica do kwadratu: 0,006² = 0,000036.
4. n = 7,85 × 0,0638 / 0,000036 ≈ 13 911 użytkowników na wariant, czyli około 27,8 tys. łącznie.
5. Reguła 16σ²/δ² daje 16 × 0,0291 / 0,000036 ≈ 12 934, czyli podobny rząd wielkości.

Ten sam sklep przy innym minimalnym efekcie potrzebuje zupełnie innej próby. Zmniejszenie wykrywanego efektu o połowę mniej więcej czterokrotnie zwiększa wymaganą liczbę użytkowników.

Z tabeli płynie ważny wniosek dla mniejszych serwisów. Przy kilkuset odwiedzinach dziennie wykrycie poprawy o 5–10% jest praktycznie niemożliwe w rozsądnym czasie. Na takich stronach warto testować zmiany o dużej skali, na przykład zupełnie inną ofertę czy układ strony, a nie kolor przycisku.

Ile powinien trwać test A/B

Czas trwania to wielkość próby podzielona przez dzienny ruch, który trafia do testu. Wynik zaokrąglij w górę do pełnych tygodni. Zachowania użytkowników w poniedziałek i w sobotę często się różnią, więc test obejmujący na przykład dziesięć dni nadreprezentuje część dni tygodnia.

• Policz wymaganą próbę przed startem i zapisz ją w planie testu.
• Uwzględnij tylko ruch, który faktycznie widzi testowany element, a nie cały ruch na stronie.
• Planuj pełne tygodnie, nawet jeśli próba zbierze się wcześniej.
• Unikaj okresów nietypowych, takich jak Black Week czy wyprzedaże, chyba że testujesz właśnie zachowanie w sezonie.
• Nie zmieniaj w trakcie testu podziału ruchu, wersji ani kampanii kierujących na testowaną stronę.

Jeśli wyliczony czas przekracza dwa, trzy miesiące, test traci sens. Zmieniają się sezon, oferta i kampanie, a użytkownicy usuwają pliki cookie i trafiają do innej wersji. W takiej sytuacji zwiększ testowaną zmianę albo wybierz wskaźnik o wyższej bazowej wartości, na przykład dodanie do koszyka zamiast zakupu.

Istotność statystyczna: jak odczytać wynik

Po zebraniu próby porównujesz konwersje obu wersji testem dla dwóch proporcji:

z = (p(B) − p(A)) / √(p̂ × (1 − p̂) × (1/n(A) + 1/n(B)))

gdzie p̂ to łączna konwersja obu wariantów. Jeśli wartość bezwzględna z przekracza 1,96, różnica jest istotna na poziomie 5% w teście dwustronnym.

Wyliczenie modelowe: w wersji A 420 zakupów na 14 000 użytkowników (3,0%), w wersji B 504 zakupy na 14 000 użytkowników (3,6%). Łączna konwersja to 3,3%. Statystyka z wynosi około 2,81, a wartość p około 0,005. Różnica jest istotna statystycznie.

Pamiętaj też, że błąd dla różnicy dwóch wyników jest większy niż dla każdego z nich osobno. Pew Research Center pokazuje to na przykładzie sondaży: margines błędu dla różnicy poparcia dwóch kandydatów jest mniej więcej dwukrotnie większy niż dla poparcia każdego z nich. W teście A/B porównujesz dwie niezależne grupy, więc błąd różnicy jest mniejszy niż w tym przykładzie, ale nadal wyraźnie większy niż błąd każdego wariantu. Dlatego dwa wyniki, których przedziały ufności lekko na siebie zachodzą, mogą się jeszcze różnić istotnie, a różnica widoczna gołym okiem nie musi być istotna.

Podglądanie wyników i inne pułapki

Zatrzymanie testu, gdy wynik „wygląda dobrze”

Najczęstszy błąd to codzienne sprawdzanie wyniku i kończenie testu w chwili, gdy narzędzie pokaże istotność. Evan Miller pokazał, że takie powtarzane testowanie zawsze zwiększa odsetek fałszywych zwycięzców. W jego skrajnym przykładzie, przy sprawdzaniu po każdej obserwacji, odsetek fałszywych alarmów rośnie z założonych 5% do 26,1%. Rozwiązanie jest proste: ustal wielkość próby z góry i oceniaj wynik dopiero po jej zebraniu. Jeśli musisz mieć możliwość wcześniejszego zakończenia, użyj narzędzia z metodą sekwencyjną lub bayesowską, zaprojektowaną do takiego podglądania.

Niezgodność proporcji próby (SRM)

Jeśli zaplanowałeś podział 50/50, a warianty dostały na przykład 10 000 i 9 500 użytkowników, coś jest nie tak. Microsoft nazywa to niezgodnością proporcji próby (sample ratio mismatch) i podaje, że dotyczy około 6% jego testów A/B, a w LinkedIn w części analizowanych testów nawet około 10%. Przyczyną bywa filtrowanie botów, przekierowania w jednym wariancie albo utrata danych, gdy jedna wersja ładuje się inaczej. Microsoft sprawdza SRM testem chi-kwadrat i uznaje go za wykryty przy p < 0,0005. Testu z SRM nie oceniaj, dopóki nie znajdziesz przyczyny.

Zbyt wiele wskaźników i segmentów

Przy 20 niezależnych porównaniach na poziomie 5% jedno „istotne” wyjdzie średnio przypadkiem. Dlatego przed startem wybierz jeden wskaźnik główny, a resztę traktuj jako pomocnicze. Wyniki w segmentach, na przykład tylko na telefonach, traktuj jako hipotezy do kolejnego testu, a nie jako odkrycie.

Zgody na pliki cookie

Narzędzia do testów zwykle przypisują użytkownika do wariantu za pomocą plików cookie lub podobnych identyfikatorów. Część użytkowników nie wyrazi zgody, więc w analizie widzisz tylko tych, którzy ją wyrazili. Jak zgody wpływają na dane, wyjaśniamy w tekście o Consent Mode v2 w praktyce.

Jakich narzędzi użyć po zamknięciu Google Optimize

Google Optimize i Optimize 360 przestały działać 30 września 2023 r. Google tłumaczył, że chce inwestować w rozwiązania z bardziej rozbudowanymi możliwościami testowania, i przeniósł nacisk na integracje z GA4. W pomocy Google Analytics wymienione są trzy narzędzia, z którymi Google współpracuje przy integracji: AB Tasty, Optimizely i VWO. Google udostępnił też publicznie API, więc inne narzędzia testowe również mogą przesyłać dane eksperymentów do GA4.

Przy wyborze narzędzia sprawdź, czy liczy wielkość próby przed startem, czy obsługuje metody sekwencyjne, czy wykrywa SRM i czy pozwala zdefiniować wskaźnik główny na podstawie kluczowych zdarzeń w GA4. Testy kreacji reklamowych prowadzi się z kolei w samych systemach reklamowych. W kampaniach Meta kreacja wpływa też na to, komu reklama się wyświetla, o czym piszemy w tekście o kreacji jako targetowaniu.

Co testować najpierw

Największy efekt dają zmiany w miejscach, przez które przechodzi dużo ruchu i gdzie decyzja jest najtrudniejsza: na karcie produktu, w koszyku i na stronie z cennikiem. Wskazówki, co poprawić na karcie produktu, zbieramy w tekście o karcie produktu, która sprzedaje. Testy A/B dotyczą też e-maili, na przykład kolejności i treści wiadomości do osób, które porzuciły koszyk, opisanych w artykule o porzuconych koszykach.

Test A/B na stronie mierzy efekt zmiany wśród osób, które już na nią trafiły. Jeśli chcesz sprawdzić, czy reklama w ogóle przyciąga dodatkowych klientów, potrzebujesz innego eksperymentu, z grupą, która reklamy nie widzi. Tę metodę omawiamy w tekście o testach inkrementalności.