Testy inkrementalności: jak sprawdzić, czy reklama naprawdę coś zmienia

Po co test, skoro jest raport atrybucji

Raport atrybucji pokazuje, które reklamy klient widział przed zakupem. Nie mówi jednak, czy kupiłby bez nich. Kampania remarketingowa może przypisać sobie setki zamówień od osób, które i tak wróciłyby do sklepu. Reklama na frazę z nazwą firmy zbiera kliknięcia ludzi, którzy już szukali właśnie Ciebie.

Test inkrementalności rozwiązuje ten problem tak samo jak badanie kliniczne leku: część odbiorców dostaje „placebo”, czyli brak reklamy, a reszta normalną emisję. Różnica w wynikach to efekt reklamy. Dlaczego modele atrybucji z natury przeceniają kanały z dołu lejka, wyjaśniamy w przewodniku po atrybucji w marketingu.

Najważniejszą miarą testu jest przyrostowy ROAS, czyli przychód powstały wyłącznie dzięki reklamie podzielony przez wydatek. Wyliczenie modelowe: panel reklamowy pokazuje 300 zakupów z kampanii i ROAS 6. Test wykazał, że grupa kontrolna kupowała w tempie odpowiadającym 180 z tych zakupów. Przyrostowych było więc 120, czyli 40%. Przyrostowy ROAS wynosi 6 × 0,4 = 2,4. Przy marży 40% każda wydana złotówka daje około 0,96 zł marży, więc kampania jest na granicy opłacalności, choć panel sugerował świetny wynik.

Jakie są rodzaje testów inkrementalności

Dokumentacja GeoLift zaznacza, że tam, gdzie to możliwe, eksperymenty na poziomie użytkowników są lepsze od geograficznych, bo mają większą moc statystyczną. Geo-test jest za to jedyną opcją, gdy chcesz zmierzyć kanał bez losowania użytkowników, na przykład billboardy, radio czy kilka platform naraz.

Conversion Lift w Google Ads i Meta: wymagania

Google opisuje wymagania badania Conversion Lift na poziomie użytkowników dość precyzyjnie. Według stanu strony pomocy opisanego 9 października 2026 r. przez Relevant Audience badanie obsługuje kampanie w sieci wyszukiwania, sieci reklamowej, wideo, Demand Gen, aplikacji i Performance Max. Nie obejmuje kampanii aplikacji kierowanych na iOS ani reklam podróżniczych.

Google przestawia badania Conversion Lift na metodę bayesowską; według dokumentacji miała ona objąć wszystkie konta w 2025 r. Wynik podaje jako prawdopodobieństwo, że kampania zwiększyła liczbę konwersji, oraz przedział wiarygodności, w którym z prawdopodobieństwem 80% leży prawdziwy przyrost. Wyniki pojawiają się od czwartego dnia raportowania, a przetwarzanie może potrwać do 10 dni. Google podaje też, że w badaniach krótszych niż 14 dni, przy długim czasie do konwersji, bezwzględny przyrost może być zaniżony nawet o 17%.

W Meta test Conversion Lift polega na losowym podziale użytkowników na grupę widzącą reklamy i grupę wstrzymaną. Według opisu PPC Land użytkownicy z grupy kontrolnej przechodzą przez tę samą aukcję, ale tuż przed wyświetleniem reklama kampanii jest zastępowana następną w kolejności. Dzięki temu algorytm traktuje obie grupy tak samo. Meta nie publikuje sztywnych progów w takiej formie jak Google. Poradnik Triple Whale z lutego 2026 r. zaleca grupę kontrolną 10–20% i współpracę z opiekunem konta Meta. O ustawieniach samych kampanii piszemy w tekście o reklamach na Facebooku i Instagramie.

Projekt 1: holdout użytkowników i minimalne wolumeny

Ile danych potrzeba, zależy od tego, jak duży efekt chcesz wykryć. Do zgrubnego oszacowania można użyć reguły Lehra: przy poziomie istotności 5% i mocy 80% liczebność każdej grupy to około 16 × p(1 − p) / d², gdzie p to średni współczynnik konwersji, a d to różnica, którą chcesz wykryć.

Z tej tabeli wynikają trzy praktyczne wnioski. Po pierwsze o wiarygodności decyduje liczba konwersji, a nie użytkowników. Przy bazowym współczynniku 2% potrzebna liczba konwersji jest prawie taka sama, tylko użytkowników wystarczy o połowę mniej. Po drugie małe efekty są drogie: wykrycie przyrostu 10% wymaga około ośmiu razy więcej danych niż wykrycie 30%. Po trzecie mała grupa kontrolna chroni sprzedaż, ale wydłuża test. Przy 10% grupie kontrolnej potrzeba łącznie prawie trzy razy więcej użytkowników niż przy podziale 50/50: około 924 tys. zamiast około 332 tys.

1. Wybierz jedną kampanię i jedną konwersję, najlepiej zakup z wartością.
2. Oszacuj, jakiego przyrostu się spodziewasz. Jeśli nie wiesz, przyjmij ostrożnie 10–20%.
3. Policz z reguły powyżej, ile konwersji potrzebujesz, i sprawdź, ile kampania zbiera w ciągu 2–4 tygodni.
4. Ustal czas testu na co najmniej jeden cykl zakupowy i nie zmieniaj w tym czasie kreacji, budżetu ani promocji.
5. Po teście przelicz wynik na przyrostowy ROAS i porównaj z ROAS z panelu.

Projekt 2: geo-test w regionach

Geo-test dzieli kraj na obszary. W części z nich zmieniasz emisję: wyłączasz ją (tzw. go-dark), zwiększasz (heavy-up) albo uruchamiasz nowy kanał. Pozostałe obszary są grupą kontrolną. Porównujesz sprzedaż z całego systemu, nie tylko konwersje śledzone przez piksel, więc test obejmuje także zakupy telefoniczne i w sklepach stacjonarnych.

Wytyczne GeoLift, otwartego narzędzia Meta, podają konkretne progi:

• co najmniej 20 jednostek geograficznych i co najmniej 25 okresów w danych historycznych;
• historia danych 4–5 razy dłuższa niż test, bez zmian strukturalnych, a najlepiej z ostatnich 52 tygodni, by uchwycić sezonowość;
• test trwający co najmniej jeden cykl zakupowy: minimum 15 dni przy danych dziennych albo 4–6 tygodni przy tygodniowych;
• dane dzienne zamiast tygodniowych, bez braków dla żadnego dnia i obszaru;
• stałe działania lokalne i ogólnokrajowe, takie jak telewizja czy prasa, we wszystkich obszarach przez cały test.

Google udostępnił we wrześniu 2026 r. globalnie Meridian GeoX, otwarte narzędzie do testów geograficznych, które obsługuje projekty holdout, go-dark i heavy-up oraz testy wielokomórkowe. Według TechWyse wymaga dziennych danych i co najmniej 10 obszarów dla testu z jedną grupą testową, a zalecane jest 50 lub więcej. Wyniki trafiają do modelu Meridian jako założenia wstępne. Ten model opisujemy w tekście o Meridian od Google.

W Polsce podział na województwa nie wystarczy, bo jest ich mniej niż 20. Potrzebny jest poziom powiatów lub miast, który obsługuje kierowanie w danej platformie, oraz sprzedaż przypisana do tych obszarów, na przykład według kodu pocztowego dostawy.

Wyliczenie modelowe. Regiony testowe sprzedają średnio 100 zamówień dziennie. Dzienna różnica między nimi a dopasowaną grupą kontrolną waha się o 15 zamówień (odchylenie standardowe). Przy teście 28-dniowym błąd standardowy średniej różnicy to około 15 / √28 ≈ 2,8 zamówienia. Najmniejszy efekt wykrywalny przy istotności 5% i mocy 80% to w przybliżeniu 2,8 × 2,8 ≈ 7,9 zamówienia dziennie, czyli około 8% sprzedaży. Jeśli spodziewasz się efektu 5%, taki test go nie wykryje. Wydłużenie do 42 dni obniża próg do około 6,5%. Wyliczenie pomija autokorelację danych, więc w praktyce próg będzie nieco wyższy.

Geo-testy są też podstawą pomiaru mediów, które nie zostawiają kliknięć. Przykłady zastosowań opisujemy w tekście o pomiarze kampanii outdoorowej.

Projekt 3: test w czasie dla małych budżetów

Gdy nie masz wolumenu na holdout ani danych regionalnych, zostaje test w czasie. Wyłączasz kampanię na określony okres i porównujesz sprzedaż z okresami, w których działała. Najczęściej sprawdza się w ten sposób kampanię na frazy z nazwą firmy i remarketing.

1. Wybierz okres bez promocji, świąt i wysyłek newslettera z rabatem.
2. Zaplanuj naprzemienne bloki, na przykład tydzień z kampanią, tydzień bez, i powtórz cykl co najmniej dwa razy. Naprzemienność ogranicza wpływ trendu i sezonu.
3. Mierz całą sprzedaż z systemu sklepu oraz ruch z bezpłatnych wyników wyszukiwania. Przy teście kampanii brandowej część klientów przejdzie na bezpłatny wynik.
4. Porównuj średnie z bloków, a nie pojedyncze dni.

Taki test wykryje tylko duże różnice i nie da przedziałów ufności jak narzędzia platform. Mimo to w małej firmie często wystarczy, by podjąć decyzję. Jak zbudować cały system pomiaru przy niewielkiej skali, piszemy w tekście o atrybucji w małej firmie.

Jak czytać wynik testu

Wynik testu to nie jedna liczba, tylko przedział. Jeśli Google pokazuje 90% pewności przyrostu i przyrost 10% w przedziale od 5% do 15%, oznacza to wysokie prawdopodobieństwo, że kampania działa, ale prawdziwy efekt może być dwa razy mniejszy lub półtora raza większy niż wartość środkowa. Decyzje budżetowe warto opierać na dolnej granicy przedziału.

Drugim krokiem jest przeniesienie wyniku do codziennych raportów. Jeśli test pokazał, że 40% konwersji przypisanych kampanii jest przyrostowych, możesz stosować ten współczynnik do raportów atrybucji aż do następnego testu. Dlaczego platformy pokazują różne liczby konwersji i jak je uzgodnić, wyjaśniamy w tekście o rozbieżnościach między Meta, Google i GA4. Wyniki testów są też najlepszym materiałem do kalibracji modelu marketing mix, co opisujemy w tekście o łączeniu MMM, atrybucji i eksperymentów.

Najczęstsze błędy w testach inkrementalności

• Za krótki test. Konwersje z długim czasem decyzji nie zdążą się pojawić, a wynik będzie zaniżony.
• Zmiany w trakcie. Nowa kreacja, promocja albo zmiana budżetu w połowie testu psują porównanie.
• Wcześniejsze zakończenie. Przerwanie testu po kilku dniach, bo „już widać wynik”, zwiększa ryzyko fałszywego wniosku.
• Test bez wcześniejszego wyliczenia próby. Bez niego nie wiesz, czy brak efektu to fakt, czy za mała próba. Podobne zasady obowiązują w testach A/B na stronie.
• Mierzenie tylko konwersji z piksela. Część przyrostu może trafić do innych kanałów, na przykład do bezpłatnego wyszukiwania czy sprzedaży telefonicznej.

• Wiem, na jakie pytanie odpowiada test i jaką decyzję podejmę po wyniku.
• Policzyłem, ile konwersji potrzebuję do wykrycia oczekiwanego efektu.
• Test trwa co najmniej jeden cykl zakupowy.
• W czasie testu nie zmieniam kreacji, budżetów ani promocji.
• Mierzę całą sprzedaż, nie tylko konwersje przypisane przez platformę.
• Wynik zapisuję jako przyrostowy ROAS i przedział, a nie jedną liczbę.

Testy kampanii w Google Ads, zwłaszcza w automatycznych typach kampanii, opisujemy też w tekście o kontroli nad Performance Max.