Test skuteczności: jak ominąć pułapkę selekcji
Porównanie uczestników z resztą bazy zawsze wyjdzie na korzyść programu i niczego nie dowodzi. Do programu zapisują się ci, którzy i tak wracali.
Mierzysz wtedy, kto się zapisał, a nie co zrobił program. To ta sama iluzja, przez którą większość programów działa w raportach i nie zmienia nic w wynikach. Trzy sposoby, żeby ją obejść, od najprostszego:
1. Kohorty przed i po starcie
Porównaj kohortę klientów pozyskanych w kwartale przed startem programu z kohortą po starcie, w tym samym oknie obserwacji. Sezonowość zaburza wynik, więc zestawiaj te same kwartały rok do roku, drugi z drugim, nie czwarty z pierwszym.
2. Grupa dopasowana po RFM
Do każdego uczestnika dobierz klienta spoza programu o zbliżonym profilu RFM w momencie zapisu i porównuj te dwie grupy. Bliżej prawdy, więcej pracy. Segmentacja RFM z aneksu daje surowiec do dopasowania.
3. Pilotaż z grupą kontrolną
Uruchamiasz program na losowej części bazy, reszta jest grupą kontrolną. Jedyna metoda, która naprawdę odpowiada na pytanie o przyrost. Wymaga decyzji przed startem, bo po fakcie nie da się jej odtworzyć.
Metodę i liczbę wyjściową zapisz przed startem. Nie oceniaj programu wcześniej niż po jednym pełnym oknie T2SP, najlepiej po dwóch. A jeśli test wyjdzie negatywnie, problem prawie nigdy nie leży w mechanice, tylko niżej w piramidzie. Program nagradzający klientów, którzy i tak by nie wrócili, to nie zepsuty program, to zepsuty fundament.
Gdybyś jutro wyłączył punkty, czy klient wróciłby mimo to?
Pięć liczb do obserwowania po starcie
Jedna liczba nie wystarczy, bo lista zapisanych rośnie zawsze. Te pięć razem pokazuje, czy program zmienia zachowanie klientów i ile to kosztuje.
Lejek programu: zapisani, użyli, aktywni
Trzy liczby zamiast jednej: ilu klientów się zapisało, ilu skorzystało z programu choć raz i ilu jest aktywnych, czyli zdobyło albo wykorzystało nagrodę w ostatnich 90 dniach. Lista zapisanych rośnie zawsze i sama nie mówi nic. Największa dziura siedzi zwykle między zapisem a pierwszym użyciem, a jej przyczyną są zasady, których nikt nie rozumie.
Realizacja nagród
Wartość nagród wykorzystanych podzielona przez przyznane. Niska realizacja to nie oszczędność, tylko sygnał, że klient o programie zapomniał. Najzdrowszy układ to wysoka realizacja przy rosnącej częstotliwości: płacisz, ale za realną zmianę zachowania.
Dług punktowy
Saldo nierozliczonych punktów razy wartość punktu. Zobowiązanie, które rośnie w tle i wypływa przy audycie albo zmianie zasad. Skala zjawiska jest duża: według raportu Antavo z 2026 roku ponad jedna czwarta punktów w programach w USA nigdy nie zostaje wykorzystana, co autorzy wyceniają na około 10 miliardów dolarów rocznie. Trzymasz to w ryzach datami ważności i komunikacją przed wygaśnięciem.
Częstotliwość i T2SP: program kontra reszta bazy
Zestaw częstotliwość zakupów i T2SP uczestników z klientami spoza programu. To porównanie pokazuje, czy program w ogóle koreluje ze zmianą zachowania. Pamiętaj tylko, że sama różnica niczego nie dowodzi, o czym mówi test opisany wyżej.
Efektywna marża uczestnika
Marża na zamówieniu minus nagroda i koszt narzędzia. Zestaw ją z marżą klienta spoza programu. Jeśli różnica nie wraca w wyższej częstotliwości albo krótszym T2SP, program jest rabatem rozłożonym w czasie. Sprawdzaj szczególnie najaktywniejszych, bo z nimi dzielisz się marżą najczęściej i to oni najczęściej wyglądają na najlepszych klientów, będąc najmniej rentownymi.
Wielkość próby: czy przy Twojej skali w ogóle to zmierzysz
Test opisany wyżej zakłada, że masz dość klientów, żeby efekt był widoczny ponad szumem. Przy małym sklepie to założenie się nie broni, a nikt tego nie mówi, bo brzmi to niewygodnie dla każdego, kto sprzedaje programy.
Liczba klientów potrzebna w każdej grupie, żeby wykryć wzrost powracalności, wygląda tak. Wartości dla poziomu istotności 0,05 i moc testu 80 procent, czyli standardu, przy którym wynik można traktować poważnie.
| Dzisiejsza powracalność | Wzrost, który chcesz wykryć | Klientów na grupę | Razem w teście |
|---|---|---|---|
| 20% | 2 punkty procentowe | 6 510 | 13 020 |
| 20% | 5 punktów procentowych | 1 094 | 2 188 |
| 30% | 2 punkty procentowe | 8 394 | 16 788 |
| 30% | 3 punkty procentowe | 3 763 | 7 526 |
| 30% | 5 punktów procentowych | 1 377 | 2 754 |
| 30% | 10 punktów procentowych | 356 | 712 |
| 40% | 5 punktów procentowych | 1 534 | 3 068 |
Przełóż to na swój kalendarz i uważaj tu na pułapkę, w którą sam wpadłem, licząc to pierwszy raz. Przy powracalności 30 procent i chęci wykrycia wzrostu o 5 punktów potrzebujesz 2 754 klientów w teście. Sklep pozyskujący 250 nowych klientów miesięcznie zbiera ich przez jedenaście miesięcy. Do tego trzeba dodać całe okno obserwacji, bo ostatni klient zrekrutowany do testu musi jeszcze mieć szansę wrócić. Przy powracalności liczonej w oknie dwunastu miesięcy, tak jak ją definiuję na tej stronie, wynik testu poznasz więc po około dwóch latach, nie po roku.
Które okno wybierasz, taką masz tabelę
Dwa lata to dla większości sklepów nie jest plan, to rezygnacja. Wyjście jest jedno: skróć okno pomiaru i zadeklaruj je przed startem. Zamiast powracalności rocznej mierz powrót w 90 dniach. Wtedy ostatni klient potrzebuje trzech miesięcy obserwacji, a nie dwunastu, i cały test zamyka się w okolicach roku.
Jest jedno ale i trzeba je znać: powracalność 90-dniowa jest znacznie niższa niż roczna, a im niższa wartość bazowa, tym mniejsza wymagana próba przy tym samym wzroście w punktach procentowych. Przy bazie 15 procent wykrycie wzrostu o 3 punkty wymaga 2 402 klientów na grupę, a o 5 punktów tylko 906 na grupę, czyli 1 812 w całym teście. Warunek: liczba bazowa w tabeli musi być zmierzona w tym samym oknie, w którym potem mierzysz efekt. Roczna baza i trzymiesięczny pomiar to dwie różne rzeczy i zestawianie ich daje wynik, który nic nie znaczy.
Zwróć uwagę na kształt tej tabeli: im mniejszy efekt chcesz wykryć, tym gwałtowniej rośnie wymagana próba. Zejście z 5 na 2 punkty procentowe podnosi wymóg sześciokrotnie. Dlatego przy małej bazie nie ma sensu obiecywać zarządowi, że „zmierzymy to po kwartale".
Co robić, jeśli nie masz skali
Nie udawaj, że masz. Trzy wyjścia. Pierwsze: podejmij decyzję na ekonomii, nie na teście, czyli na progu opłacalności policzonym na marży kontrybucyjnej, i pilnuj kosztu, nie przyrostu. Drugie: mierz wskaźniki pośrednie, które zbierają dane szybciej, jak realizacja nagród, uczestnictwo albo T2SP na całej bazie zamiast powracalności w grupach. Trzecie: wybieraj mechaniki, które płacisz warunkowo, bo przy nich pomyłka jest tania.
I nazwij to wprost przy podejmowaniu decyzji: przy tej skali program jest wyborem strategicznym podejmowanym bez informacji zwrotnej. To inna klasa ryzyka niż program, który możesz zweryfikować po dwóch kwartałach, i warto, żeby wszyscy przy stole to wiedzieli.
Sześć sposobów, na które program lojalnościowy szkodzi
Program potrafi psuć wyniki, wyglądając w raporcie na sukces. Objawy do wyłapania w pierwszym roku.
1. Erozja marży bez wzrostu powracalności
Koszty nagród rosną, a powroty stoją w miejscu: nagradzasz zachowanie, które już istniało. Wróć do warunkowości i przelicz mechaniki przez próg opłacalności.
2. Pustynia między akcjami
Klient kupuje wyłącznie przy podwójnych punktach, a między akcjami nic się nie dzieje. To przyzwyczajenie do promocji w nowym opakowaniu. Trzymaj stałą mechanikę bazową, akcje punktowe traktuj jako dodatek, nie jako silnik.
3. Zmęczenie komunikacją
Rosnące wypisy i spadająca otwieralność to sygnał przegrzania. Ustaw limit wysyłek i okna ciszy. Jeden komunikat we właściwym momencie okna T2SP robi więcej niż pięć w tygodniu.
4. Stopień, na który nikt nie wchodzi
Pierwszy próg za wysoko i program umiera na starcie, bo klient nie czuje żadnego postępu. Wróć do zasad projektowania progów.
5. Program bez właściciela
Wdrożony, uruchomiony i porzucony. Automaty chodzą, punkty rosną, nikt nie patrzy na liczby, a po roku nikt nie wie, czy to działa. Jedna osoba, jedna liczba, przegląd raz w miesiącu.
6. Zgody i dane
Program zbiera dane osobowe, więc transparentne zasady i właściwa podstawa prawna obowiązują od pierwszego dnia, nie od pierwszej skargi. To dotyczy też miejsca, w którym analizujesz te dane, o czym w aneksie.
Źródła
Dane rynkowe. Luka percepcji oraz udział niewykorzystanych punktów za raportem Antavo Global Customer Loyalty Report 2026, opartym na badaniu 3 tysięcy marketerów i 10 tysięcy konsumentów. Warto czytać go świadomie: to raport dostawcy technologii lojalnościowej, którego własny wniosek brzmi „złoty wiek programów". Ja korzystam z jego liczb, nie z jego wniosku. Dane o subskrypcjach za raportem DHL 2026 E-Commerce Trends Report.
Wymagana skala testu. Wartości w tabeli policzone standardowym wzorem na wielkość próby dla porównania dwóch proporcji, test dwustronny, poziom istotności 0,05, moc 80 procent, wartości krytyczne 1,96 i 0,84, bez korekty na ciągłość, wynik zaokrąglony w górę. Kto chce przybliżenia w głowie: liczba na grupę to w przybliżeniu 16 razy p razy (1 minus p) podzielone przez kwadrat różnicy, którą chcesz wykryć. Liczby są moje, metoda jest podręcznikowa i da się ją odtworzyć.
Metodę pomiaru i liczbę wyjściową zapisz przed startem, bo po fakcie nie da się ich odtworzyć. A jeśli Twoja skala nie pozwala na uczciwy test, nazwij to wprost: program jest wtedy decyzją strategiczną podejmowaną bez informacji zwrotnej.
