Udostępniane w systemach reklamowych Google i Facebooka eksperymenty conversion lift to nowa metoda mierzenia skuteczności reklam. Czy rzeczywiście jest to przełom i dlaczego warto będzie korzystać z tego narzędzia?

Conversion lift, czyli badanie wzrostu konwersji

Na czym polega ta metoda pomiaru? Potencjalni odbiorcy reklamy, określeni na podstawie kryteriów targetowania, dzieleni są na dwie grupy: testową i kontrolną.

Użytkownikom z grupy testowej reklama jest normalnie wyświetlana. W grupie kontrolnej, w przypadku wygrania aukcji o dane miejsce reklamowe, reklama nie jest wyświetlana (w jej miejsce pojawi się kolejna reklama z aukcji), ale dzięki plikom cookie możemy śledzić późniejsze zachowania tego użytkownika.

Dalsza analiza jest już bardzo prosta. Po zakończeniu eksperymentu porównywane są konwersje w obydwu grupach. Grupa kontrolna pokazuje użytkowników, którzy skonwertowali, mimo że nie została im wyświetlona reklama. Odejmując tę liczbę od liczby konwersji w grupie testowej uzyskujemy przyrost konwersji pozyskany dzięki reklamie.

W ten sposób realizujemy empiryczny pomiar przyrostu konwersji. Jest to dokładna i w zasadzie niepodważalna odpowiedź na pytanie o opłacalność danego kanału.

Co powoduje, że metoda ta jest lepsza od innych?

Post click i Post-view

W przypadku reklam w wyszukiwarce i innych podobnych działań performance marketingu polegamy głównie na analizie kliknięć. Jest to wiarygodne i zrozumiałe: ktoś kliknął w reklamę, a następnie kupił – uznajemy więc to za dowód na jej skuteczność.

Mierzenie konwersji reklamy display i video wiąże się z zasadniczą trudnością – analizą wpływu post-view. Na tle działań SEM wyniki post-click kampanii display, video czy nawet social media często wyglądają blado. Konwersja z kliknięć jest niewielka, a kampanie video nie są praktycznie w ogóle klikane.

Z drugiej strony, reklama telewizyjna, radiowa też nie są klikane. Nikt nie klika w billboardy czy reklamy prasowe, a przecież wiemy, że te reklamy działają.

Do raportów konwersji po wyświetleniu podchodzimy jednak z pewną rezerwą. Jaka część konwersji post-view może być traktowana na równi z konwersją po kliknięciu? Nie można przecież uznać, że wszyscy klienci, którym wyświetlono reklamę, skonwertowali właśnie dzięki niej (abstrahując już od faktycznej widoczności reklamy).

Modelowanie atrybucji

Wiemy, że rzeczywistość jest bardziej skomplikowana, bo na ścieżce konwersji może pojawić się wiele kliknięć i wyświetleń. Dlatego zaczęliśmy stosować różne modele atrybucji, by uwzględnić wszystkie interakcje, które mogły mieć wpływ na zdobycie klienta.

Wadą tych modeli jest konieczność arbitralnego określenia, w jaki sposób przydzielamy wagi poszczególnym interakcjom na ścieżce, jak traktujemy poszczególne źródła, jak podchodzimy do kliknięć, wyświetleń i innych interakcji. Modele algorytmiczne, takie jak model data-driven stosowany przez Google czy inne modele wykorzystujące łańcuchy Markowa – opierają się o analizę korelacji i bardzo często prowadzą do błędnych wniosków. Analizę dodatkowo utrudnia fakt, że dane o wyświetleniach nie zawsze są dostępne w odniesieniu do wszystkich kanałów, co powoduje nierówne ich traktowanie.

Celem modelowania atrybucji nie jest jednak stworzenie modelu, ale odpowiedź na pytanie: O ile faktycznie wzrosła nasza sprzedaż dzięki danej kampanii? Ilu klientów stracilibyśmy, gdyby daną kampanię ograniczyć? Jeśli zrezygnowalibyśmy z kampanii, to jaka część naszych klientów i tak dokonałaby zakupu?

Celem modelowania atrybucji nie jest jednak stworzenie modelu, ale odpowiedź na pytanie: O ile faktycznie wzrosła nasza sprzedaż dzięki danej kampanii

Mając te dane, możemy je w prosty sposób zestawić z kosztami kampanii i ocenić, czy inwestycja w dany kanał jest opłacalna, czy nie.

Jak zmierzyć skuteczność kampanii

Aby zmierzyć, na ile wzrosła sprzedaż dzięki danej kampanii, należałoby porównać użytkowników, na których kampania była kierowana z identyczną statystycznie grupą kontrolną osób, która reklam nie widziała – czyli tak, jak działają eksperymenty conversion lift.

Niestety, od strony technicznej nie jest to zawsze możliwe do przeprowadzenia. O ile konwersje użytkowników, którzy wykazali interakcję z reklamą, jesteśmy w stanie mierzyć, to problem pojawia się w monitoringu grupy kontrolnej, która nie miała styczności z naszą reklamą.

Dotychczas takie pomiary były możliwe wyłącznie w remarketingu, gdyż tu reklamodawca ma kontrolę nad plikami cookie i może tworzyć listy użytkowników grupy kontrolnej, którym nie wyświetli reklamy. Pierwszy taki eksperyment przeprowadziliśmy już kilka lat temu.

Udostępnienie narzędzi conversion lift przez Facebooka i Google pozwoliło na przeprowadzenie takiego badania na kampanii prospektingowej.

Case study

Metodę conversion lift wykorzystaliśmy u jednego z naszych klientów. Rumuńskie biuro podróży Vola.ro przeprowadziło kampanię YouTube promującą niskie ceny biletów w styczniu. Reklama przekonywała, że jest to najlepszy moment na zakup biletu, ponieważ statystyki wskazują, że w tym czasie ich ceny są najkorzystniejsze.

• Kampania uzyskała 17 mln* wyświetleń i współczynnik oglądalności na poziomie 47%
• Kampania wygenerowała 1832 konwersje po obejrzeniu reklamy
• Dodatkowo odnotowano 635 konwersji wśród użytkowników, którzy pominęli lub przerwali oglądanie reklamy
• Konwersji po kliknięciu było jedynie 16 (wg danych Google Analytics)

W zestawieniu z kosztami kampanii efekt post-click jest absolutnie niezadowalający. Konwersji post-view było bardzo dużo, ale biorąc pod uwagę kilkumilionowy zasięg kampanii, możemy oczekiwać, że dotarła ona do innych użytkowników na ścieżce konwersji, którzy mieli interakcje z reklamami w wyszukiwarce, na Facebooku lub w sieci reklamowej – w tym również z remarketingiem. Tylko 4% użytkowników, którzy dokonali konwersji z udziałem kampanii YouTube na ścieżce, nie miało na niej innych interakcji.

Czy w takim razie mogło być tak, że konwersje te uzyskano głównie dzięki pozostałym działaniom, a większość z tych klientów dokonałaby zakupu również bez kampanii YouTube? Odpowiedź na to pytanie mógł dać jedynie eksperyment conversion lift. Został on wykonany z wykorzystaniem 30% grupy kontrolnej, a wyniki zostały znormalizowane do 50% dla zapewnienia porównywalności:

• W grupie testowej odnotowano 2495 konwersji
• W grupie kontrolnej zarejestrowano 1831 konwersji
• Różnica to 664 konwersje

O tyle właśnie zwiększyła się sprzedaż dzięki inwestycji w tę kampanię YouTube.

Dla porównania, dokonano również analizy stosując różne modele atrybucji, w tym model oparty o łańcuchy Markowa.

Eksperyment wykazał, że kampania YouTube miała dobrą skuteczność i przyczyniła się do wzrostu sprzedaży wielokrotnie bardziej, niż wynika z nielicznych konwersji po kliknięciu.

Z drugiej strony, potwierdziły się obawy, że wpływ kampanii jest znacznie niższy, niż wynika to z konwersji po obejrzeniu reklamy (trzykrotna różnica). Eksperyment wykazał też ułomność modeli algorytmicznych (model Markowa wykazał o 87% więcej niż pomiar conversion lift).

Weronika Radecka, Head of performance marketing Vola.ro, potwierdza korzyści z badania conversion lift: “Od dłuższego czasu mieliśmy wrażenie, że stosowane przez nas modele atrybucji nie określają precyzyjnie wartości kanałów display i video w ścieżce konwersji. Modele algorytmiczne, w tym data-driven i modele oparte o łańcuchy Markowa, również miały tendencję do dociążania kanałów z dużą liczbą wyświetleń, co powodowało niepewność w ocenie wartości tych kanałów i utrudniało decyzje o inwestycjach w ten rodzaj reklamy. Dzięki badaniu conversion lift uzyskaliśmy twarde dane, które pozwalają nam z większym przekonaniem alokować budżety w kampanie prospektingowe”.

*) Dane liczbowe są poglądowe, część z nich mogła zostać zmodyfikowana celem zachowania poufności danych klienta. 

Pobierz case study Vola.ro w pliku PDF (j. ang.)