W sierpniowym Magazynie Online Marketing (nr 47/2019) ukazał się artykuł Witolda Wrodarczyka, CEO Adequate pod tytułem “Atrybucja idealna – czy to już”. Artykuł w wersji pdf jest do pobrania tutaj.

Przy tej okazji poprosiliśmy na Facebooku Adequate o podzielenie się kwestiami związanymi z modelowaniem atrybucji, które najbardziej nurtują analityków.

Ten artykuł będzie próbą odpowiedzi na pytania, które zadał Paweł Rogowski (dziękujemy!):

Czy można mówić o idealnym modelu, który nie bierze pod uwagę kanałów “non-click” (impression based)?

Kompletność danych to w zasadzie największy problem modelowania atrybucji.

Skąd się biorą wizyty bezpośrednie?

W źródłach i na ścieżkach konwersji Google Analytics praktycznie zawsze będziemy obserwować interakcje oznaczane jako direct / none, czyli ruch bezpośredni. Będą to takie wizyty na stronie, do których Analytics nie przypisuje żadnego źródła.

Ruch bezpośredni nie powstaje jednak z niczego. Prawdopodobieństwo, że użytkownik wejdzie na stronę przypadkiem, w wyniku losowej decyzji lub zgadnięcia adresu strony – jest znikome. Być może we wczesnych etapach rozwoju Internetu, jeszcze przed erą wyszukiwarek, ktoś, kto chciał kupić kwiaty, wpisywałby do przeglądarki adres kwiaty.pl. Dziś takie zjawisko jest raczej marginalne.

Każda wizyta bezpośrednia jest wynikiem wcześniejszego styku użytkownika z Twoim marketingiem. Ktoś znał Twoją markę, ktoś zapisał sobie lub zapamiętał link do strony. Za ruchem direct/none kryją się interakcje, których nie widzisz w Google Analytics. Mogą to być niezarejestrowane wyświetlenia, interakcje offline albo zdarzenia sprzed okresu okna konwersji – bo przecież dane o źródłach są przechowywane w ograniczonym okresie.

Wizyty bezpośrednie to nie wszystko

Wpływ niewidocznych interakcji będzie widać w postaci większej liczby konwersji z innych źródeł. Przykładowo, użytkownicy którzy wcześniej oglądali reklamę outdoor lub telewizyjną, prawdopodobnie lepiej zareagują na reklamę na Facebooku, mogą też wykazywać wyższy współczynnik konwersji w wyszukiwarce itd.

A co w przypadku użytkowników pochodzących z poleceń klientów? Pełna atrybucja powinna przypisać część zasług również źródłom, które doprowadziły do pozyskania klienta, od którego pochodzi polecenie.

Nieuwzględnienie niektórych interakcji oznacza zawyżenie atrybucji konwersji dla tych interakcji, które udało się odnotować. Błąd wynikający z niekompletnych danych może być nawet większy niż ten, który wynika z niedoskonałości przyjętego modelu lub ułomności stosowanych modeli algorytmicznych (Markow, Shapley).

Sprawę dodatkowo komplikują przerwane ścieżki między urządzeniami, zwłaszcza w przypadku Google, gdzie śledzenie konwersji cross-device jest wciąż ewidentnie niekompletne.

Kiedy to wszystko weźmie się pod uwagę, staje się jasne, że idealny model prawdopodobnie nie jest możliwy do zidentyfikowania.

Przypisanie konwersji a alokacja budżetu

Odrębną jest kwestia, jakie byłyby cechy takiego idealnego modelu. Celem modelowania atrybucji przypisanie poszczególnym kanałom udziału w łącznym wyniku w sposób najlepiej odwzorowujący wpływ danego kanału na całkowity rezultat.

Ten “najbardziej sprawiedliwy” podział generowanej przez współdziałające kanały wartości nie jest jednak sztuką dla sztuki. Jego celem jest wsparcie decyzji o alokacji budżetu lub o podniesieniu czy zmniejszeniu stawek oferowanych za dane źródło.

Trzeba pamiętać, że wysokie ROI kampanii nie zawsze jest sygnałem do podnoszenia stawek. Zasady optymalizacji profit-driven i portfolio biddingu wskazują, że przy decyzjach o zmianie oferowanych stawek lub wysokości budżetu trzeba brać pod uwagę nie tylko bieżącą rentowność, ale i elastyczność cenową danego źródła. Zdarzają się sytuacje, w których opłacalne będzie podniesienie stawek w kampanii o niższym ROI i obniżenie stawek tam, gdzie rentowność jest wyższa.

Gdzieś jest, lecz nie wiadomo, gdzie…

Z pewnością istnieje taka kombinacja źródeł i przydzielanych im budżetów, która zapewnia najwięcej korzyści dla reklamodawcy (największą sprzedaż przy założonej rentowności lub w określonym budżecie). Niemniej, biorąc pod uwagę realną kompletność danych, możliwości pomiaru wkładów marginalnych oraz konieczność uwzględnienia zasad portfolio biddingu – jej dokładne zidentyfikowanie może być w praktyce niemożliwe.

Biorąc to wszystko pod uwagę, wydaje się że lepiej korzystać z modelowania atrybucji jako narzędzia pomagającego lepiej alokować budżety, niż poszukiwać “idealnego” algorytmu, który samodzielnie tego przydziału budżetu dokona.

Jak mierzyć wpływ wyświetleń w modelowaniu atrybucji? Np. wyświetleń na Facebooku, które nie zakończyły się kliknięciem i do których nie mamy dostępu w GA?

Google Analytics 360 umożliwia uwzględnienie wyświetleń. Dostępne są wyświetlenia reklam Google Ads oraz dane z Campaign Managera w Google Marketing Platform (dawniej DoubleClick Campaign Manager). Również sam Campaign Manager umożliwia analizę ścieżek i dostarcza dane do tworzenia modeli.

Brak danych o wyświetleniach Facebooka

Faktycznie, istotny problem stanowią kampanie na Facebooku, ponieważ Facebook od pewnego czasu blokuje informacje o wyświetleniach reklam.

Uwzględnianie wyświetleń części reklam, a jednocześnie pomijanie Facebooka z pewnością dalekie jest od optymalnego modelowania atrybucji. Aby rozwiązać ten problem, dokonuje się symulacji w sposób losowy umieszczających wyświetlenia Facebooka na ścieżkach konwersji, a następnie uśrednia się wynik dla dużej liczby losowych rozkładów.

Z danych Facebooka znamy częstotliwość wyświetleń (średnią liczbę wyświetleń na użytkownika) oraz liczbę konwersji po kliknięciu i po wyświetleniu (bez kliknięcia). Wyświetlenia umieszczamy w sposób losowy na ścieżkach, na których wystąpiły kliknięcia Facebooka:

Każde kliknięcie reklamy wymaga jej wcześniejszego wyświetlenia, ale w takiej sytuacji nie dopisuje się tego wyświetlenia do kliknięcia i pozostawia jedynie kliknięcie, które już przecież to wyświetlenie zawiera.Wyświetlenia odpowiadające konwersjom po wyświetleniu umieszczamy także na ścieżkach konwersji, na których nie było kliknięć Facebooka:

W przypadku, gdy analiza obejmuje również ścieżki niekonwertujące (np. w łańcuchach Markowa lub przy obliczaniu wartości Shapleya), pozostałe wyświetlenia rozmieszczane są na ścieżkach, które nie doprowadziły do konwersji. Musimy tu uwzględnić trzy sytuacje:

1. Ścieżki z kliknięciami Facebooka, na których umieszczamy wyświetlenia odejmując te, które już są “zawarte” w kliknięciu;
2. Ścieżki konwersji, na których nie było kliknięć Facebooka, ale mogły być wyświetlenia;
3. Nowe ścieżki niekonwertujące, na których było tylko wyświetlenie Facebooka (nie było żadnych interakcji odnotowanych przez system śledzący) co skutkuje powstaniem nowych ścieżek.

W jaki sposób określić, ile jest tych nowych ścieżek (punkt 3)? Do tego musielibyśmy wiedzieć, jaka część wyświetleń Facebooka nie wiązała się z żadną inną odnotowaną interakcją. I tę liczbę musimy oszacować.

W oszacowaniu może pomóc porównanie zasięgu reklamy z liczbą unikalnych wyświetleń piksela Facebooka. W ten sposób uzyskamy informację, jaka część użytkowników, którym wyświetlono reklamy (zasięg) nie odwiedziła później naszej strony. Niestety, te dane nie uwzględniają wizyt, które miały miejsce przed wyświetleniem (chyba że w kampanii wykluczymy osoby, które wcześniej odwiedziły stronę, co nie jest złą praktyką w kampaniach prospectingowych) ani nie są w stanie wskazać, czy przypadkiem użytkownicy ci nie mieli na ścieżce wyświetlenia np. Google Ads, które odnotowujemy w Campaign Managerze.

Aby te dane uzyskać, musimy mieć konwersję, która jest wyzwalana na każdej stronie. Ponieważ obecnie nie jest możliwe raportowanie unikalnych konwersji niestandardowych, należy w tym celu wykorzystać którąś ze standardowych konwersji Facebooka, np. Wyświetlenie treści i wyzwalać ją na każdej stronie witryny (ekranie aplikacji). Oczywiście może to być każda inna konwersja, z której aktualnie nie korzystamy.

Jak widać, oszacowanie to zawiera wiele niewiadomych, dlatego należy próbować różnych hipotez i badać, na ile założenia te wpływają na ostateczny wynik obliczeń. Bo przecież jeśli różnice są niewielkie, to nie ma też większego znaczenia, które założenia przyjmiemy.

Czy incrementality studies to jedyna metoda (określenia wpływu interakcji, których nie widzimy na ścieżkach)?

W idealnej sytuacji, gdy posiadamy pełne dane na temat ścieżek konwertujących i niekonwertujących, uwzględniających wszystkie punkty styku, modele algorytmiczne takie jak łańcuchy Markowa czy wartość Shapleya powinny być w stanie skutecznie odczytywać wkłady marginalne poszczególnych kanałów.

W rzeczywistości, nawet jeśli w przyszłości będzie możliwy dostęp do szerszych i bardziej kompletnych danych niż obecnie – zawsze będzie występowało ryzyko, że niektóre z punktów styku zostaną pominięte lub mylnie zinterpretowane.

Tym bardziej, że trendy są przeciwne – zarówno regulacje prawne, jak i polityka bezpieczeństwa przeglądarek i aplikacji – zmierzają ku ograniczeniu możliwości śledzenia użytkowników. Rozwiązania takie jak Intelligent Tracking Prevention coraz bardziej zbliżają standardowy tryb korzystania z przeglądarek do trybu prywatnego (incognito).

Użytkownicy zwracają coraz większą uwagę na kwestie prywatności i korzystają możliwości rezygnacji ze śledzenia ich aktywności przez systemy analityczne i reklamowe. Giganci reklamowi (Facebook, Google, ale także Microsoft, Apple i Amazon) również ograniczają zewnętrznym systemom dostęp do pełnych danych. To wszystko powoduje, że raczej nie powinniśmy oczekiwać możliwości uzyskania pełnego obrazu wszystkich ścieżek konwersji każdego użytkownika.

Wszystko to powoduje, że rzeczywiście, incrementality studies, czyli eksperymenty z grupą kontrolną badające faktyczny wzrost konwersji wynikający z prowadzenia określonej kampanii, mogą być jedynym sposobem weryfikacji hipotez wynikających z danych śledzenia konwersji.

To nie tylko kwestia “niewidocznych” interakcji

Przeprowadzony przez nas niedawno eksperyment conversion lift dla kampanii w wyszukiwarce pokazał, że możliwa jest sytuacja, w której kliknięcia, nawet te ostatnie na ścieżce konwersji, nie mają faktycznie żadnego na nie wpływu. Praktycznie każdy model (w tym modele data-driven) wydawały się nie zauważać, że wkład marginalny tego źródła jest na poziomie błędu statystycznego.

Dlatego badania wzrostu konwersji (conversion lift), oparte czy o losowy wybór grupy kontrolnej, czy też w oparciu o geolokalizację (grupę kontrolną stanowi wybrany obszar kraju), są najprawdopodobniej jedynym sposobem weryfikacji hipotez na temat wkładu marginalnego danej kampanii do łącznej liczby konwersji.

Wiele wskazuje na to, że w zdominowanej przez śledzenie konwersji analityce marketingu online, metody ekonometryczne – kojarzone dotychczas głównie z tradycyjnym marketingiem – będą przeżywały renesans.