V data věříme

Máme přirozenou tendenci věřit tomu, co vidíme na obrazovce. Často jsme přesvědčeni, že to musí být pravda.

Když íránští inženýři na jaderném zařízení v Natanzu seděli ve své vysoce zabezpečené operační místnosti, mysleli si, že jen dělají své každodenní povinnosti a pečlivě monitorují systémy na jakékoli poruchy.

Netušili, že jejich systémy infikoval Stuxnet - počítačový virus - což způsobilo, že se rychle otáčející jaderné centrifugy roztrhly na kusy. 

Slepě důvěřovali svým obrazovkám - jenže tento počítačový vir změnil to, co viděli tak, aby to vypadalo, že je vše normální. Způsobil tak velký zásah do íránského programu obohacování jaderného paliva.

"What do hackers, fraudsters, and organized criminals have in common with Facebook, Google, and the NSA? Each is perfectly capable of mediating and controlling the information you see on your computer screens." — Marc Goodman, Future Crimes

Nemusí to být vždy tak vzrušující s takovým zákeřným motivem.

V marketingu denně pracujeme s nástroji, které zdánlivě poskytují přesná data. V Google Analytics vidíme přesně 10 398 návštěv článku. V nástroji pro A/B testování vidíme, že nová verze je lepší o 3,24 %. Klíčové slovo má průměrný měsíční objem vyhledávání 1 400. 

Máme rádi jednoduché odpovědi. 

Takže nám je marketingové nástroje poskytují. 

To, co vidíme v dashboardu, je považováno za realitu.

Ale datová analytika webových stránek je extrémně nepřesná.

Kvůli cookie lištám, blokátorům reklamy a funkcím prevence sledování v moderních prohlížečích. 

Kvůli botům, nebo měřicím značkám, které se nespouštějí dostatečně rychle. 

Kvůli lidem, kteří používají více zařízení. 

Kvůli interním návštěvám.

Realita? Pfff.

Pak máme oslavované A/B testování. Oblíbená činnost pro jakýkoli projekt založený na datech.

Kdysi jsem byl velmi nekritický vůči A/B a multivariantnímu testování, ale pak jsem viděl prezentaci Craiga Sullivana na téma "20 jednoduchých způsobů, jak si pokazit A/B testy". Craig Sullivan je známý expert na CRO.

Ta prezentace mě opravdu uzemnila.

Kdyby marketéři zvážili alespoň některé z bodů z jeho (nyní prehistorické) prezentace, místo toho aby slepě důvěřovali tomu, co vyplivne Google Optimize, jejich data-driven úsilí by mělo mnohem lepší dopad.

Když to začnete hlouběji zkoumat a lépe chápat jak testovat správně, nastává období desiluze.

Když David Kadavy zvýšil své konverze o 300 % tím, že neudělal naprosto nic, uvědomil si, že A/B testovat správně vyžaduje obrovské množství energie.

Existuje tolik způsobů, jak udělat z A/B testování úplnou ztrátu času.

V SEO to není o moc lepší. Objemy vyhledávání klíčových slov jsou často zastaralé a nepřesné. Obvykle se jedná o jednoduché měsíční průměry, které nezohledňují sezónnost. 

Navíc, 15 % všech vyhledávání na Googlu nikdy předtím nebylo hledáno a nemáme tak o nich žádná data.

Jako SEO specialisté se rádi koudáme do Google Search Console, protože nám poskytuje cennější informace než Google Analytics. Přesto, GSC skrývá takzvané anonymizované dotazy - v nedávné studii Ahrefs tyto případy anonymizovaných hledání představovaly 46,08 % všech kliknutí!

To je spousta dat, která nevidíte.

A pravděpodobně to bude jen horší a horší.

Seznam věcí, které nemůžeme sledovat vůbec také roste. 

Existuje Google Discover, který v Google Analytics prakticky nevidíte.

Existují návrhy webů v Siri na iPhonech a v prohlížečích Safari, které nelze sledovat ani vyhodnotit.

A vždy tu byl tzv. dark social - sdílení na sociálních sítích nebo přes zprávy. Takováto návštěvnost často nemá žádnou informaci o zdroji.

Budeme mít méně a méně dat a musíme přijít na to, jak pracovat s tím, co máme.

Možná bychom mohli extrapolovat a pokusit se vypočítat neznámé. Podobně jako Google Ads a jejích consent mode modeling, který si vycucá počet konverzí ze vzduchu... tedy pardon, který použije proprietární a zcela uzavřené modelování k dopočtu konverzí.

Nebo možná prostě častěji použijeme zdravý rozum a vrátíme se k základům marketingu.

Měli bychom přestat testovat a přestat se dívat na data? Rozhodně ne.

Myslím, že opravdu potřebujeme:

• Zpochybňovat data, být kritičtí a chtít vědět, jak se metriky počítají. Snažit se pochopit úroveň nejistoty nebo chyby měření a aktivně s ní pracovat.
• Někdy změnu prostě udělat. Nespoléhat se na data pokaždé. Často se ptejte sami sebe jestli je lepší:
  • investovat velké úsilí do korektního A/B testu, nebo
  • provést špatně nastavený A/B test s pochybnými výsledky, nebo
  • to prostě udělat?
    
    Pravděpodobně zjistíte, že v mnoha případech je nejlepší provést změnu a vidět výsledky, než plýtvat časem a zdroji testováním. V Ghostu, když chtěli zlepšit svůj onboarding proces, rozhodli se místo zdlouhavého testování raději "JFDI" (Just F'ing Do It.) - což vedlo k významným zlepšením s velmi malými náklady:

Toto zlepšení nám přináší navíc 0,84 zákazníka denně, a naše průměrná hodnota zákazníka Ghost(Pro) je v současnosti asi 200 $. Triviální matematika: 365 dní * (200 $ * 0,84) – říká, že tato změna bude mít hodnotu 61 000 $ v nových zákaznících každý rok.
To není zlé za 30 minut práce. (zdroj)

A co je důležitější, mohou se rychle posunout a zaměřit na další zlepšení produktu místo toho, aby čekali na dokončení testu. Čím menší jste, tím častěji musíte JFDI.

• Příliš se tím netrapte, ale zůstaňte ostražití. Mějte na paměti, že ve svých dashboardech vidíte pouze malou část celkového obrazu, a příliš se tím netrapte. Znejte omezení a snažte se využít to, co máte, co nejlépe.
  
  Ale prosím, hlavně nebuďte jako inženýři v Natanzu, kteří slepě zírají na obrazovku a myslí si, že to je jediná pravda... zatímco celá budova se pod vámi rozpadá.