Datengesteuertes Marketing: Datenqualität und NZZ Journalismus

Datengesteuertes Marketing (auch Data-Driven Marketing genannt) wird immer wichtiger. Technische Hilfsmittel machen es einfacher, Daten zu erhalten und diese zu analysieren.

Doch birgt datengesteuertes Marketing auch Gefahren, die es zu berücksichtigen gilt. Zum Beispiel kann es passieren, dass wir Daten von minderer Qualität oder Aussagekraft erhalten. Diese können uns wiederum falsche Tatsachen vorspiegeln, welche zu falschen Entscheidungen verleiten. Es gilt also mit Hilfe von qualitativ guten Daten bessere Entscheidungen zu treffen. Zum Beispiel zeigt Influencer Marketing diese Problematik in Studien sehr gut auf. Man kann viele Kennzahlen oder Key Performance Indicator(s) (KPIs) nutzen, doch wenn diese von minderer Qualität sind, ist deren Nutzen fragwürdig.

Wir erläutern diese Herausforderung im data-driven Marketing anhand eines Beispiels einer Studie. Diese untersuchte, inwiefern Streaming von Filmen Leute daran hindert Kinos zu besuchen.

Die Studie veranlasste die NZZ Journalistin die Behauptung aufzustellen, dass wer mehr streamt häufiger ins Kino geht. Doch stimmt das wirklich?

3 kritische Schritte zur Gewinnung von aussagekräftigen und vertrauenswürdigen Daten

Bevor wir uns der Studie annehmen, müssen wir einmal kurz erläutern, auch welche Dinge wir als Unternehmer aufpassen sollten, bevor wir uns vorliegenden Daten trauen. Data-driven Marketing funktioniert nur, wenn wir Daten sammeln, welche die von uns gestellten Fragen beantworten können. Dabei ist die Datenqualität wichtig.

Wir wissen alle, das gute Marktforschung oder die Bekämpfung einer Pandemie auf guten und aussagekräftigen Daten basieren. Um datengesteuertes Marketing richtig aufzugleisen, müssen wir abklären, wie und woher wir soche aussagekräftigen Daten bekommen können. Es gilt diese 3 Punkte zu klären:

Datengesteuertes Marketing kann optimiert werden, wenn die obigen 3 Fragen genau abgeklärt werden. Erst danach können wir entscheiden, welche Daten uns fehlen und welche Art von Datenerhebung uns helfen könnte, bessere Entscheide zu treffen. Denn Daten gibt es wie Sand am Meer. Doch deren Qualität und die Relevanz zu unseren Themen muss sichergestellt sein, ansonsten verleiten diese uns zu falschen Entscheidungen.

Aussage NZZ: „Wer viel streamt geht tendenziell häufiger ins Kino.“

Vor allem bei Studien von Dritten ist Vorsicht geboten. Wir illustrieren dies hier mit einer Studie, welche Ernst & Young (EY) im Auftrage der National Association of Theatre Owners (NATO) in den USA jährlich zum Thema Streaming und Kinobesuche durchführt.

Solche Auftragsstudien werden heute auch dazu genutzt, um deren Resultate für Corporate Communication oder Public Relations zu nutzen. Dabei hilft Digital Marketing, die Resultate einer breiten Öffentlichkeit zugänglich zu machen. Das ist zum Beispiel der National Assocation of Theatre Owners (NATO) in den USA gelungen. Die NZZ hat deren Studie in einem Artikel wie folgt erwähnt:

Eine jährlich durchgeführte Studie von Ernst & Young hat auch 2020 eine Korrelation zwischen der Anzahl Kinobesuche und den mit Streaming verbrachten Stunden belegt.

Roebuck, Lory (2020-05-14). Streaming ist so wenig der Feind der Kinos, wie die Küche der Feind des Restaurants ist. NZZ, Feuilleton, S. 29. Aufgerufen am 16 Mai, 2020 auf https://www.nzz.ch/feuilleton/streaming-ist-nicht-der-feind-ld.1554994

Vorsicht ist die Mutter der Porzellankiste

Bevor wir das obige Zitat aus der NZZ als bare Münze nehmen, müssen wir gemäss Punkt 3 oben abklären:

• Hat die Journalistin die Resultate der Studie korrekt interpretiert?
• Lassen die Resultate der Studie die vom Auftraggeber gemachten Rückschlüsse zu, welche z.B. in Pressemitteilungen oder Blogs verbreitet wurden?
• Welche Schlussfolgerungen würden wir nach dem Lesen der vorliegenden Studie wagen zu ziehen?

Um diese Punkte beantworten zu können, müssen wir den Studienbericht lesen. Wir haben dies für die Studie der National Association of Theatre Owners aus den USA getan und fanden folgende Dinge raus:

• Methodik der Studie: Die Online-Umfrage basiert auf einem Online-Panel mit US-amerikanischen Teilnehmern.
  Frage: Wie aussagekräftig sind US Daten für die D-A-CH Region und wie gut ist die Stichprobe (z.B. repräsentativ für die Bevölkerung – siehe auch Bundesamt für Statistik)? Ein CEO wird wohl kaum in einem solchen Panel mitmachen?
• Datenanalyse: Die Daten werden mit Hilfe von deskriptiver Statistik analysiert. Die Auftragsstudie wurde von Ernst & Young (EY) für die Vereinigung der Kinobesitzer durchgeführt. Nirgendwo im Schlussbericht wird das Wort Korrelation genutzt.
  Daten in Kennzahlen zusammenfassen und deren graphische Darstellung sind die Ziele, die wir mit Hilfe von deskriptiver Statistik erreichen wollen. Deskriptive Statistik ist der Fachausdruck für die beschreibende Statistik.
  Beispiel für deskriptive Statistiken: Das arithmetische Mittel („Durchschnitt“) wie auch die empirische Standardabweichung oder Varianz.

Welche Altersgruppen wurden analysiert

Die Altersgruppen in der Grafik unten sind nicht gleich. Dies bedeutet eine Gruppe inkludiert 13-17 Jährige (5 Jahre Zeitspanne), die nächste 18-37 Jährige (20 Jahre Zeitspanne), dann 38-52 Jährige (15 Jahre Zeitspanne), usw. Rein grundsätzlich müssen die Anzahl Jahre in jeder Gruppe gleich sein. Beispiele wären 13 – 22 Jährige, 23 – 32 Jährige und 33 – 44 Jährige.

Nur dann können wir die Kategorien wirklich vergleichen. Dies lässt die unten aufgeführte Grafik vom Bericht 2019 – Daten 2018, z.B. nicht zu (PS. Kategorien für 2020 – Daten vom Nov. 2019, sind gleich).

Fazit: Die Altersgruppen sind ungleich. Der Verdacht kommt auf, dass diese Gruppen deshalb so unterschiedliche Grössen aufweisen, um die gewünschten Unterschiede zwischen den Gruppen aufzeigen zu können. Dies kann die Ergebnisse verfälschen.

Was ist der um 10% “getrimmte” oder gekürzte Mittelwert?

Die obige Grafik sagt ebenfalls, dass der „getrimmte“ Mittelwert genutzt wurde. Dieser wird berechnet, indem z.B. die 10% grössten und 10% kleinsten Werte aus der Stichprobe ausgeschlossen werden. Das arithmetische Mittel wird dann mit den verbleibenden 80% der Stichprobe gebildet Andere „getrimmte“ Mittelwerte sind möglich, wie z.B. 5% oder 20%.

Das heisst hier höchstwahrscheinlich, dass die Daten der Leute, die in den letzten 12 Monaten kein Kino besucht haben, wurden ausgeschlossen (ca 10% der Panel Teilnehmer in dieser Studie). Das Gleiche passierte mit denjenigen von Teilnehmern, die sehr viele Kinobesuche gemacht haben. Nachdem diese tiefen/hohen Werte ausgeschlossen wurden, hat man den Mittelwert berechnet.

Fazit: Die Extremwerte sind nicht in die Datenauswertung mit einbezogen. Ohne Erklärung ist dies schwer verständlich und schmälert die Vertrauenswürdigkeit der Resultate. Dieses Vorgehen kann die Ergebnisse der Studie verfälschen.

Was ist der Unterschied zwischen Assoziation und Korrelation?

Auf ein weiteres Problem deutet der Titel der Studie hin:

• EY (2020-02). The relationship between movie theatre attendance and streaming behavior. Survey findings. Aufgerufen am 2020-05-08 auf https://www.natoonline.org/wp-content/uploads/2020/02/NATO-Survey-Analysis.pdf

Beziehung oder Assoziation und Korrelation sind zwei Methoden, um eine Beziehung zwischen zwei Variablen zu erklären.

Assoziation bezieht sich auf die allgemeine Beziehung zwischen zwei Zufallsvariablen, während sich die Korrelation auf eine mehr oder weniger lineare Beziehung zwischen den Zufallsvariablen bezieht. Variablen können miteinander in Beziehung stehen, aber nicht korreliert sein. Korrelation impliziert keine Kausalität.

Fazit: Die Studie zeigt keine Korrelationen auf. Die Daten über die letzten 3 Jahre zeigen, dass die Menschen weniger ins Kino gehen. Bei 2 Gruppen ist in den letzten 3 Jahren auch das Video Streaming zurückgegangen. Eine Erklärung, warum dies so sein könnte, bietet der Report nicht.

Datengesteuertes Marketing: Risiken die es zu meistern gilt

Datengesteuertes Marketing wie in diesem Beispiel zum Thema Kinobesuch und Streaming lässt den Schluss zu:

• Traue den in einem Zeitungsartikel erwähnten Resultaten aus einer Studie nur dann, wenn du die Studie selber genau studiert hast.

In diesem Falle ist es so das NATO, der Auftraggeber der Studie, die darin präsentierten Ergebnisse falsch interpretiert. Inwiefern hier die Berater von EY Fehler gemacht haben bleibe dahingestellt. Dummerweise nimmt sich die NZZ Journalistin die Zeit nicht, um die Studie 20 Minuten unter die Lupe zu nehmen. Das hätte die Falschaussage in Sachen mehr Streaming = > Kino verhindert.

Der einzigen Trend, den man vielleicht aus den Daten rauslesen kann ist, dass die durchschnittlichen jährlichen Kinobesuche der Konsumenten in den USA rückläufig zu sein scheinen. Aber ein Rückschluss ob dies altersabhängig ist, lassen die Alterskategorien in den obigen Grafiken nicht zu.

Das Beispiel illustriert jedoch sehr gut, dass Studien leider zu Aussagen verleiten können, welche deren Daten nicht zulassen. Das bedeutet jedoch auch, dass Nutzung von sekundären Daten (d.h. die wurden von jemand anderem gesammelt) Vorsicht geboten ist. Zumindest ist zur Überprüfung der Qualität der Studie das genaue Lesen des Berichtes Pflicht.

Die Studie scheint aufzuzeigen, dass die durchschnittliche jährliche Anzahl Kinobesuche von US-amerikanische Konsumenten im Trend rückläufig ist.

drkpi®

Inwiefern Kinobesuche und die Anzahl wöchentlich gestreamten Stunden eine positive Korrelation haben, d.h. mehr Kinobesuche korreliert positiv mit mehr Streaming, zeigen die Resultate nicht.

Noch weniger trifft die Schlussfogerung zu, dass wer mehr streamt mehr ins Kino geht. Mit dieser Aussage insinuieren wir Kausalität – d.h. mehr streaming hat zur Folge, dass der Konsument öfters ins Kino geht. Mit dieser Herleitung in ihrem Artikel ist die NZZ Journalistin völlig auf dem Holzweg.

Um die Risiken im datengesteuerten Marketing (auch Data-driven Marketing genannt) optimal zu managen, gilt es prinzipiell, dass wir einen Studienreport zuerst genau lesen, bevor wir diesen in unserer Entscheidungsfindung nutzen dürfen (siehe auch).

P.S. Ob Daten aus den USA in Sachen Streaming und Kinobesuche auch für die Schweiz gelten, sollte ebenfalls hinterfragt werden. Die Journalistin erwähnt mit keinem Worte, dass die Daten in den USA erhoben wurden.

P.P.S. Die Durchführung einer guten Studie mit Daten, welche vertrauenswürdige Interpretation zulassen, muss gut geplant sein. Das kostet aber auch Zeit, Geld und bedingt das notwendige Human-Kapital.

Welche Erfahrungen haben Sie gemacht mit Studien?

Wie oft führt Ihr Unternehmen Umfragen durch um notwendige Daten zu bekommen oder zur besseren Entscheidungsfindung? Mit welchen Herausforderungen sind Sie dabei konfrontiert in Sachen Budget, Zeit, Personal, usw.?