Ein Marketingverantwortlicher startet eine Kampagne, beobachtet einen Anstieg der Conversions und kommt zu dem Schluss, dass die Kampagne funktioniert. Drei Wochen später bemerkt ein Kollege, dass der Anstieg mit einem saisonalen Höhepunkt zusammenfällt. Ohne fundierte statistische Analyse beruht die Entscheidung, die Kampagne fortzusetzen, auf bloßen Vermutungen. Genau solche Fallstricke lassen sich mit Methoden der statistischen Datenanalyse vermeiden.
Korrelation und Kausalität: die Falle, die Unternehmensentscheidungen verfälscht
Statistische Zusammenhänge werden häufig mit Ursache-Wirkungs-Beziehungen verwechselt. Zwei Variablen entwickeln sich parallel, und daraus wird geschlossen, dass die eine die andere verursacht. Dieser Fehler kann teuer werden, wenn er die Budgetverteilung oder die Produktstrategie beeinflusst.
Ein statistischer Zusammenhang allein belegt noch keinen kausalen Effekt. Um einen tatsächlichen Effekt zu isolieren, braucht es ein geeignetes Studiendesign: Randomisierung, eine Kontrollgruppe oder zumindest eine Analyse, die Störvariablen berücksichtigt. Und selbst bei korrekter Randomisierung gilt das Ergebnis nur für die untersuchte Stichprobe und lässt sich nicht unbedingt auf die gesamte Zielpopulation übertragen.
Bevor man Schlussfolgerungen zieht, sollte man sich zwei unterschiedliche Fragen stellen: Hängen die Variablen zusammen? Und vor allem: Was würde sich durch einen konkreten Eingriff ändern? Die erste Frage gehört zur deskriptiven Statistik. Die zweite erfordert einen experimentellen oder quasi-experimentellen Ansatz. Wer beides verwechselt, hält einen Zufall für einen Beweis. Welche Methoden der statistischen Datenanalyse für die jeweilige Situation geeignet sind, hängt unmittelbar von der Fragestellung ab.
Statistische Tests: Was ein nicht signifikantes Ergebnis wirklich aussagt
Auf einer E-Commerce-Website wird eine Änderung getestet. Der A/B-Test zeigt keinen signifikanten Unterschied zwischen den beiden Versionen. Eine häufige Schlussfolgerung lautet: Die Änderung bringt nichts. Diese Interpretation ist oft falsch.
Ein nicht signifikantes Ergebnis beweist nicht, dass kein Effekt vorliegt. Es kann schlicht auf eine zu kleine Stichprobe oder eine zu ungenaue Schätzung zurückzuführen sein, durch die eine tatsächlich vorhandene Veränderung nicht erkannt wird. Diese Unterscheidung ist für die Entscheidungsfindung entscheidend: Einen vielversprechenden Ansatz aufgrund eines Tests mit zu geringer Teststärke aufzugeben, bedeutet, Potenzial zu verschenken.
Um zu dem Schluss zu kommen, dass tatsächlich kein Unterschied besteht, braucht es ein spezielles Studiendesign. Hier spricht man von Äquivalenz- oder Nichtunterlegenheitsanalysen. Dafür muss vorab eine Differenzspanne festgelegt werden, die als vernachlässigbar gilt. Ohne eine solche Spanne kann ein klassischer Test keine Aussage über das Fehlen eines Effekts treffen.
Stichprobengröße und Teststärke
Die Teststärke beschreibt, wie gut ein Test einen Effekt erkennt, wenn dieser tatsächlich vorhanden ist. Sie hängt unmittelbar von der Stichprobengröße und der Stärke des gesuchten Effekts ab. Je kleiner der erwartete Effekt, desto mehr Beobachtungen sind nötig, um ihn nachzuweisen.
In der Praxis berechnet man die erforderliche Stichprobengröße vor Beginn des Tests, nicht erst danach. Viele Teams sammeln Daten über einen willkürlich festgelegten Zeitraum und führen den Test erst anschließend durch. Wer die Stichprobengröße vor dem Test festlegt, vermeidet voreilige Schlussfolgerungen.
Mehrfachanalysen und opportunistischer Abbruch: so entstehen falsch positive Ergebnisse
Ein Analyst untersucht die Kundenzufriedenheit nach Altersgruppe, Region, Akquisitionskanal und Produkttyp. Von den rund zwanzig getesteten Untergruppen zeigt nur eine ein signifikantes Ergebnis. Dieses wird im Bericht hervorgehoben. Das Problem: Je mehr Tests durchgeführt werden, desto größer wird automatisch die Wahrscheinlichkeit, ein falsch positives Ergebnis zu finden.
Viele Kennzahlen oder Untergruppen zu testen und anschließend nur das günstige Ergebnis zu berichten, nennt man statistisches Cherry-Picking. Das Risiko eines falsch positiven Ergebnisses, das normalerweise für einen einzelnen Test kalibriert ist, steigt drastisch, sobald mehrere Tests ohne Korrektur durchgeführt werden.
Die Falle des vorzeitigen Abbruchs
Eine weitere verbreitete Praxis: Ein Test wird gestartet, die Ergebnisse werden täglich überprüft und der Test wird abgebrochen, sobald Signifikanz erreicht ist. Dieses Vorgehen verfälscht den Entscheidungsgrenzwert des klassischen Tests vollständig, denn dieser setzt eine feste Stichprobengröße voraus.
Für die laufende Überwachung gibt es zwei Lösungsansätze:
- Korrektur für multiples Testen (Bonferroni, Holm): Der Signifikanzgrenzwert wird an die Anzahl der durchgeführten Vergleiche angepasst, wodurch das Risiko falsch positiver Ergebnisse sinkt
- Sequenzielle Methoden: Sie ermöglichen Zwischenanalysen und kontrollieren zugleich die globale Fehlerrate. Dazu wird vor Beginn der Datenerhebung eine Abbruchregel festgelegt
- Vorregistrierung der Analyse: Die getesteten Hypothesen, untersuchten Untergruppen und Entscheidungskriterien werden vorab dokumentiert, sodass eine nachträgliche selektive Auswahl verhindert wird
Die passende statistische Methode für die konkrete Fragestellung wählen
Welche Methode geeignet ist, hängt von der Art der Daten und der Fragestellung ab. In Unternehmen begegnet man meist drei wiederkehrenden Situationen.
Die erste: Beobachtungen zusammenfassen. Deskriptive Statistiken, Mittelwerte, Mediane und Streuungsmaße helfen dabei, die Verteilung eines Phänomens zu verstehen, bevor man es modelliert. Dieser Schritt wird oft vernachlässigt, obwohl er bereits verwertbare Trends und untersuchungswürdige Auffälligkeiten sichtbar machen kann.
Die zweite: Gruppen oder Zeiträume vergleichen. Hypothesentests und Konfidenzintervalle helfen zu klären, ob ein beobachteter Unterschied auf eine tatsächliche Veränderung oder auf statistisches Rauschen zurückzuführen ist. Typische Beispiele sind A/B-Tests im Marketing oder Qualitätskontrollen in der Produktion.
Die dritte: Vorhersagen treffen oder Zusammenhänge erklären. Mit Regressionen und multivariaten Modellen lässt sich untersuchen, welche Variablen ein Ergebnis beeinflussen und in welchem Ausmaß. Die lineare Regression ist für solche Fragestellungen das am leichtesten zugängliche Werkzeug – vorausgesetzt, die Daten erfüllen die Modellannahmen.
Welche dieser Ansätze geeignet ist, kann je nach verfügbarem Datenumfang und gewünschter Genauigkeit variieren: Für eine schnelle Entscheidung reicht manchmal eine deskriptive Analyse, während ein Vorhersagemodell einen umfangreicheren Datensatz und eine sorgfältige Validierung erfordert.
Die Rolle der Visualisierung bei der Interpretation
Bevor man einen Test oder ein Modell durchführt, schützt die Visualisierung der Rohdaten vor Fehlinterpretationen. Ein Histogramm oder Streudiagramm macht Ausreißer, asymmetrische Verteilungen oder unterschiedliche Untergruppen sichtbar, die in einer numerischen Zusammenfassung verborgen bleiben könnten.
Mit Tools wie erweiterten Tabellenkalkulationsprogrammen oder spezieller Statistiksoftware lassen sich solche Visualisierungen auch ohne Programmierkenntnisse erstellen. Entscheidend ist nicht die grafische Raffinesse, sondern die Fähigkeit zu erkennen, welche Daten der Ausgangshypothese widersprechen.
Um anhand statistischer Daten bessere Entscheidungen zu treffen, muss man keine fortgeschrittene Mathematik beherrschen. Korrelation und Kausalität auseinanderzuhalten, Tests richtig zu dimensionieren und nicht unkontrolliert immer mehr Analysen durchzuführen – damit lassen sich die meisten Fehler bei Entscheidungen vermeiden. Alles Weitere ist eine Frage der sorgfältigen Umsetzung.
