Statistische Signifikanztests spielen eine zentrale Rolle in der Datenanalyse, insbesondere wenn es darum geht, Entscheidungen auf der Basis von Hypothesen zu treffen. Doch wie interpretiert man einen p-Wert korrekt? Und wie hängen Effektstärke und Teststärke (Power) mit der Qualität von Entscheidungen zusammen?

Dieser Beitrag erklärt die Konzepte verständlich und zeigt anhand eines praktischen Beispiels aus der Automobilbranche, wie falsch interpretierte Testergebnisse zu suboptimalen Entscheidungen führen können.

Was ist ein Signifikanztest und wie funktioniert der p-Wert?

Ein Signifikanztest ist ein Verfahren, mit dem geprüft wird, ob ein beobachtetes Ergebnis durch Zufall zustande gekommen sein könnte oder ob es tatsächlich einen systematischen Effekt gibt. Die Grundlage dafür bildet das Hypothesenpaar:
- Nullhypothese (H₀): Es gibt keinen Effekt, keinen Zusammenhang oder Unterschied.
- Alternativhypothese (H₁): Es gibt einen Effekt, einen Zusammenhang oder Unterschied.

Der p-Wert ist ein zentraler Bestandteil des Signifikanztests. Er gibt an, wie wahrscheinlich es ist, unter der Annahme der Nullhypothese, das beobachtete Ergebnis zu erhalten. Ein niedriger p-Wert (z. B. p < 0,05) wird oft als Hinweis darauf genommen, dass die Nullhypothese verworfen werden kann. Wichtig: Der p-Wert ist keine direkte Wahrscheinlichkeit dafür, dass die Nullhypothese wahr oder falsch ist!

Ein häufiges Problem: Die strikte Grenze von p < 0,05

Viele Entscheider verwenden die Grenze von p < 0,05 als absoluten Maßstab für Signifikanz. Doch diese Praxis kann zu gravierenden Fehlinterpretationen führen, wie das folgende Beispiel zeigt:
Ein KFZ-Händler führt eine Kundenbefragung durch, um zu überprüfen, ob eine neu eingeführte Serviceleistung die Zufriedenheit der Kunden signifikant erhöht. Die Nullhypothese lautet: „Die neue Serviceleistung hat keinen Einfluss auf die Zufriedenheit.“
Die Analyse der erhobenen Daten ergibt einen p-Wert von 0,06 – knapp oberhalb der gängigen Signifikanzschwelle von 0,05. Der Unternehmer verwirft daraufhin die Alternativhypothese, dass die neue Serviceleistung einen Einfluss hat, und stoppt weitere Investitionen in diesen Service. Aber war das wirklich die richtige Entscheidung?

Warum der p-Wert allein nicht ausreicht

Der p-Wert ist nur ein Teil der Entscheidungsgrundlagen. Folgende Aspekte müssen ebenfalls berücksichtigt werden:
Die Effektstärke: Der p-Wert sagt nichts über die Größe des Effekts aus, sondern nur darüber, ob er statistisch nachweisbar ist. Es könnte sein, dass die neue Serviceleistung tatsächlich einen relevanten, aber kleinen Effekt hat, der aufgrund der Stichprobengröße nicht signifikant wurde.  
Die Teststärke (Power): Die Power eines Tests gibt an, wie wahrscheinlich es ist, einen Effekt zu entdecken, wenn er tatsächlich existiert. Eine geringe Stichprobengröße reduziert die Power, was dazu führt, dass auch relevante Effekte übersehen werden können.
Der Kontext: Ist das Ergebnis im Lichte der den Hypothesen zugrundeliegenden Hypothesen überhaupt relevant?

Das praktische Beispiel aus der Automobilbranche

Stellen wir uns vor, der KFZ-Händler hat 50 Kunden befragt. Die Datenanalyse zeigt, dass die Kundenzufriedenheit durch die neue Serviceleistung gestiegen ist, mit einem p-Wert von 0,06. Die Effektstärke (z. B. Cohens d) wird als mittel eingeschätzt – der Effekt ist also potenziell praktisch relevant.
Hätte der Unternehmer anstelle eines strikten Schwellenwerts (p < 0,05) auch die Effektstärke und die Teststärke berücksichtigt, hätte er möglicherweise anders entschieden. Durch eine Vergrößerung der Stichprobe (z. B. auf 100 Kunden) wäre der p-Wert höchstwahrscheinlich unter die Signifikanzgrenze gefallen, und der Effekt hätte als statistisch signifikant gegolten.

Was bedeutet das für die Praxis, was hätte der Unternehmer besser machen können?

Dieses Beispiel zeigt: Entscheider sollten sich nicht allein auf den p-Wert verlassen. Stattdessen sollten sie ein ganzheitliches Bild betrachten, das folgende Aspekte berücksichtigt:

1. Den p-Wert. Wie gesagt, in der Regel geht man für signifikante Zusammenhänge oder Unterschiede von p < 0,05 aus. Bei der angeführten Kundenbefragung liegt er mit 0,06 knapp darüber.
2. Die Effektstärke: Sie gibt die praktische Bedeutung des Effekts an. Je nach Effektstärkenmaß gibt es verschiedene Grenzwerte für keinen, einen kleinen, mittleren oder großen Effekt. Ein kleiner p-Wert kann auch bei nicht nachweisbaren Effekten auftreten, z. B. bei sehr großen Stichproben. Bei der angeführten Kundenbefragung zeigt sich trotz der relativ geringen Stichprobengröße ein mittlerer Effekt.
2. Die Teststärke oder Power: Eine hohe Power reduziert die Wahrscheinlichkeit, dass echte Effekte übersehen werden (Beta-Fehler oder Fehler 2. Art). Mit einer größeren Stichprobe hätte der KFZ-Händler auch die Power seiner Analyse erhöhen können..
3. Der Kontext: Statistische Signifikanz ist nicht gleich praktische Relevanz. Ein Effekt kann für die Geschäftsziele relevant sein, auch wenn er knapp nicht signifikant ist. Statt nur auf den p-Wert zu achten, hätte der Unternehmer die praktische Relevanz der Steigerung der Zufriedenheit seiner Kunden in den Entscheidungsprozess einfließen lassen können.

Fazit

Der p-Wert ist ein nützliches Werkzeug, aber nur ein Teil der statistischen Analyse. Eine ganzheitliche Betrachtung, die Effektstärke, Power und den Kontext miteinbezieht, führt zu fundierteren Entscheidungen. In unserem Beispiel hätte der KFZ-Händler durch die Berücksichtigung dieser Aspekte den potenziell wertvollen Einfluss der neuen Serviceleistung erkannt und möglicherweise eine langfristige Verbesserung der Kundenzufriedenheit erzielt.

Hinweise

• Tipp: Angemeldete Nutzer finden zur Signifikanz, zur Effekt- und zur Teststärke im KE-Learning-Kurs Testen bivariater Hypothesen weiterführende Informationen.
• Interaktion: Ich freue mich sehr, wenn Sie zu diesem Thema beim LinkedIn-Beitrag mitdiskutieren und/oder wenn Sie den Podcast auf YouTube abonnieren!
• Veröffentlicht am 29. 12. 2024.

Ist es Ihnen bei der Do-it-yourself-Marktforschung (DIY-Marktforschung) auch schon „passiert“, dass die Ergebnisse von Teilstichproben nicht zur Gesamtanalyse passen? Im Extremfall, dass sich die daraus zu ziehenden Schlussfolgerungen sogar widersprechen? Und haben Sie dann stundenlang - vergebens - nach dem Fehler in der Datenanalyse oder in den Daten gesucht?

Zum besseren Verständnis ein konkretes Beispiel dazu

Ein Autohersteller verkauft im Bundesland Salzburg und in den angrenzenden Regionen in Oberösterreich und Bayern einen elektrisch betriebenen Pick-up mit entweder geschlossener oder offener Ladefläche. Zu beiden Modellen gibt es gegen Aufpreis ein Zusatzpaket zur Ladegutsicherung und -überwachung. Bei den Analysen der Verkaufszahlen wird aus nachvollziehbaren Gründen zwischen Außergebirg und Innergebirg unterschieden (s. dazu die obige Tabelle).

Bei einer internen Schulung der Vertriebsmitarbeiter präsentiert die Leiterin der Abteilung Marketing und Vertrieb aktuelle Zahlen. Im Außergebirg und im Innergebirg wurden jeweils 5.000 Exemplare des Pick-ups verkauft (so ein Zufall, der uns das Kopfrechnen erleichtert!). Zur großen Überraschung der Marketingverantwortlichen hat im Innergebirg mit 68% ein deutlich größerer Anteil das Zusatzpaket gekauft als im Außergebirg mit nur 45%. Daher wurde für die Vertriebsmitarbeiter ein Gesprächsleitfaden entwickelt, der vorrangig Argumente für das Zusatzpaket im Einsatz des Pick-ups im städtischen bzw. im flacheren ländlichen Gebiet, also im Außergebirg, aufgreift.

Dann meldet sich der Produktmanager zu Wort und unterstellt der Abteilung Marketing und Vertrieb, einen Fehler bei der Datenanalyse gemacht zu haben. Seine Daten zeigen, dass zum geschlossenen Modell im Innergebirg nur 20% das Zusatzpaket gekauft haben, im Außergebirg aber 40%. Und zum offenen Modell haben im Innergebirg 80% das Zusatzpaket gekauft, im Außergebirg aber 90%. Bei beiden Modellen liegt der Anteil derjenigen mit gekauftem Zusatzpaket im Innergebirg also unter dem Anteil im Außergebirg; und nicht, wie von der Marketingverantwortlichen behauptet darüber! Dann kann sich seiner Meinung nach bei einer Gesamtbetrachtung das Verhältnis der Anteile doch nicht umdrehen. Daher machen für ihn die präsentierten Argumente für die Verkaufsgespräche keinen Sinn.

Des Rätsels Lösung: Simpsons Paradoxon

Simpsons Paradoxon ist ein bekanntes Phänomen in der Statistik, benannt nach dem britischen Statistiker Edward Hugh Simpson. Dabei kehrt sich ein in getrennten Gruppen zu beobachtender Trend um, wenn die Gruppen kombiniert werden. Dieses Paradoxon tritt relativ häufig auf und kann zu gravierenden Fehlinterpretationen führen, wenn es nicht erkannt wird.

Beim obigen Beispiel zeigen sich zwischen den Zielgruppen Außergebirg und Innergebirg stark unterschiedliche Modellpräferenzen: Im Außergebirg wird eher das geschlossene Modell gekauft, im Innergebirg eher das offene. Gleichzeitig gibt es je nach Modell eine stark unterschiedliche Bereitschaft, das Zusatzpaket zu kaufen: Beim Modell mit offener Ladefläche ist sie verständlicherweise stärker ausgeprägt. Daraus ergibt sich im Innergebirg ein großer Anteil des offenen Modells mit Zusatzpaket. Und damit kommt es zum beschriebenen Effekt, der dazu führt, dass sowohl die Marketingverantwortliche als auch der Produktmanager korrekte Zahlen präsentiert haben - auch, wenn sich dabei das Verhältnis der relativen Anteile in gegenteiliger Richtung darstellt. Als Konsequenz daraus wurde das Argumentarium für die Vertriebsmitarbeiter in der Folge zielgruppenspezifisch nach Modellen und nach Regionen gestaltet (Anm.: Bei einer 2x2-Matrix geht das noch ...).

Das Wissen um Simpsons Paradoxon unterstreicht die Wichtigkeit, die Daten immer im richtigen Kontext zu betrachten und zu analysieren. Durch das Aggregieren bzw. Disaggregieren von Daten ohne fachliche (hypothesengestützte) Begründung können irreführende Ergebnisse entstehen. Dass die Schlussfolgerungen dann nicht optimal passen, ist häufig eine Folge einer unzulässigen Spezifikation; also einer Übertragung von Gesamtergebnissen auf eine bestimmte Teilgruppe (Zielgruppe) davon - für die sie aber nicht unbedingt passen müssen. Genauso problematisch ist der gegenteilige Effekt der unzulässigen Verallgemeinerung (in diesem Fall bei der Ergebnisinterpretation); also einer Übertragung von Ergebnissen zu einer bestimmten Teilgruppe (Zielgruppe) auf die Gesamtmenge (zum Beispiel aller Kunden etc.) - für die sie aber auch in diesem Fall nicht unbedingt passen müssen.

Es ist daher unabdingbar, auch bei der DIY-Marktforschung mit den Grundlagen der Datenanalyse bzw. der Statistik vertraut zu sein, um solche Fallstricke und damit suboptimale Schlussfolgerungen zu vermeiden.

Einfach zum Nachdenken

Welche Entscheidung würden Sie in der im Folgenden beschriebenen Situation (ein klassisches Dilemma) treffen?

Ein Tourismusunternehmen steht vor der Entscheidung darüber, in welchen Herkunftsländern die zwei definierten Zielgruppen (Wanderer und Mountainbiker) angesprochen werden sollen. Ein zentrales Kriterium dafür bildet die Höhe der Ausgaben vor Ort. Dafür werden sowohl die Ausgaben der Wanderer nach Ländern absteigend sortiert als auch die Ausgaben der Mountainbiker und darüber hinaus die Ausgaben beider Gruppen gemeinsam. Durch das verfügbare Marketingbudget limitiert sollen so die Top-5-Herkunftsländer identifiziert und in der Folge bearbeitet werden.

Wie es der Zufall so will, steht sowohl bei den Wanderern als auch bei den Mountainbikern die Schweiz an fünfter Stelle, noch vor Italien, das bei beiden Gruppen den sechsten Platz einnimmt. Nach dieser getrennten Betrachtung der Zielgruppen sollte die Schweiz in die Marketingaktivitäten aufgenommen werden.
Aber: Fasst man beide Gruppen zusammen, dann liegt bei den durchschnittlichen Ausgaben der Wanderer und der Mountainbiker die Schweiz an sechster Stelle und Italien rückt an die fünfte Stelle vor. Damit würde Italien ein zu bearbeitender Markt sein und die Schweiz nicht.
Dieses Beispiel von Simsons Paradoxon führt unweigerlich zu der Frage: Was tun?

Mathematik

Und wenn Sie sich weniger aus der Sicht des Marketings und mehr aus der Sicht der Mathematik für dieses Beispiel interessieren: Entwickeln Sie (mit fiktiven, aber zueinander passenden Zahlen) eine Tabelle, die genau dieses Paradoxon zum Ausdruck bringt.
 

Hinweise

• Hinweise zum „Einfach zum Nachdenken“ finden Sie im Download-Bereich.
• Den Fehler der unzulässigen Verallgemeinerung gibt es auch bei der Datenerhebung (s. dazu den Beitrag „Auswahl der Befragten. Offene Befragung“) und bei der Ergebniskommunikation (s. dazu den Beitrag „Ergebniskommunikation. Unzulässige Verallgemeinerung“).
• Tipp: Angemeldete Nutzer finden zum Umgang mit Daten im KE-Learning-Kurs Deskriptive Statistik weiterführende Informationen.
• Interaktion: Ich freue mich sehr, wenn Sie zu diesem Thema beim LinkedIn-Beitrag mitdiskutieren und/oder wenn Sie den Podcast auf YouTube abonnieren!
• Veröffentlicht am 16. 9. 2023.