Testauswahl für Gruppenvergleiche
Die Auswahl, welcher statistische Test der richtige ist, gehört mit Sicherheit zu den häufigsten (und schwierigsten) Problemen bei statistischen Auswertungen. Entsprechend oft ist das ein wichtiges Thema in meiner statistischen Beratung für Doktorand:innen.
Auf die Frage nach dem richtigen Test ist meine Antwort zumeist: „Das lässt sich so nicht sagen, ich brauche mehr Hintergrundinformationen zur Datenerhebung und zum eigentlichen Zweck der Analyse. Und ich muss mir die Daten erst angesehen haben.“
Für die richtige Testauswahl muss zunächst eine Reihe von Fragen beantwortet werden. Wir sehen uns das hier am Beispiel von Tests für Gruppenvergleiche – oder eigentlich „Stichprobenvergleiche“ – an.
Die richtigen Fragen stellen
Zur Auswahl des richtigen Tests müssen folgende Fragen korrekt beantwortet werden:
- Welcher Datentyp liegt vor: nominal, ordinal oder metrisch?
- Wie viele Gruppen / Stichproben sollen miteinander verglichen werden?
- Liegt eine ungepaarte oder eine gepaarte Situation vor?
- Und bei metrischen Daten: klassischer Test oder nichtparametrische Alternative?
All diese Fragen müssen wir uns nun erstmal ganz genau ansehen, damit wir auf die richtige Lösung kommen!
Welcher Datentyp liegt vor?
Zunächst müssen Sie klären, welcher der drei Datentypen vorliegt:
- nominal: Kategorien ohne Rangfolge
- ordinal: Kategorien mit Rangfolge
- metrisch: echte Zahlen
Wenn Sie sich mit den Datentypen nicht so recht auskennen, dann können Sie das hier nachlesen:
Wie viele Gruppen / Stichproben werden verglichen?
In klinischen Studien werden häufig zwei Gruppen miteinander verglichen, zum Beispiel erhält die Behandlungsgruppe ein neues Medikament und die Kontrollgruppe erhält ein Placebo. Es kann aber auch sein, dass bei Patienten die präoperativen Werte mit den postoperativen Werten verglichen werden. In beiden Fällen handelt es sich um den sogenannten Zwei-Stichprobenfall.
Es ist in meiner statistischen Beratung für Doktorand:innen aber keineswegs selten, dass mehr als zwei Gruppen miteinander verglichen werden. Dies ist zum Beispiel der Fall, wenn es neben der Kontrollgruppe mehrere verschiedene Behandlungsgruppen gibt (z.B. weil das Medikament in unterschiedlicher Dosis getestet wird). Oder beim Beispiel mit den prä- und postoperativen Werten werden zusätzlich noch Daten bei Entlassung aus dem Krankenhaus und bei einer 30-Tage-Follow-up-Untersuchung erhoben (also insgesamt vier Stichproben).
Wichtig ist für die Testauswahl zunächst lediglich die Unterscheidung:
- Zwei-Stichprobenfall: Vergleich von nur zwei Gruppen oder Stichproben
- Mehr-Stichprobenfall: Vergleich von mindestens drei Gruppen oder Stichproben untereinander
Der Zwei-Stichprobenfall ist rein aus methodisch-statistischer Sicht der angenehmere Fall. Im Mehr-Stichprobenfall wird die Situation leider naturgemäß relativ schnell unübersichtlich oder auch uneindeutig. Zum Beispiel kann es passieren, dass ein sogenannter Omnibus-Test (wie z.B. der ANOVA-F-Test) ergibt, dass es irgendwo zwischen den Gruppen einen Unterschied gibt. Aber bei der nachträglichen Suche mit Post-Hoc-Tests (z.B. mit dem Tukey-HSD-Test), welche der Gruppen sich denn unterscheiden, lässt sich manchmal trotzdem nirgendwo ein Unterschied finden.
Zudem steigt bei Mehr-Stichprobentests die Anzahl der nötigen Tests rapide an (multiples Testen), so dass das Problem der Alphafehler-Kumulierung entsteht und Korrekturverfahren (wie z.B. die Bonferroni-Korrektur) nötig sind. Solche Korrekturen können aber dazu führen, dass am Ende gar nichts mehr signifikant ist. Sie sehen schon: Der Mehr-Stichprobenfall ist deutlich kniffliger, so dass hier genau überlegt werden sollte, wie man das Ganze statistisch am besten angeht.
Liegt eine ungepaarte oder eine gepaarte Situation vor?
Die Frage nach ungepaarten und gepaarten Situationen sehen wir uns für den einfacheren Zwei-Stichprobenfall an. Für den unübersichtlicheren Mehr-Stichprobenfall ist das Grundprinzip jedoch völlig identisch.
Der klassische medizinische Fall, in dem eine Behandlungsgruppe mit einer Kontrollgruppe verglichen wird, ist in der Regel eine ungepaarte Situation. Eine ungepaarte Situation liegt vor, wenn die Daten der einen Gruppe völlig unabhängig von den Daten der anderen Gruppe sind. Beim Vergleich von prä- und postoperativen Werten liegt hingegen eine gepaarte Situation vor. Der postoperative Wert eines Patienten ist nicht völlig unabhängig vom präoperativen Wert. Bestehen solche Abhängigkeiten zwischen den Stichproben, dann handelt es sich um eine gepaarte Situation.
Eine Faustregel besagt: Wenn die beiden Stichproben aus verschiedenen Personen oder Untersuchungsobjekten bestehen, dann ist es eine ungepaarte Situation; wenn die beiden Stichproben an jeweils denselben Personen oder Untersuchungsobjekten erhoben wurden, dann ist die Situation gepaart. Diese Faustregel greift aber viel zu kurz, wie folgendes Beispiel aus meiner statistischen Beratungspraxis zeigt:
Beispiel: Für eine Doktorarbeit in der Biologie wurden Pflanzen untersucht, die es in den zwei Farbvarianten gelb und weiß gibt. Diese zwei Farbvarianten sollten miteinander verglichen werden. Es sieht hier zunächst alles nach einer ungepaarten Situation aus. Entsprechend der obigen Faustregel gingen sowohl die Doktorandin als auch ihr Doktorvater von einer ungepaarten Situation aus und haben den Mann-Whitney-U-Test verwendet. Auf meine Nachfragen zum genauen Vorgehen stellte sich die Situation dann aber gänzlich anders dar: Beim Beproben der Pflanzen wurde jeweils darauf geachtet, dass zu jeder gelben Pflanze in unmittelbarer Nähe auch eine weiße Pflanze beprobt wurde. Der richtige Gedanke dahinter war: Höchstwahrscheinlich spielen auch die lokalen Bodenverhältnisse eine Rolle. Um verzerrende Effekte aufgrund der unterschiedlichen Bodenbeschaffenheiten auszuschließen, wurden die Pflanzen in Paaren (gelb und weiß) beprobt, so dass innerhalb eines Paares immer dieselben Bodenverhältnisse herrschen. Aber damit handelt es sich ganz eindeutig um eine gepaarte Stichprobe. Obwohl die beiden Stichproben aus verschiedenen Untersuchungsobjekten bestehen (gelbe Pflanzen vs. weiße Pflanzen), handelt es sich aufgrund der Durchführung der Datenerhebung um eine gepaarte Situation, da durch die Bodenbeschaffenheit mögliche Abhängigkeiten entstehen.
Dieses Beispiel zeigt auch, warum ich eingangs geschrieben habe, dass für eine gute statistische Beratung Hintergrundinformationen zur Datenerhebung sehr wichtig sind.
Hier noch einmal die Zusammenfassung:
- ungepaarte Situation: zwischen den Daten der beiden Stichproben gibt es keinerlei Abhängigkeiten
- gepaarte Situation: die Daten der beiden Stichproben wurden in Paaren erhoben; zu jedem Wert in der einen Stichprobe gibt es einen damit verbundenen Wert in der anderen Stichprobe
Klassischer Test oder nichtparametrische Alternative
Naturgemäß stellt sich die Frage nur für den Fall, dass die Daten metrisch sind. Bei nominalen Daten gibt es die Unterscheidung zwischen klassischen Tests und nichtparametrischen Alternativen gar nicht. Bei ordinalen Daten dürfen die klassischen Tests nicht verwendet werden, weil die klassischen Tests auf Mittelwerten beruhen. Da Mittelwerte für ordinale Daten nicht berechnet werden dürfen, sollte klar sein, dass dann entsprechend auch die klassischen Tests nicht verwendet werden dürfen.
Folgende Einteilung ist ein wenig zu grob und zu vereinfachend, aber ich möchte sie dennoch machen, weil sie für das Verständnis und die korrekte Testauswahl – bei allen Ungenauigkeiten im Detail – überaus hilfreich ist:
- klassische Tests (z.B. t-Test) basieren auf Mittelwerten
- nichtparametrische Alternativen basieren auf dem Median oder anderen rangbasierten Kennzahlen (also Kennzahlen, die auf dem Sortieren von Daten nach Größe beruhen)
Es ist ein häufiges Missverständnis, dass die Daten für die Verwendung der klassischen Tests normalverteilt sein müssten. Hierüber habe ich bereits an anderer Stelle geschrieben:
Der Punkt ist nicht so sehr, ob die Daten wirklich normalverteilt sind. Der entscheidende Punkt ist, ob die Berechnung des Mittelwerts sinnvoll ist oder nicht. Die Berechnung des Mittelwerts ist nicht sinnvoll, wenn
- es größere Ausreißer gibt
- die Daten deutlich schief verteilt sind
Wenn die Berechnung des Mittelwerts (aufgrund von Ausreißern oder einer schiefen Verteilung) nicht sinnvoll ist, dann ist natürlich auch die Verwendung von Tests unsinnig, die auf Mittelwerten beruhen. Manchmal ist aber auch die Verwendung des Mittelwerts aus inhaltlichen Gründen nicht sinnvoll (weil man sich aus inhaltlichen Gründen für den Median und nicht für den Mittelwert interessiert). Auch dann ist die Verwendung der klassischen Tests keine gute Idee.
Somit kommen wir zu folgender Zusammenfassung, die hier in dieser Allgemeinheit bitte nur als grobe Orientierung zu verstehen ist:
- Mittelwert sinnvoll: klassische Tests
- Mittelwert unsinnig: nichtparametrische Alternativen
Praxistipp: Wenn Sie sich unsicher sind, dann ist es eine gute Idee, wenn Sie einfach einmal beide Testverfahren berechnen und vergleichen, ob die Verfahren in etwa zum gleichen Ergebnis kommen, oder ob es erhebliche Unterschiede gibt. Wenn es keine nennenswerten Unterschiede gibt, dann spricht das schonmal sehr dafür, dass die Verwendung des klassischen Tests in Ordnung ist. (Und in diesem Fall ist es dann ja eigentlich auch nicht so wichtig, welchen Test Sie letztlich verwenden.) Wenn es erhebliche Unterschiede gibt, dann muss es dafür einen Grund geben. In diesem Fall müssen Sie sich unbedingt auf die Suche machen, um den Grund für diesen Unterschied (z.B. Ausreißer) herauszufinden. Das gehört zu einer guten Datenanalyse unbedingt dazu und oftmals ergeben sich hieraus auch die interessantesten Erkenntnisse! Bei großen Unterschieden wird es aber in der Regel so sein, dass vermutlich eher der nichtparametrische Test die angemessenere Wahl ist.
Die Testauswahl
Nun haben wir alles beisammen, um den richtigen Test auszuwählen. Dabei gliedern wir zunächst nach dem Datentyp (nominal, ordinal, metrisch). Bei den metrischen Daten sind hier nur die klassischen Tests (basierend auf Mittelwerten) aufgeführt; als nichtparametrische Alternativen kommen die Tests zum Einsatz, die unter den ordinalen Daten aufgeführt sind.
Tests für nominale Daten
Zwei-Stichprobenfall:
- ungepaarte Situation: exakter Test nach Fisher oder Chi-Quadrat-Test
- gepaarte Situation: McNemar-Test oder Stuart-Maxwell-Test
Mehr-Stichprobenfall:
- ungepaarte Situation: Chi-Quadrat-Test
- gepaarte Situation: Madansky-Test
Tests für ordinale Daten (bzw. nichtparametrische Alternativen bei metrischen Daten)
Zwei-Stichprobenfall:
- ungepaarte Situation: Mann-Whitney-U-Test
- gepaarte Situation: Wilcoxon-Vorzeichen-Rangtest
Mehr-Stichprobenfall:
- ungepaarte Situation: Kruskal-Wallis-Test als Omnibus-Test und Dunn-Test als Post-Hoc-Test
- gepaarte Situation: Friedman-Test als Omnibus-Test und Nemenyi-Test als Post-Hoc-Test
Tests für metrische Daten
In diesem Abschnitt sind nur die klassischen Tests (basierend auf Mittelwerten) für metrische Daten aufgeführt. Als nichtparametrische Alternativen kommen die Tests für ordinale Daten zum Einsatz.
Zwei-Stichprobenfall:
- ungepaarte Situation: t-Test
- gepaarte Situation: gepaarter t-Test
Mehr-Stichprobenfall:
- ungepaarte Situation: ANOVA-F-Test als Omnibus-Test und Tukey-HSD-Test als Post-Hoc-Test
- gepaarte Situation: Mixed Model