Einige Werkzeuge zur Entlarvung von schlechten Studien

Gastbeitrag von Dr. Susanne Kretschmann

Gerade von Anhängern von Pseudomedizin (dazu gehören auch Impfgegner) werden immer dieselben unseriösen Studien und Fehlinterpretationen zitiert, die bei etwas genauerem Hinsehen keinem Qualitätskriterium genügen und deren Aussagen keinerlei Wert haben.

Meist gelingt es mit wenig Aufwand, auch ohne tiefere medizinische Fachkenntnisse die Fehler solcher Studien und Aussagen aufzudecken. Der erste Schritt sollte immer sein, sich die Originalquellen anzusehen. Viele Informationen verbreiten sich im Netz nach dem Prinzip „Stille Post“, im Verlauf von unzähligen Kopien bleiben nur die falschen Annahmen übrig.

1. Hat sich schon jemand damit beschäftigt? Doppelarbeit lohnt sich nicht.

 

Gute Quellen, die sich mit Studien auseinandersetzen:

• Science-Based Medicine
• Skeptical Raptor
• Respectful Insolence

2. Gibt es die Studie überhaupt?

 

Gerüchte verbreiten sich schnell, auch wenn sie keinen wahren Kern haben.

• Wenn ja, wurde sie zurückgezogen?

Häufig geistern zurückgezogene Studien noch jahrelang durch das Netz. Retraction Watch kann helfen.

• Gibt es eine Replikation (Wiederholung) der Studie? Das wäre ein Hinweis auf sauberes wissenschaftliches Vorgehen, da Ergebnisse eines einzigen Versuchs immer mit Fehlern behaftet sein können.
• Werden Ergebnisse oder andere Tatsachen falsch interpretiert?

Ein Beispiel, das seit Jahren immer wieder die Runde macht, ist die Aussage von Impfgegnern, der Bundesgerichtshof habe festgestellt, „das Masernvirus gebe es nicht“. Es ging in dem Verfahren aber nicht darum (das Gericht hat bejaht, dass es den Virus gibt), sondern um eine Ausschreibung, eine Arbeit vorzulegen, die den Masernvirus beweist.. Der Kläger hatte aber mehrere Studien vorgelegt und damit die Ausschreibungsbedingungen für die ausgelobte Summe nicht erfüllt.

3. Äußere Bedingungen der Studie:

 

• In welchem Journal wurde die Studie veröffentlicht? Ist es ein predatory open access journal („Open-access-Raubtierverlage“), in dem Autoren für die Veröffentlichung beliebiger Artikel bezahlen, ohne dass ein peer review oder sonst eine Prüfung stattfindet? Studien, die in solchen Zeitschriften erschienen sind, haben in der Regel keinen wissenschaftlichen Wert.

Hier findet man eine Liste der wichtigsten predatory journals

• Wie hoch ist der Impact factor des Journals, wie oft wird das Journal von anderen zitiert?

Veröffentlichungen in seriösen, wichtigen Zeitschriften werden häufiger zitiert, ihre Kriterien für die Annahme eines Artikels sind wesentlich strenger als bei unwichtigen und fragwürdigen.

Hier findet man Hinweise zum Impact factor.

• Sind die Autoren früher schon negativ aufgefallen?

Hier lohnt sich wieder die Suche in den unter 1. erwähnten Blogs.

• Wo arbeiten die Autoren? Gehört das Thema des Artikels überhaupt zu ihrem Fachgebiet?

Informationen zur Institution, bei der die Autoren beschäftigt sind, müssen in jedem Artikel stehen. Fragwürdig wird es, wenn sie in völlig anderen Bereichen arbeiten oder gar fachfremd sind.

• Gibt es Interessenkonflikte, wer finanzierte die Studie? Dies wird bei jeder Studie genannt. Haben die Geldgeber ein Interesse an bestimmten Ergebnissen?
• Ist die Studie öffentlich zugänglich oder findet man nur das Abstract? Steht im Abstract dasselbe wie im Volltext? Es gibt genügend Fälle, in denen sich Aussagen des Abstracts und der Studie selbst widersprechen.

Quellen für Volltexte sind z.B.

• Google Scholar
• Science Huß
• Free Scientific Publications

4. Entspricht die Methodik sauberem wissenschaftlichen Vorgehen?

 

• • Existiert eine Kontrollgruppe? Wenn ja, ist die Behandlung mit der Experimentalgruppe vergleichbar?
  • Bei experimentellen Arbeiten: Ist die Studie doppelt verblindet (weder Versuchspersonen noch Versuchsleiter wissen, ob sie das Mittel/die Behandlung oder Placebo erhalten).
  • Erfolgte die Zuordnung zu Versuchs- und Kontrollgruppe zufällig? Gibt es systematische Unterschiede zu Versuchsbeginn zwischen beiden Gruppen, etwa hinsichtlich Geschlecht, Alter, Schwere der Erkrankung etc.
  • Sind die Ausfallraten in Versuchs- und Kontrollgruppe hinsichtlich Anzahl und Gründen vergleichbar? Falls dies nicht der Fall ist, könnte es ein Hinweis auf systematische Unterschiede zwischen den Gruppen sein, die die Ergebnisse verfälschen.
  • Stammen beide Gruppen aus derselben Grundgesamtheit? Unterscheiden sie sich systematisch? Beispiel: Werden geimpfte mit nichtgeimpften Kindern verglichen, ist es sehr wahrscheinlich, dass die Gruppen sich auch hinsichtlich anderer relevanter Variablen unterscheiden, wie Häufigkeit des Arztbesuches, Affinität zu Pseudomedizin, Ernährung etc. Die Ergebnisse sind dann nicht mehr vergleichbar.
  • Was wurde erfasst? Objektive Messungen oder selbstberichtetes Erlebnisse, die subjektiv gefärbt sein können?

Ein extremes Beispiel für grobe Verzerrungen durch subjektive Aussagen ist die Argumentation, Homöopathie sei wirksam, weil so viele Menschen sie verwendeten. Mit derselben Begründung könnte man die Unschädlichkeit von Flugreisen für den Klimawandel annehmen. Beliebtheit ist kein Beleg für Wirksamkeit.

• Wie groß ist die Stichprobe? Je kleiner, desto unsicherer ist das Ergebnis.
• Wurde während der Untersuchung die Stichprobe vergrößert? Das deutet darauf hin, dass die ursprüngliche Stichprobengröße keine signifikanten Ergebnisse erbracht hat. Eine größere Stichprobe senkt statistisch die Schwelle für signifikante Ergebnisse, ohne „wahre“ Unterschiede abzubilden.
• p-Hacking: Werden sehr viele Variablen (etwa durch ausführliche Fragebogen mit vielen Items) erfasst, aber nur wenige sind signifikant? Bei p<0.05 müsste man nach der Wahrscheinlichkeit schon 5 von 100 signifikante Ergebnisse finden, die nicht auf „wahren“ Unterschieden beruhen.
• Gibt es Auffälligkeiten bei den berichteten Messzeitpunkten? Oft werden nur die Zeitpunkte berücksichtigt, bei denen es signifikante Ergebnisse gab, alle anderen werden bei der Ergebnisdarstellung unterschlagen.
• Falls Verläufe der Ergebnisse über den Zeitraum der Versuche angegeben sind: Gibt es systematische Unterschiede zu den verschiedenen Versuchszeitpunkten? Das wäre ein Anzeichen dafür, dass die Versuchsbedingungen über die Zeit verändert wurden, was kein sauberes wissenschaftliches Vorgehen ist.

Schon wenige dieser Kriterien genügen in der Regel, vertrauenswürdige von unseriöser Forschung zu unterscheiden.