Gute Studien, schlechte Studien

Mit ein paar wenigen Grundkenntnissen, wie der Anzahl der Studienteilnehmer, kann man gute Studien und schlechte Studien unterscheiden.

Die Printmedien sind voll mit positiven Studienergebnissen zu allerlei Themen. Besonders Studien rund um Wohlbefinden und Gesundheit werden von Boulevard- bis zu Qualitätsmedium sehr gerne veröffentlicht. Teilweise werden hier haarsträubende Ergebnisse als Fakten präsentiert, wie beispielsweise:

„Eine Studie besagt, dass Roggenbrot beim Abnehmen unterstützt“

(elle.de)

„Ein chinesisches Wissenschaftlerteam konnte in einer kleinen Studie zeigen, dass eine homöopathische Behandlung begleitend zur Standardtherapie hilft, die Blutzuckerwerte bei Diabetes Typ 2-Patienten zu kontrollieren.“

(vkhd.de)

„Laut einer Studie können Rosinen bei bestimmten Patienten den Blutdruck senken.“

(t-online.de)

Hilft Schokolade wirklich beim Abnehmen?

Wie leicht sich Journalisten in die Irre führen ließen, bewies nicht zuletzt die angebliche Studie bei welcher Schokolade das Abnehmen erleichterte. Diese wurde von unzähligen Printmedien und Onlinemagazinen (link führt zum entsprechenden Artikel von weltderwunder.de) übernommen. Die Studie war allerdings ein Fake und war letztlich nur ein Versuch der Studienautoren um zu zeigen, wie leicht es Fakestudien ungeprüft in die Medien schaffen. Dabei hätte eine kurze Recherche gereicht um diese als unglaubwürdig zu enttarnen. Die Hintergründe hierzu und wie es die Studienautoren schafften alle reinzulegen findet ihr in diesem Spiegel Artikel.

Fake Science und wie man diese enttarnt

Fakestudien, zweifelhafte Rückschlüsse und irreführende „wissenschaftliche“ Empfehlungen finden sich aber nicht nur bei Themen rund ums Abnehmen, sondern im speziellen auch bei Heilpflanzen und Themen rund um die Naturheilkunde. Eine einfache Recherche im Internet liefert hierzu hunderte Ergebnisse. Besonders viele zweifelhafte Studien gibt es zu den Themen rund um Krebs, Abnehmen, Potenzmittel und chronische Krankheiten wie Bluthochdruck und Diabetes. Es ist auch relativ leicht eine Studie in einem „wissenschaftlichen Journal“ zu veröffentlichen, was wiederum die Voraussetzung ist, dass eine einfache Untersuchung zur „wissenschaftlichen Studie“ wird. Es gibt nämlich zahlreiche scheinwissenschaftliche Verlage die eingereichte Studien vor Veröffentlichung wenig bis gar nicht untersuchen. Einen Einblick in dieses Thema liefert die NDR Reportage zur „Fake Science“.

Diese Studien werden dann wiederum von zwielichtigen Seiten als Grundlage für deren Behauptungen und angebotenen Produkte verwendet. Dabei ist es gar nicht so schwer sich selbst ein Bild von der wissenschaftlichen Qualität vieler Aussagen zu machen. Alles was man hierzu braucht sind Englischkenntnisse (Pubmed, ist eine englischsprachige Seiten die alle veröffentlichten Studien enthält), ein bisschen Zeit und eine paar Grundkenntnis zur Qualität wissenschaftlicher Studien.

Welche unterschiedlichen Studien gibt es?

Im folgenden zeigen wir euch welche Untersuchungen umgangssprachlich als Studien gelten. Denn der einzige Parameter, ob eine Untersuchung als Studie gilt ist – unabhängig vom tatsächlichen Untersuchungsobjekt – ob diese in einem wissenschaftlichen Journal veröffentlicht wurde.

In-vitro Studie

Eine In-vitro Studie ist eine Untersuchung die lediglich an einzelnen Zelllinien, in einem Reagenzglas/Petrischale, Zellmodellen oder an einzelnen Geweben durchgeführt wurde.
Der Vorteil ist hierbei, dass man relativ günstig und bereits in einem einfach ausgestatteten Labor erste Ergebnisse liefern kann. Der Nachteil ist aber die geringe Aussagekraft. Dass heißt man kann nicht mit Sicherheit davon ausgehen, dass nur weil eine Substanz in der Petrischale antibakterielle Wirkungen zeigt, dies dann auch im menschlichen Körper ausübt.

Tierstudie

Hierbei werden Untersuchungen und Versuche mit Labortieren deren Stoffwechsel sich im groben Zügen dem des Menschen ähnelt, wie Meerschweinchen, Ratten, Affen oder Mäusen durchgeführt.
Der Vorteil ist auch hier, dass man relativ günstig bereits in kleinen Laboratorien wie an Universitäten Untersuchungen durchführen kann. Der Nachteil liegt auch hier in der geringen Aussagekraft. Denn auch wenn diese im Allgemeinen höher zu bewerten sind als bei In-vitro Untersuchungen, lassen sich auch hier keine gesicherten Rückschlüsse auf Menschen zu.

Humanstudie

In einer Humanstudie wird eine Substanz/Pflanze usw. an gesunden oder kranken Menschen getestet. Der Vorteil ist der höhere Grad an Aussagekraft gegenüber In-vitro und Tierversuchen. Der Nachteil ist der hohe Preis, der hohe Aufwand und die geforderten regulatorischen Vorraussetzungen (z.B. Zustimmung der Ethikkommission). Und es wird noch komplexer, denn es gibt unterschiedliche Typen von Humanstudien.

Abstufung der Vertrauenswürdigkeit unterschiedlicher Humanstudien (Qualität nimmt nach unten ab):

Studienart	Beschreibung	Kommentar
Systemischer Review	Zusammenfassung aller verfügbarer Studien	Hat die größte wissenschaftliche Aussagekraft, vorausgesetzt die zugrundeliegende Studien sind in ausreichender Menge und Qualität verfügbar.
Metaanalyse (Review)	Zusammenfassung mehrerer Studien	Hat eine große wissenschaftliche Aussagekraft, lässt sich aber mit der Auswahl der einfließenden Studien auch manipulieren/verzerren (z.B. kann ich nur positiv abgeschlossene Studien mit aufnehmen und die Studien mit einem weniger guten Ergebnis einfach weglassen)
Randomisiert placebo-kontrollierte Studie	Standard einer guten klinischen Studie	Sofern ausreichend viele Studienteilnehmer teilnahmen (am besten über 300 Personen) und untersuchte Parameter, Studienort und statistische Auswertung der guten wissenschaftlichen Praxis entsprechen kann dieser Studientyp Kausalität belegen
Retrospektive Beobachtungsstudie	Eine rückblickende Betrachtung des wissenschaftlichen Forschungsgegenstandes (z.B. Fall-Kohortenstudie: Wie ist die derzeitige Herzinfarktrate einer Bevölkerungsgruppe im Zusammenhang mit ihren typischen Ernähungsgewohnheiten)	Kann nur einen Zusammenhang, aber keine Kausalität beweisen, d.h. ich weiß nicht, ob meine Annahme wirklich die Ursache für meine Beobachtung ist (z.B. ist ein hoher Fleischkonsum mit einer höheren Rate an Herzinfarkt verbunden?)
Querschnittsstudie	Eine Messung zu einem einzelnen Zeitpunkt (z.B. Blutzuckerwert einer bestimmten Bevölkerungsgruppe zu einem bestimmten Zeitpunkt)	Kann nur einen Zusammenhang, aber keine Kausalität beweisen, d.h. ich weiß nicht ob meine Annahme wirklich die Ursache für meine Beobachtung ist (z.B. ist ein hoher Blutzuckerwert auf typische Ernährungsgewohnheiten zurückzuführen?)

Ein systemischer Review der alle verfügbaren Studien in die Untersuchung mit einschließt hat sicher die beste wissenschaftliche Evidenz. Allerdings müssen ausreichend viele qualitativ hochwertiger Studien zu Verfügung stehen um die Fragestellung auch sicher beantworten zu können. Zusätzlich werden für gute systemische Reviews nur qualitativ hochwertige Studien akzeptiert. Doch gerade bei Heilpflanzen fehlt es oft an qualitativ hochwertigen Studien, wodurch es immer wieder zu Beanstandungen beispielsweise seitens der Cochrane Collaboration kommt. Denn fehlen Studien oder sind die vorhandenen Studien mangelhaft kann auch der beste Review kein positives Ergebnis liefern.

Einfache Kennzahlen und Zeichen einer guter Studien

Um eine Studie in all ihren Facetten auf deren Qualität beurteilen zu können, braucht es fundierte Kenntnisse welche man beispielsweise in Workshops bei der jeweiligen Länderorganisation der Cochrane Collaboration (Link führt zu Workshops von Cochrane Österreich) erwerben kann.
Es gibt aber auch einige Daten die man auch ungeübt kennen sollte, um eine Studie rasch auf deren Qualität abzuchecken:

Randomisiert-placebokontrollierte Studie

Die Mindestanforderung an eine Studie die eine wissenschaftliche Annahme beweisen will ist die randomisierte placebokontrollierte Studie. In diesem Studientyp werden die Teilnehmer in mindestens 2 Gruppen aufgeteilt. Eine Gruppe bekommt die zu untersuchende Substanz (Verumgruppe) und die andere Gruppe bekommt ein Scheinmedikament (Placebogruppe). Randomisiert heißt, dass die Zuordnung zu den beiden Gruppen zufällig passierte, also die Studienautoren dies nicht beeinflussen konnten. Im Idealfall ist die Zuordnung zu den Gruppen auch doppelverblindet, das heißt die Studienautoren wissen während der Studie auch nicht wer in welcher Gruppe ist.

Anzahl der Studienteilnehmer

Wenn ich als Studienautor nur wenige Teilnehmer in meine Studie aufnehme, kann ich bereits durch den Zufall gute Ergebnisse bekommen. Deshalb sollte eine gute Studie mindestens 300 Teilnehmer umfassen. Das ist natürlich sehr hoch und für kleine Institutionen meist nicht machbar, doch für die Glaubwürdigkeit eine maßgebliche Größe. Leider erreichen die meisten Studien zu Heilpflanzen diese Kennzahl nicht.

Interessenkonflikt

Dies ist insofern relevant, als dass eine Studienautor der für die Firma arbeitet die das zu untersuchende Produkt vertreibt natürlich tendenziell zu bestimmten Ergebnissen kommen will. Sofern ein Unternehmen zu einer Studie klar zuordenbar ist, ist zumindest Skepsis angebracht. Denn dann hat der Studienautor einen klaren Interessenkonflikt, der die Aussagekraft der erzielten Ergebnisse jedenfalls schmälert.

Autor: Arnold Achmüller, erstellt am 29. Mai 2020

Quellen und weiterführende Links:
https://www.spiegel.de/wirtschaft/service/diaet-fake-studie-behauptet-schokolade-macht-schlank-a-1035685.html
https://www.daserste.de/information/reportage-dokumentation/dokus/sendung/exclusiv-im-ersten-fake-science-100.html
Pubmed (Meta-Datenbank von Studien)
Cochrane Deutschland: https://www.cochrane.de/de, Cochrane Österreich: https://austria.cochrane.org/de, Cochrane Schweiz: https://swiss.cochrane.org/de/home