Wir vertrauen Studien blind – aber wer prüft eigentlich wer sie bezahlt hat? 🤓

[Charlie]

okay ich weiß dass das ein unbequemes Thema ist aber ich arbeite selbst in der Forschung und ich kann nicht mehr so tun als wäre das kein Problem
ich bin Charlie, Jahrgang 88, Wissenschaftler und ich liebe meinen Job. wirklich. aber genau deshalb beschäftigt mich folgendes schon seit Jahren und ich frag mich warum darüber so wenig offen geredet wird.
wir haben ein ernsthaftes Reproduzierbarkeitsproblem. 2015 hat ein großes Forscherteam versucht 100 psychologische Studien zu replizieren. weniger als 40% der Ergebnisse ließen sich bestätigen. nicht 40% waren falsch, aber 40% waren reproduzierbar. das ist erschreckend wenn man bedenkt wie viele Entscheidungen, medizinische, politische, gesellschaftliche, auf solchen Studien basieren.
und dann ist da noch die Finanzierungsfrage. ich sage nicht dass bezahlte Forschung automatisch falsch ist. aber ich sage dass es einen dokumentierten Zusammenhang gibt zwischen Studienfinanzierung und Studienergebnis. Pharmastudien die vom Hersteller finanziert werden kommen signifikant häufiger zu positiven Ergebnissen als unabhängige Studien. das ist keine Verschwörungstheorie. das ist Meta-Analyse.
was mich dabei am meisten frustriert ist der Publication Bias. negative Ergebnisse werden kaum veröffentlicht weil sie niemand lesen will. also stapeln sich in Schubladen weltweit Studien die sagen "haben wir untersucht, funktioniert nicht" und niemand weiß davon. das verzerrt unser gesamtes Bild der Realität systematisch.
ich frage mich manchmal ob wir als Gesellschaft verstehen was "die Wissenschaft sagt X" wirklich bedeutet. und ob wir den Unterschied kennen zwischen einer einzelnen Studie, einem Review und einem wissenschaftlichen Konsens.
wie vertraut ihr Studien? habt ihr Methoden entwickelt um das einzuschätzen? oder verlasst ihr euch am Ende auch einfach auf Schlagzeilen? keine Wertung – ich frag wirklich

 

[JonasK]

Hey Charlie, ich bin Jonas, kein Wissenschaftler, völlig normaler Mensch mit Google-Kenntnissen und zu viel Vertrauen in Schlagzeilen. Genau die Zielgruppe für diesen Post also.
Ich geb's ehrlich zu ich hab bisher fast nie gefragt wer eine Studie finanziert hat. Ich les "Studie zeigt dass X gut für Y ist" und denk mir okay, gemerkt. Fertig. Und jetzt sitze ich hier und frag mich wie viele meiner Überzeugungen eigentlich auf genau diesem Prinzip basieren. Das ist kein schönes Gefühl.
Was mich bei deinem Post am meisten trifft ist dieser Publication Bias. Weil das so still und unsichtbar passiert. Keine Lüge, keine Manipulation im klassischen Sinne. Einfach nur die unbequemen Ergebnisse verschwinden in Schubladen. Und das Bild das übrig bleibt ist automatisch verzerrt. Das ist irgendwie perfider als offener Betrug.
Ich frag mich auch ob das ein Bildungsproblem ist. Wir lernen in der Schule was eine Studie ist aber nicht wie man sie liest. Nicht was Konfidenzintervalle bedeuten, nicht was Stichprobengröße ausmacht, nicht wann Korrelation keine Kausalität ist. Das wäre eigentlich wichtiger als vieles andere das ich in zwölf Jahren Schule gelernt hab. Stattdessen Infinitesimalrechnung.
Und was mich dabei wirklich beschäftigt ist folgendes. Du sagst du liebst deinen Job. Das glaub ich dir. Und trotzdem beschreibst du ein System das strukturell zu verzerrten Ergebnissen führt. Das klingt nach einem echten inneren Konflikt. Wie geht man damit um wenn man Teil eines Systems ist das man gleichzeitig kritisiert?
Hast du als Forscher selbst schon mal den Druck gespürt Ergebnisse in eine bestimmte Richtung zu lenken oder ist das eher etwas das niemand bewusst steuert aber trotzdem passiert? Das würd mich wirklich interessieren.