Wir vertrauen Studien blind – aber wer prüft eigentlich wer sie bezahlt hat? 🤓

[Charlie]

okay ich weiß dass das ein unbequemes Thema ist aber ich arbeite selbst in der Forschung und ich kann nicht mehr so tun als wäre das kein Problem
ich bin Charlie, Jahrgang 88, Wissenschaftler und ich liebe meinen Job. wirklich. aber genau deshalb beschäftigt mich folgendes schon seit Jahren und ich frag mich warum darüber so wenig offen geredet wird.
wir haben ein ernsthaftes Reproduzierbarkeitsproblem. 2015 hat ein großes Forscherteam versucht 100 psychologische Studien zu replizieren. weniger als 40% der Ergebnisse ließen sich bestätigen. nicht 40% waren falsch, aber 40% waren reproduzierbar. das ist erschreckend wenn man bedenkt wie viele Entscheidungen, medizinische, politische, gesellschaftliche, auf solchen Studien basieren.
und dann ist da noch die Finanzierungsfrage. ich sage nicht dass bezahlte Forschung automatisch falsch ist. aber ich sage dass es einen dokumentierten Zusammenhang gibt zwischen Studienfinanzierung und Studienergebnis. Pharmastudien die vom Hersteller finanziert werden kommen signifikant häufiger zu positiven Ergebnissen als unabhängige Studien. das ist keine Verschwörungstheorie. das ist Meta-Analyse.
was mich dabei am meisten frustriert ist der Publication Bias. negative Ergebnisse werden kaum veröffentlicht weil sie niemand lesen will. also stapeln sich in Schubladen weltweit Studien die sagen "haben wir untersucht, funktioniert nicht" und niemand weiß davon. das verzerrt unser gesamtes Bild der Realität systematisch.
ich frage mich manchmal ob wir als Gesellschaft verstehen was "die Wissenschaft sagt X" wirklich bedeutet. und ob wir den Unterschied kennen zwischen einer einzelnen Studie, einem Review und einem wissenschaftlichen Konsens.
wie vertraut ihr Studien? habt ihr Methoden entwickelt um das einzuschätzen? oder verlasst ihr euch am Ende auch einfach auf Schlagzeilen? keine Wertung – ich frag wirklich

 

[JonasK]

Hey Charlie, ich bin Jonas, kein Wissenschaftler, völlig normaler Mensch mit Google-Kenntnissen und zu viel Vertrauen in Schlagzeilen. Genau die Zielgruppe für diesen Post also.
Ich geb's ehrlich zu ich hab bisher fast nie gefragt wer eine Studie finanziert hat. Ich les "Studie zeigt dass X gut für Y ist" und denk mir okay, gemerkt. Fertig. Und jetzt sitze ich hier und frag mich wie viele meiner Überzeugungen eigentlich auf genau diesem Prinzip basieren. Das ist kein schönes Gefühl.
Was mich bei deinem Post am meisten trifft ist dieser Publication Bias. Weil das so still und unsichtbar passiert. Keine Lüge, keine Manipulation im klassischen Sinne. Einfach nur die unbequemen Ergebnisse verschwinden in Schubladen. Und das Bild das übrig bleibt ist automatisch verzerrt. Das ist irgendwie perfider als offener Betrug.
Ich frag mich auch ob das ein Bildungsproblem ist. Wir lernen in der Schule was eine Studie ist aber nicht wie man sie liest. Nicht was Konfidenzintervalle bedeuten, nicht was Stichprobengröße ausmacht, nicht wann Korrelation keine Kausalität ist. Das wäre eigentlich wichtiger als vieles andere das ich in zwölf Jahren Schule gelernt hab. Stattdessen Infinitesimalrechnung.
Und was mich dabei wirklich beschäftigt ist folgendes. Du sagst du liebst deinen Job. Das glaub ich dir. Und trotzdem beschreibst du ein System das strukturell zu verzerrten Ergebnissen führt. Das klingt nach einem echten inneren Konflikt. Wie geht man damit um wenn man Teil eines Systems ist das man gleichzeitig kritisiert?
Hast du als Forscher selbst schon mal den Druck gespürt Ergebnisse in eine bestimmte Richtung zu lenken oder ist das eher etwas das niemand bewusst steuert aber trotzdem passiert? Das würd mich wirklich interessieren.

 

[Stephen]

Charlie, Jonas, ich komm aus einer komplett anderen Ecke, BWL, Konzern, kein wissenschaftlicher Hintergrund. Aber genau deshalb treff ich euch wahrscheinlich mitten in eurer Zielgruppe.
Ich bin der Typ der "Studie zeigt dass..." liest und es intern als Argument abspeichert. In Meetings, in Diskussionen, in Entscheidungen. Und ich muss ehrlich sagen ich hab so gut wie nie gefragt wer das finanziert hat.
Was mich an Charlies Post wirklich aufgeweckt hat ist diese Kombination aus Publication Bias und Finanzierungsfrage. Einzeln klingt beides nach einem Randproblem. Zusammen ergibt sich ein systematisch verzerrtes Bild der Realität auf dem wir kollektiv Entscheidungen treffen. Das ist kein akademisches Problem. Das ist ein gesellschaftliches.
Ich erleb das im Konzernalltag übrigens auch nur anders verpackt. Interne Analysen die "die richtige Antwort" kennen bevor sie angefangen haben. Berater die Studien zitieren die zufällig genau das empfehlen wofür sie bezahlt werden. Das Prinzip ist dasselbe, nur ohne Peer Review.
Jonas, dein Punkt mit der Schulbildung ist für mich der eigentliche Kern. Wir bringen Kindern bei Studien zu zitieren aber nicht sie zu lesen. Was ist die Stichprobengröße, wer hat bezahlt, wurde es repliziert das sollte Grundbildung sein.
@Charlie ,eine ehrliche Frage zurück: Glaubst du das System kann sich selbst reformieren? Oder braucht es Druck von außen damit sich wirklich was ändert?

 

[Franzi]

Charlie, danke dass du das so offen sagst. Ich glaube viele die in der Forschung arbeiten denken ähnlich, aber es ist halt unbequem das laut auszusprechen wenn man gleichzeitig Teil des Systems ist.
Was mich an deinem Post am meisten beschäftigt ist eigentlich nicht die Finanzierungsfrage, so wichtig die ist. Sondern dieser Publication Bias. Weil der so unspektakulär passiert. Keine Manipulation, kein böser Wille, einfach nur: positive Ergebnisse kommen raus, negative verschwinden in der Schublade. Und am Ende glauben wir ein vollständiges Bild zu sehen obwohl wir immer nur die Hälfte sehen.
Jonas, ich finde deinen Punkt mit der Schulbildung wirklich gut. Infinitesimalrechnung statt Studienkritik, das trifft es ziemlich genau. Ich kann Korrelation und Kausalität unterscheiden weil ich mir das irgendwann selbst beigebracht hab, nicht weil die Schule das vermittelt hat. Das sollte eigentlich andersrum sein.
Und Stephen, dieser Vergleich mit dem Konzernalltag ist interessant weil er zeigt dass das Prinzip kein rein akademisches ist. Analysen die das Ergebnis schon kennen bevor sie anfangen. Das ist strukturell dasselbe Problem, nur ohne den Anspruch auf Objektivität.
Zur Frage ob sich das System selbst reformieren kann, da würde mich Charlies Antwort wirklich interessieren. Mein Bauchgefühl sagt: begrenzt. Nicht weil die Menschen darin keine guten Absichten haben, sondern weil Anreize stärker sind als Absichten. Solange Karrieren davon abhängen dass man publiziert, und zwar mit positiven Ergebnissen, ändert sich an der Grundlogik wenig.
Was müsste sich strukturell ändern damit das besser wird? Ich denke an verpflichtende Registrierung von Studien vor Beginn, damit negative Ergebnisse sichtbar bleiben. Aber vielleicht habt ihr als Insider da einen besseren Blick drauf als ich.

 

[Dave88]

Charlie, danke für diesen Post – ich hab lange auf so eine offene Diskussion gewartet, gerade von jemandem der wirklich drin ist.

Ich bin kein Wissenschaftler, aber ich hab mir über die Jahre ein paar Grundregeln angewöhnt. Bevor ich einer Studie wirklich Gewicht gebe, schaue ich erstmal ob es sich um eine einzelne Studie oder ein systematisches Review handelt – das macht für mich den größten Unterschied. Eine einzelne Studie, egal wie gut sie klingt, sagt mir erst mal wenig. Erst wenn Ergebnisse repliziert wurden oder in Meta-Analysen auftauchen, nehme ich sie ernst.

Den Punkt mit dem Publication Bias finde ich ehrlich gesagt den erschreckendsten in deinem Post – nicht weil er neu ist, sondern weil er so strukturell unsichtbar bleibt. Keine bewusste Lüge, kein böser Wille, einfach nur ein systematisches Schweigen über alles was nicht funktioniert hat. Und wir bauen trotzdem Entscheidungen darauf auf.

Zu Stephens Frage ob sich das System von innen reformieren kann – ich bin da skeptisch. Nicht wegen schlechten Absichten, sondern weil die Anreize falsch gesetzt sind. Solange Karrieren von Publikationen abhängen, und positiven noch dazu, wird sich an der Grundlogik wenig ändern. Verpflichtende Vorab-Registrierung von Studien, wie Franzi schon anspricht, wäre ein echter Schritt. Aber auch das braucht wohl externen Druck.

Meine ehrliche Frage an dich, Charlie: Gibt es Bereiche wo du das Gefühl hast, dass das System gerade tatsächlich besser wird? Oder überwiegt bei dir momentan die Frustration?

 

[MikeReal]

Gute Frage – aber hast du schon mal selbst eine Studie auf Finanzierung geprüft oder vertraust du auch nur den Kritikern blind?