Warum vertrauen wir Studien mit großen Stichproben blind – obwohl Selection Bias oft größer ist als der Stichprobenfehler?

[tobi404]

Ich hab mich grad mit einem Paper rumgeschlagen, das mega stolz war auf n=50.000 Teilnehmer und dann hab ich gedacht... warte mal, alle Teilnehmer waren Nutzer einer bestimmten App. Hat das niemand gemerkt? Es geht mir nicht um Methodenkritik an sich, sondern: Wieso ist die Intuition so, dass eine große Zahl automatisch = gute Statistik bedeutet, obwohl die Art und Weise wie Daten gesammelt werden oft viel kritischer ist als die reine Größe. Ich seh das voll in der Praxis, gell – Studien mit 1000 Random-Sample-Leuten schlagen oft 50.000er-Convenience-Samples. Aber psychologisch wirkt die große Zahl irgendwie... überzeugender. Mach ich das auch, oder hab ich da einen Denkfehler?