Sozialwissenschaften: Ergebnisse halten Überprüfung oft nicht stand

Ein internationales Team mit Innsbrucker Beteiligung kam in 13 von 21 replizierten Studien auf gleiches Ergebnis.

Symbolbild.
© Shutterstock (Symbolfoto)

Innsbruck, Wien – An die Wiederholung von 21 sozialwissenschaftlichen Studien, die zwischen 2010 und 2015 in den renommierten Fachjournalen „Nature“ und „Science“ erschienen sind, hat sich ein Forschungsteam mit Beteiligung Innsbrucker Forscher gemacht. Bei acht Untersuchungen fiel das Ergebnis anders aus als in den Original-Publikationen, berichten die Wissenschafter nun im Fachblatt „Nature Human Behaviour“.

Ein Experiment liefert nur dann Hinweise auf einen tatsächlich bedeutenden Sachverhalt und ist damit von wissenschaftlicher Relevanz, wenn es mit gleichem Ergebnis wiederholt werden kann. Das ist eine der Grundannahmen, auf dem das wissenschaftliche Gedankengebäude ruht.

Wie es um die Reproduzierbarkeit etwa in der Psychologie, der Medizin oder der experimentellen Wirtschaftsforschung bestellt ist, haben Wissenschafter in den vergangenen Jahren in mehreren groß angelegten Reproduktionsstudien mit unterschiedlichen Ergebnissen untersucht. Nachdem die früheren Überprüfungen nicht nur viele Diskussionen ausgelöst haben, sondern auch auf methodische Kritik gestoßen sind, gingen die Forscher aus aller Welt nun mit einem verbesserten Ansatz - es wurden etwa nur in absoluten Top-Journalen veröffentlichte Studien berücksichtigt - an die Analysen im Bereich der Sozialwissenschaften, wie es am Montag in einer Aussendung der Universität Innsbruck hieß.

In immerhin 13 Fällen kamen die wiederholten Studien zum gleichen signifikanten Ergebnis wie die ursprünglichen Experimente. Die beobachteten Effekte waren dabei im Schnitt jedoch um rund die Hälfte geringer. Die Wiederholungen waren methodisch so angelegt, dass es auch signifikante Ergebnisse geben konnte, wenn der statistische Effekt nur halb so groß war. So waren die Teilnehmerzahlen rund fünf Mal höher als bei den Original-Studien.

Vorsicht bei der Interpretation

„Die Ergebnisse verdeutlichen, dass statistisch signifikante wissenschaftliche Erkenntnisse mit Vorsicht interpretiert werden sollten, solange sie nicht unabhängig reproduziert werden konnten. Und das auch dann, wenn sie in den renommiertesten Fachzeitschriften veröffentlicht werden“, so Michael Kirchler, einer der Projektleiter an der Uni Innsbruck, der auch bereits an vorigen Überprüfungsstudien beteiligt war.

Weiters veröffentlichten Kirchler und seine Kollegen dieses Mal jene Studien, die zur Überprüfung anstanden, und baten rund 400 Wissenschafter um Einschätzungen dazu. Sie konnten in einem Online-Marktplatz („Prognosemarkt“) auf die Reproduzierbarkeit der Studien wetten. Diese setzten sich etwa damit auseinander, ob sich die Häufigkeit des Verzehrs eines Nahrungsmittels verringert, wenn man sich dessen Verzehr häufig vorstellt, oder ob Jobinteressenten besser eingeschätzt werden, wenn ihr Lebenslauf bei der Evaluation auf einem schweren und nicht leichten Klemmbrett liegt. In 18 von 21 Fällen sagten diese „Märkte“ die Ergebnisse stimmig voraus. Auch in der Einschätzung der Effektgrößen lag die Forschungsgemeinde vielfach richtig.

Dass ursprüngliche Studien-Ergebnisse schlicht falsch wären, die nun im Zuge der nunmehrigen Untersuchung nicht mit ähnlichem Ergebnis wiederholt werden konnten, lasse sich aus der Überprüfung nicht zwingend ableiten, betonte das Innsbrucker Team, dem auch Felix Holzmeister, Julia Rose und Jürgen Huber von Institut für Banken und Finanzen angehörten. Die erstaunlich treffsicheren Einschätzungen aus der Wissenschaftsgemeinde seien aber ein Hinweis darauf, dass kleinere Fehler in der Replikation oder subtile Unterschiede zum Original eher nicht für die verschiedenen Ergebnisse verantwortlich sein dürften, so Holzmeister. „Der Einsatz von Prognosemärkten könnte eine weitere Möglichkeit in der wissenschaftlichen Forschung sein, Ressourcen effizienter zu nutzen und dadurch die Entdeckung von neuen, zuverlässigen Forschungsergebnissen zu beschleunigen“, zeigte sich Kirchler überzeugt.

„Ständige Selbstkontrolle, um Probleme zu erkennen und zu korrigieren“

Insgesamt sollten die neuen Ergebnisse nicht als Indiz dafür herangezogen werden, „dass die Wissenschaft in die falsche Richtung geht“, so Brian Nosek von der University of Virginia (USA), der ebenfalls an dem Projekt beteiligt war. „Ihre ständige Selbstkontrolle, um Probleme zu erkennen und zu korrigieren“, sei vielmehr die „größte Stärke der Wissenschaft“. Die neue Untersuchung zeige jedenfalls, dass das Phänomen nicht replizierbarer Studien eben auch in den hochrangigsten Fachjournalen existiere, schreibt Malcolm Macleod von der Universität Edinburgh (Großbritannien) in einem Begleitartikel. (APA)


Kommentieren


Schlagworte