Stellen Sie sich einen typischen Professor vor. Wie sieht er aus, wie verhält er sich? Und nun ein paar Wissensfragen: Wer malte La Guernica? Wie heißt die Hauptstadt von Bangladesh? So lief, grob skizziert, ein Experiment des Sozialpsychologen Ap Dijksterhuis an der Universität Nijmegen ab. Ergebnis: Probanden, die vor dem Wissenstest an einen Professor gedacht hatten, schnitten besser ab. Nun, 15 Jahre später, hat der Psychologe David Shanks vom University College London den Versuch wiederholt – und keinen Effekt gefunden.
"Als wir mit den Experimenten begonnen haben, gingen wir davon aus, dass wir die Ergebnisse würden replizieren können. Wir wollten uns einfach genauer anschauen, ob diese Effekte unbewusst sind oder nicht. Aber wir konnten diese Effekte überhaupt nicht finden."
Die Professor-Studie befeuert eine Debatte, die unter Sozialpsychologen schon seit einiger Zeit schwelt: Wie solide sind ihre Forschungsergebnisse überhaupt? Was sind Studien wert, wenn sie sich nicht wiederholen lassen? Schon im vergangenen Jahr scheiterte der Versuch, ein klassisches sozialpsychologisches Experiment zu replizieren. Und im Jahr 2011 flog der massive Betrug des Sozialpsychologen Diederick Stapel auf; er hatte mindestens 30 Publikationen manipuliert. Der Nobelpreisträger Daniel Kahneman hat daraufhin seine Kollegen in einem offenen Brief gewarnt, ihre Forschung sei zum "Paradebeispiel für Zweifel an der Integrität psychologischer Forschung geworden". Er schlug Replikationsversuche vor, also die Experimente systematisch zu wiederholen. Und nun die neue Pleite. Der Ton in der Branche ist rau geworden:
"Ich habe David Shanks Artikel gelesen und ich denke, dass viele dieser Studien nicht sehr gut gemacht sind. Er macht wirklich ziemlich grundlegende Fehler."
Das sagt Ap Dijksterhuis, der Original-Autor der Professor-Studie. Sein Kontrahent David Shanks sagt:
"Professor Dijksterhuis ist nicht sehr entgegenkommend, er will nicht darüber reden, wie er diese Experimente genau gemacht hat."
"Das stimmt nicht. Ich habe gesagt, dass ich zur Zusammenarbeit bereit bin. Ich war überrascht, weil der Effekt eigentlich in zahlreichen Studien repliziert worden ist, in zwölf verschiedenen Laboren."
"Es besteht Uneinigkeit darüber, ob das tatsächlich Replikationen dieser Studien waren."
Es geht aber um mehr als den Streit zwischen zwei konkurrierenden Forschern. Dahinter stecken gleich mehrere grundsätzliche Probleme: Erstens bringen spektakuläre und positive Forschungsergebnisse mehr Aufmerksamkeit. Das erhöht den Anreiz, schnelle und einfache Studien zu produzieren. Zweitens erregen Replikationsstudien normalerweise weniger Aufmerksamkeit. Negative Ergebnisse verschwinden deshalb häufig im Aktenschrank. Und drittens werden die meisten Studien mit viel zu wenigen Probanden durchgeführt.
"Das ist wie bei den Tests für ein neues Medikament. Man kann nicht sehr viel Vertrauen in die Wirksamkeit haben, wenn man zehn Leuten das Medikament gibt und zehn Leuten nicht."
Inzwischen gehen einige Forscher diese Probleme an. Brian Nosek von der University of Virginia hat ein großes Replikationsprojekt gestartet: 120 Forscher machen mit, 210.000 Dollar Forschungsgeld hat Nosek eingeworben. Nicht nur die Sozialpsychologie hat Probleme mit der Replikation, aber eine Schwierigkeit ist ihr eigen: Sie erforscht soziale Variablen. Die können von Nebenbedingungen abhängen, die kulturell bestimmt sind und sich mit der Zeit verändern. Zum Beispiel assoziiert nicht jeder mit einem Professor Bildung, sondern so mancher auch Weltfremdheit. Und auch der Experimentator selbst kann das Ergebnis beeinflussen. Vielleicht herrsche genau deswegen so viel Aufregung in dem Feld, meint Brian Nosek:
"Die Psychologie wendet ihre eigenen Erkenntnisse an, um sich selber zu verstehen. Die Probleme, mit denen wir kämpfen, stecken nicht in den Daten, sondern in dem Prozess der Datengewinnung, es sind psychologische Probleme. Damit kennen sich Psychologen aus. Ich denke, das ist gerade eine sehr spannende Zeit."
"Als wir mit den Experimenten begonnen haben, gingen wir davon aus, dass wir die Ergebnisse würden replizieren können. Wir wollten uns einfach genauer anschauen, ob diese Effekte unbewusst sind oder nicht. Aber wir konnten diese Effekte überhaupt nicht finden."
Die Professor-Studie befeuert eine Debatte, die unter Sozialpsychologen schon seit einiger Zeit schwelt: Wie solide sind ihre Forschungsergebnisse überhaupt? Was sind Studien wert, wenn sie sich nicht wiederholen lassen? Schon im vergangenen Jahr scheiterte der Versuch, ein klassisches sozialpsychologisches Experiment zu replizieren. Und im Jahr 2011 flog der massive Betrug des Sozialpsychologen Diederick Stapel auf; er hatte mindestens 30 Publikationen manipuliert. Der Nobelpreisträger Daniel Kahneman hat daraufhin seine Kollegen in einem offenen Brief gewarnt, ihre Forschung sei zum "Paradebeispiel für Zweifel an der Integrität psychologischer Forschung geworden". Er schlug Replikationsversuche vor, also die Experimente systematisch zu wiederholen. Und nun die neue Pleite. Der Ton in der Branche ist rau geworden:
"Ich habe David Shanks Artikel gelesen und ich denke, dass viele dieser Studien nicht sehr gut gemacht sind. Er macht wirklich ziemlich grundlegende Fehler."
Das sagt Ap Dijksterhuis, der Original-Autor der Professor-Studie. Sein Kontrahent David Shanks sagt:
"Professor Dijksterhuis ist nicht sehr entgegenkommend, er will nicht darüber reden, wie er diese Experimente genau gemacht hat."
"Das stimmt nicht. Ich habe gesagt, dass ich zur Zusammenarbeit bereit bin. Ich war überrascht, weil der Effekt eigentlich in zahlreichen Studien repliziert worden ist, in zwölf verschiedenen Laboren."
"Es besteht Uneinigkeit darüber, ob das tatsächlich Replikationen dieser Studien waren."
Es geht aber um mehr als den Streit zwischen zwei konkurrierenden Forschern. Dahinter stecken gleich mehrere grundsätzliche Probleme: Erstens bringen spektakuläre und positive Forschungsergebnisse mehr Aufmerksamkeit. Das erhöht den Anreiz, schnelle und einfache Studien zu produzieren. Zweitens erregen Replikationsstudien normalerweise weniger Aufmerksamkeit. Negative Ergebnisse verschwinden deshalb häufig im Aktenschrank. Und drittens werden die meisten Studien mit viel zu wenigen Probanden durchgeführt.
"Das ist wie bei den Tests für ein neues Medikament. Man kann nicht sehr viel Vertrauen in die Wirksamkeit haben, wenn man zehn Leuten das Medikament gibt und zehn Leuten nicht."
Inzwischen gehen einige Forscher diese Probleme an. Brian Nosek von der University of Virginia hat ein großes Replikationsprojekt gestartet: 120 Forscher machen mit, 210.000 Dollar Forschungsgeld hat Nosek eingeworben. Nicht nur die Sozialpsychologie hat Probleme mit der Replikation, aber eine Schwierigkeit ist ihr eigen: Sie erforscht soziale Variablen. Die können von Nebenbedingungen abhängen, die kulturell bestimmt sind und sich mit der Zeit verändern. Zum Beispiel assoziiert nicht jeder mit einem Professor Bildung, sondern so mancher auch Weltfremdheit. Und auch der Experimentator selbst kann das Ergebnis beeinflussen. Vielleicht herrsche genau deswegen so viel Aufregung in dem Feld, meint Brian Nosek:
"Die Psychologie wendet ihre eigenen Erkenntnisse an, um sich selber zu verstehen. Die Probleme, mit denen wir kämpfen, stecken nicht in den Daten, sondern in dem Prozess der Datengewinnung, es sind psychologische Probleme. Damit kennen sich Psychologen aus. Ich denke, das ist gerade eine sehr spannende Zeit."