Wenn ein Fachartikel in einer wissenschaftlichen Zeitschrift veröffentlicht werden soll, durchläuft dieser in der Regel zwei Phasen der fachlichen Prüfung. Die erste Phase bezeichnet man als „Editorial Review“ der Fachzeitschrift, in welcher die grundlegenden Anforderungen des Artikels durch Editoren/Herausgeber der Publikation geprüft werden. Wenn das Editorial Review den Fachartikel als zulässig bewertet, schließt sich die zweite Phase, das „Peer Review“, an. Hierbei wird der Artikel von einer Auswahl von externen Spezialisten aus dem jeweiligen Fachgebiet kritisch begutachtet und nach den Regeln der guten wissenschaftlichen Praxis bewertet [1]. Dabei kann der Reviewer den Artikel nicht nur ablehnen oder annehmen, sondern kann zunächst kleinere (Minor Reviews) oder größere Korrekturen (Major Reviews) einfordern. Dieser Review-Prozess kann mehrfach durchlaufen werden und soll eine hohe Qualität der wissenschaftlichen Publikationen sicherstellen.
Trotz aller Sorgfalt verhindert dieses System nicht gänzlich Bewertungsfehler, die auf Ethnical Bias oder Gender Bias beruhen. Von Bias spricht man, wenn die Bewertung von Tatsachen durch eine subjektive Haltung des Bewertenden zu (Un-)Gunsten einer Gruppe beeinflusst wird. Im Deutschen könnte man alternativ auch von „gruppenspezifischen Vorurteilen“ sprechen. Die Gruppen, auf die sich diese Vorurteile beziehen, können dabei vielfältig sein und deren Auswahl hängt maßgeblich von der Persönlichkeit der bewertenden Person ab. Häufig beziehen sich solche gruppenspezifischen Vorurteile auf die Ethnie, die Herkunft, das Geschlecht oder die wirtschaftliche Stellung von Personen. Bei Studien können sich solche Bias zum Beispiel bei der Auswahl der Probanden und der Identifikation von aussagekräftigen Vergleichsgruppen im Studiendesign auswirken. Bei der Auswertung von Ergebnissen können so im schlimmsten Fall sogar Zusammenhänge gänzlich übersehen werden. Problematisch werden solche Bias im Peer-Review-Verfahren in der Regel immer dann, wenn sie sich häufen und dadurch die Fachartikel durch ein negatives Votum durchfallen.
Als Positivbeispiel lässt sich die Änderung hin zur Nutzung von Crashtest Dummies nach männlichen und weiblichen Körpermodellen heranziehen, welche die Identifikation von individuellen Verletzungsrisiken ermöglicht [2]. Ein Bias muss nicht zwingend durch eine fehlerhafte Forschungsmethodik entstehen, sondern kann sehr wohl auch im Review-Prozess auftreten. So kommt es vor, dass diese Experten selbst einem Bias unterliegen und eine Publikation bspw. aus rassistischen Motiven abgelehnt wird [3]. Das bekannteste und meistzitierte wissenschaftliche Journal „Nature“ veröffentlichte zu diesem Hintergrund eine neue ethische Richtlinie [4], welche unter dem Motto „Research must do no harm“ vor potenziell schädlichen Veröffentlichungen schützen soll. Hierbei verfolgt „Nature“ das Ziel, bereits veröffentlichte vermeintlich verletzende Artikel zu markieren oder gar deren Veröffentlichung komplett zu verhindern. Hierbei behält sich die Zeitschrift vor, als potenziell verletzend eingestufte Artikel nicht nur abzulehnen, sondern auch bestehende Artikel zu korrigieren, abzuändern und zurückzunehmen („decline […] correct, retract, remove or otherwise amend already published content“) [5].
Die Praxis der „Nature“, die Veröffentlichung von Fachartikeln von einzelnen Editoren abhängig zu machen, deren Bewertung auf ihrer eigenen Forschungsethik basiert, halten wir für bedenklich. Während wir eine Kennzeichnung und Einordnung von problematischen Inhalten positiv bewerten, stehen wir einer inhaltlichen Änderung von existierenden Artikeln kritisch gegenüber. Ein Journal darf nicht als moralische Instanz der Forschungs- und Wissenschaftsfreiheit entgegenstehen. Ohne Frage sollte Wissenschaft weder bewusst noch unbewusst Schaden anrichten. Wir sehen die Lösung solcher Probleme in der Auseinandersetzung mit und Reduktion von Bias im Peer-Review-Verfahren. So ist die Auswahl der Peer Reviewer aktuell wenig transparent. Die ethische und demografische Zusammensetzung lässt sich als Forscher wie auch als Rezipient nicht feststellen und häufig sind die Peer Reviewer auch nach der Publikation nicht einsehbar. Hier kann durch das Benennen der Reviewer mehr Nachvollziehbarkeit und Transparenz geschaffen werden.
Tatsächlich gibt es nicht einmal eine allgemeine Richtlinie, ab wann ein Forscher als Reviewer eingesetzt werden kann. Tendenziell kann also, wenn die Herausgeber wollen, jeder – auch fachfremde Forscher – einen Artikel begutachten und akzeptieren oder ablehnen. Durch die gelebte Praxis der Verlage, Gutachtern keinen finanziellen Ausgleich für die aufgewandte Arbeit zu gewähren, hält sich die Motivation vieler Reviewer in Grenzen, was wiederum das Auftreten von Bias fördert. Im Falle von Rassismus und anderer Bias während des Peer-Review-Prozesses gibt es als Forscher häufig keine Möglichkeit, diesen anonym an das Journal zu melden. [3]
Als Bestandteil der guten wissenschaftlichen Praxis fordern wir eine aufgeklärte und selbstreflektierte Arbeitsweise der Reviewer im Umgang mit Bias-Problemen. Die Verlage sehen wir in der Pflicht, die passenden Grundlagen in der Reviewerschaft zu schaffen, um eine heterogene, weniger anfällige Gruppe von Gutachtern aufzubauen und so Bias zu minimieren. Ein Baustein einer kurzfristigen Lösung könnte sein, Reviewer für ihre Tätigkeit professionell zu schulen und auch finanziell zu entlohnen. Zusätzlich können durch die Einrichtung anonymer Beschwerdemöglichkeiten bestehende Probleme aufgedeckt werden.
Quellen:
[1] https://www.dfg.de/foerderung/grundlagen_rahmenbedingungen/gwp/ (29.06.2022)
[2] https://www.dfg.de/download/pdf/foerderung/grundlagen_dfg_foerderung/vielfaeltigkeitsdimensionen/stellungnahme.pdf (29.06.2022)
[3] Karvonen, K.L., Bonachea, E.M., Burris, H.H. et al. Addressing bias and knowledge gaps regarding race and ethnicity in neonatology manuscript review. J Perinatol (2022). https://doi.org/10.1038/s41372-022-01420-7
[4] https://www.nature.com/articles/d41586-022-01607-0#Echobox=1655216887
[5] https://www.nature.com/nature-portfolio/editorial-policies/ethics-and-biosecurity (29.06.2022)