Abstract

Dieser Artikel erörtert die jüngsten Neuerungen bei der Durchführung von Peer-Reviews im Hinblick auf die verschiedenen Funktionen, die Zeitschriften in wissenschaftlichen Gemeinschaften erfüllen.

Wissenschaftliche Fachzeitschriften gibt es seit über 340 Jahren. Während das Peer-Review-Verfahren in den frühen Zeitschriften weniger verbreitet war, wird es heute in der Mehrzahl der wissenschaftlichen Zeitschriften in gewissem Umfang eingesetzt. Trotz seiner langen Geschichte und seiner festen Verankerung in der wissenschaftlichen Gemeinschaft wird das Peer-Review-Verfahren von Wissenschaftlern (Debate 2006) und sogar in der Laienpresse (Chang 2006) zunehmend in Frage gestellt. Die Debatte scheint vor allem durch die wachsende Bedeutung der elektronischen Verbreitung und der Nutzung des Internets bei der Durchführung von Peer-Reviews angeheizt zu werden. Das Internet hat nicht nur die Kosten und den Aufwand für die Durchführung von Peer-Reviews durch hochgradig automatisierte webbasierte Managementsysteme reduziert, sondern auch ein hohes Maß an Flexibilität bei der Durchführung von Peer-Reviews ermöglicht.

Viele Autoren haben sich für verschiedene Formen des „offenen“ Peer-Review ausgesprochen. Bis zu einem gewissen Grad konzentrierten sich diese Forderungen auf die Abschaffung der Tradition der Unkenntlichmachung der Identität der Gutachter. Andere plädieren dafür, den gesamten Peer-Review-Bericht zu veröffentlichen oder den Review-Prozess für jeden zu öffnen, der Kommentare abgeben möchte. Es wurde sogar erörtert, Veröffentlichungen als organische Dokumente zu behandeln, die sich im Laufe der Zeit mit einer Reihe von Versionen weiterentwickeln, die sich ändern, um neue Informationen und zusätzliche Kommentare widerzuspiegeln (Bloom 2006).

Eine Reihe hoch angesehener Zeitschriften hat begonnen, mit innovativen Peer-Review-Modellen zu experimentieren. Das British Medical Journal hat bereits 1999 die Verblindung in seinem Peer-Review-Verfahren abgeschafft (Smith 1999), und viele der BioMed Central-Journale bieten freien Zugang zu den vollständigen Begutachtungsunterlagen. Nature experimentierte ab Juni 2006 drei Monate lang mit der Veröffentlichung von Vorabdrucken zur öffentlichen Kommentierung parallel zum traditionellen Peer-Review-Verfahren (Campbell 2006), und die Public Library of Science (PLoS) ist dabei, eine neue Zeitschrift, PLos One, ins Leben zu rufen, in der Artikel fast sofort und mit minimaler Prüfung veröffentlicht und öffentlich kommentiert werden können.

Obwohl diese Experimente im Bereich der Peer-Reviews für viel Diskussionsstoff sorgen, verwenden die meisten wissenschaftlichen Zeitschriften weiterhin die traditionellen Methoden der Peer-Review, bei denen eine ausgewählte Gruppe von Experten, deren Identität gegenüber dem Autor und der Öffentlichkeit geheim gehalten wird, dem Herausgeber, der die endgültige Entscheidung über die Veröffentlichung trifft, Feedback gibt. Auch wenn es sich wahrscheinlich um einen langsamen Prozess handelt, scheinen wir in eine Ära einzutreten, in der sich die Peer-Review-Methode weiterentwickelt, um die vom Internet gebotene Flexibilität besser nutzen zu können. Meines Erachtens ist dies nur ein Aspekt einer viel umfassenderen Umgestaltung des jahrhundertealten Systems wissenschaftlicher Zeitschriften, die zumindest teilweise auf die inhärenten Unterschiede zwischen Papier und elektronischer Verbreitung und, allgemeiner, auf die Flexibilität und Effizienz der Kommunikation durch das Internet zurückzuführen ist.

Vor fast dreizehn Jahren schrieb Ann Schaffner (1994) einen sehr aufschlussreichen Artikel über die Zukunft der wissenschaftlichen Zeitschriften. Sie konzentrierte sich auf die vielfältigen und komplexen Rollen, die Zeitschriften in der wissenschaftlichen Gemeinschaft gespielt haben, und versuchte, die Auswirkungen der neuen Technologie auf diese Zeitschriften zu verstehen. Wenn man sich die Debatte darüber ansieht, wie die Peer-Review durchgeführt werden sollte (wenn überhaupt), spiegeln die Argumente oft den Fokus des Autors oder Sprechers auf eine bestimmte Funktion oder Funktionen wider, die Zeitschriften in wissenschaftlichen Gemeinschaften spielen. Ich bin der Meinung, dass wir eine durchdachtere Diskussion über die Rolle der Peer-Review und den Wert der neuen Formen der Peer-Review führen können, wenn wir Schaffners Beispiel folgen und die spezifischen Rollen von Zeitschriften in wissenschaftlichen Gemeinschaften berücksichtigen, wenn wir darüber nachdenken, wie der Peer-Review-Prozess die Möglichkeiten der elektronischen Kommunikation am besten nutzen kann.

Die Rollen von Zeitschriften in wissenschaftlichen Gemeinschaften

Schaffner (1994) identifizierte fünf verschiedene, wenn auch etwas überlappende Rollen, die Zeitschriften in wissenschaftlichen Gemeinschaften spielen. Wie sie anmerkt, könnten sie wahrscheinlich etwas anders kategorisiert werden, aber für mich macht ihr Schema sehr viel Sinn.

Aufbau einer kollektiven Wissensbasis – Die wahrscheinlich wichtigste Rolle, die Zeitschriften spielen, ist die Bildung unseres Wissensarchivs. Die meisten Menschen sind sich einig, dass Zeitschriften das umfassendste, aktuellste und zuverlässigste Archiv für Informationen in einem bestimmten wissenschaftlichen Bereich darstellen. Es liegt auf der Hand, dass die Genauigkeit und Qualität des in diesem Archiv enthaltenen Materials von zentraler Bedeutung ist. Das Peer-Review-Verfahren ist einer der wichtigsten Mechanismen zur Validierung der in diesen Zeitschriften enthaltenen Informationen.

In der Regel dauert es etwa achtzehn Monate, bis ein von Experten begutachteter Artikel von der Einreichung bis zur Veröffentlichung gelangt. Zwar lässt sich diese Zeitspanne durch webbasierte Peer-Reviews und elektronische Veröffentlichungen bis zu einem gewissen Grad verkürzen, aber der Prozess der Peer-Review und der Überarbeitung braucht einfach Zeit. Der Aufwand für die Entwicklung eines veröffentlichungsfähigen Manuskripts bedeutet auch, dass zwischen der Durchführung der Forschung und der Einreichung der Ergebnisse zur Veröffentlichung Monate vergehen können. Darüber hinaus werden Manuskripte oft nicht beim ersten Mal angenommen, wenn sie bei einer Zeitschrift eingereicht werden, und müssen unter Umständen bei mehreren Zeitschriften erneut eingereicht werden, bevor sie zur Veröffentlichung angenommen werden. Das Ergebnis ist, dass die in Fachzeitschriften verbreiteten Informationen oft mehrere Jahre alt sind.

Aus der Sicht unseres Wissensarchivs ist die Geschwindigkeit, mit der das Archiv aktualisiert wird, zwar nicht trivial, aber weit weniger wichtig als die Genauigkeit und Qualität des Materials. Ich denke, die meisten Menschen würden zustimmen, dass die Sorgfalt und der Aufwand, die mit der Begutachtung durch Fachkollegen und der sorgfältigen Überarbeitung, dem Lektorat und dem Schriftsatz verbunden sind, die Notwendigkeit einer schnellen Veröffentlichung bei weitem überwiegt, wenn man diese Zeitschriften als unser Wissensarchiv betrachtet.

Informationsvermittlung – Die Kommunikation zwischen Wissenschaftlern, die auf einem bestimmten Gebiet arbeiten, klingt ähnlich wie der Aufbau eines Wissensarchivs. Es gibt jedoch wichtige Unterschiede. Schnelligkeit und Interaktivität sind für diese Rolle viel wichtiger. Gleichzeitig ist die Überprüfung durch Fachkollegen weit weniger wichtig, da die Experten eines Fachgebiets durchaus in der Lage sind, selbst über den Wert und die Richtigkeit der verbreiteten Informationen zu entscheiden. Einige haben argumentiert, dass die Wissenschaftler ohne Peer-Review mit Informationen überschwemmt würden (Editorial 2005). Im Bereich der Physik scheint dies nicht der Fall zu sein. Auf dem bekannten Preprint-Server arXiv.org werden jeden Monat bis zu 5.000 Preprints veröffentlicht, und Zehntausende von Nutzern greifen täglich auf die Website zu, und das System scheint – zumindest in diesem Bereich – seit mehr als fünfzehn Jahren außerordentlich gut zu funktionieren.

Zeitschriften spielten wahrscheinlich schon früh eine viel zentralere Rolle bei dieser Art der Kommunikation. Da heute andere, effizientere Kommunikationsmittel zur Verfügung stehen, könnte man meinen, dass Zeitschriften bei der Kommunikation von Forschungsergebnissen unter Wissenschaftlern eine eher begrenzte Rolle spielen. Es ist nicht klar, dass dies der Fall ist. Erstens deuten die Forschungsergebnisse über die informelle Kommunikation von wissenschaftlichem und technischem Wissen darauf hin, dass die Art und Weise der Kommunikation in den verschiedenen Bereichen sehr unterschiedlich ist (Faxon Institute 1991). So wurden beispielsweise Preprint-Archive wie arXiv.org von einer Reihe von Fachgebieten schnell angenommen, werden aber in anderen Fachgebieten trotz konzertierter Versuche einzelner Personen, sie zu implementieren, kaum genutzt. (Dies war in meinem Bereich der Bildungsforschung der Fall.) Die Forschungen zur informellen Kommunikation unter Wissenschaftlern deuten auch darauf hin, dass ein Großteil dessen, was unter Gelehrten diskutiert wird, sich als Zeitschriftenartikel herausstellt (Schaffner 1994). Während die Bedeutung von Preprint-Archiven, Listservs und Diskussionsforen für die Kommunikation unter den Wissenschaftlern eines Fachgebiets wahrscheinlich zunehmen wird, scheinen Zeitschriften bei dieser Art der Kommunikation weiterhin eine wichtige Rolle zu spielen.

Überprüfung der Qualität der Forschung – Zeitschriften spielen auch eine Rolle bei der Aufrechterhaltung von Gemeinschaftsstandards für die Durchführung von Forschung und Wissenschaft. Bis zu einem gewissen Grad geschieht dies, da die Zeitschriften filtern, was veröffentlicht und damit verbreitet wird. Die Auswirkungen können aber auch subtiler sein. Die Arbeit erfahrener Wissenschaftler wird nur selten kritisch beurteilt. Das heißt nicht, dass ihre Manuskripte immer veröffentlicht werden, aber sie haben in der Regel die Normen des Fachgebiets verinnerlicht und wissen, wie die Forschung oder Wissenschaft durchgeführt und beschrieben werden sollte, und es ist sehr viel unwahrscheinlicher, dass sie von den Gutachtern gezüchtigt werden.

Es herrscht nicht überall Einigkeit darüber, dass dies eine gute Sache ist. Einige haben argumentiert, dass dies die Kreativität unterdrückt und unerfahrene Forscher unnötigerweise harter Kritik aussetzt (Kumashiro 2005).

Belohnungen verteilen – Die Veröffentlichung in Fachzeitschriften mit Peer-Review ist eine der wichtigsten Methoden zur Bewertung von Wissenschaftlern. Nicht nur die Quantität ist wichtig, sondern auch die Zeitschriften, in denen man veröffentlicht, sind ebenso wichtig, wenn nicht noch wichtiger. Die Wurzeln hierfür reichen bis zur Gründung der Philosophical Transactions der Royal Society of London in der Mitte des 17. Jahrhunderts zurück, die zwar nicht über eine Festanstellung entschieden, aber eine wichtige Funktion hatten, um festzustellen, wem die Anerkennung für bestimmte Erkenntnisse oder Theorien gebührt. Nach Guédon (2001) diente die Zeitschrift fast wie ein Patentamt für Ideen. Durch die Veröffentlichung in der Zeitschrift konnten die Wissenschaftler oder Naturphilosophen (wie man sie damals nannte) das Eigentum an ihrem geistigen Eigentum nachweisen. Der Wettbewerb unter den Wissenschaftlern und die Kontroverse um die Anerkennung von Entdeckungen sind auch heute noch ein Thema, und die Zeitschriften erfüllen nach wie vor die Aufgabe, die Vaterschaft von geistigem Eigentum zu dokumentieren. Diese Rolle hat sich eindeutig zu einem allgemeineren Maßstab für die Leistung ausgeweitet, und die Peer-Review ist – zu Recht oder zu Unrecht – ein wichtiger Aspekt dieser Rolle.

Aufbau wissenschaftlicher Gemeinschaften – Zeitschriften sind auch ein Mittel, um eine wissenschaftliche Gemeinschaft auf verschiedene Weise zusammenzuschweißen. Ein Kennzeichen für das Erwachsenwerden einer Disziplin ist die Gründung einer neuen Zeitschrift, die im Wesentlichen das intellektuelle Territorium des neuen Bereichs absteckt. Darüber hinaus dienen Leitartikel, Meinungsartikel und Leserbriefe oft als Forum für die Diskussion von Themen des Fachgebiets. Manchmal geht es dabei um inhaltliche Fragen, manchmal aber auch um verwandte Bereiche wie die sozialen Auswirkungen von Erkenntnissen, die Finanzierung oder Fragen der Ausbildung innerhalb des Fachgebiets. Zeitschriften dienen auch häufig als Forum für Nachrichten wie die Neubesetzung wichtiger Positionen oder das Ableben eines bekannten Mitglieds der wissenschaftlichen Gemeinschaft. Auch wenn diese Rolle mit der Vielfalt der verfügbaren Kommunikationsmöglichkeiten in gewissem Maße abnimmt, spielen Zeitschriften nach wie vor eine wichtige Rolle bei der Bildung und Aufrechterhaltung wissenschaftlicher Gemeinschaften.

Peer Review in Relation zu den Funktionen von Zeitschriften

Die Bedeutung von Peer Review variiert eindeutig zwischen den verschiedenen Funktionen von Zeitschriften. Peer Review wird im Allgemeinen als unerlässlich für die Bildung eines Wissensarchivs und die Verteilung von Auszeichnungen angesehen. Sie spielt auch eine Schlüsselrolle bei der Validierung der Qualität der Forschung in einem Bereich, kann aber, wie Kumashiro anmerkt, auch die Verbreitung neuer Ideen und Methoden behindern. Die Peer-Review ist von geringem Wert und wahrscheinlich ein Hindernis für die Kommunikation zwischen Wissenschaftlern in einem Fachgebiet und ist für den Aufbau wissenschaftlicher Gemeinschaften nicht relevant.

Der Wert der Peer-Review beruht auf der Annahme, dass sie ein gültiges Maß für die Qualität eines Manuskripts und seine Übereinstimmung mit den Normen des Fachgebiets darstellt. Ihr Wert liegt auch darin, dass sie Rückmeldungen gibt, so dass ein Manuskript durch Überarbeitung verbessert werden kann. Diese Annahmen werden weitgehend als selbstverständlich vorausgesetzt und nur selten in Frage gestellt, doch ihre Gültigkeit wird in Frage gestellt.

Jefferson et al. (2002a) führten eine systematische Überprüfung der Literatur über die Wirkung von Peer Reviews in biomedizinischen Zeitschriften durch. Sie fanden nur wenige kontrollierte Studien, und die meisten davon konzentrierten sich auf spezifische redaktionelle Praktiken wie Verblindung oder die Verwendung von Checklisten im Begutachtungsprozess. In einer weiteren Untersuchung (2002b) fanden die Autoren zehn Studien, die den Zusammenhang zwischen Peer-Review und der Qualität von Artikeln untersuchten. Nur in einer Studie wurden Artikel mit Peer-Review mit Artikeln ohne Peer-Review verglichen, und diese Studie wies ein schwaches Studiendesign auf. In den übrigen Studien wurden verschiedene Methoden der Peer-Review oder die Qualitätsveränderung vor und nach der Überarbeitung durch die Peer-Review verglichen. Jeder Artikel verwendete Expertenbewertungen auf der Grundlage einer anderen Bewertungsskala. Keines der Bewertungsinstrumente schien auf seine psychometrische Qualität hin überprüft worden zu sein. Jefferson et al. kommen insgesamt zu dem Schluss, dass es nur sehr wenige wissenschaftlich fundierte Belege für den Wert von Peer Reviews zur Sicherung der Qualität von Manuskripten gibt – zumindest in den biomedizinischen Wissenschaften.

Es gibt auch einige Belege dafür, dass Peer-Reviews nicht unbedingt erfolgreich sind, wenn es darum geht, methodische Fehler in Forschungsartikeln aufzudecken. Baxt et al. (1998) schickten Gutachtern ein fiktives Manuskript mit eindeutigen Design- und Analysemängeln, die ausschlossen, dass die Ergebnisse die Schlussfolgerungen der beschriebenen Studie stützten. So wurde beispielsweise angegeben, dass die Zuweisung zu den Behandlungs- und Kontrollgruppen nach dem Zufallsprinzip erfolgte, aber das Verfahren war eindeutig nicht zufällig. Die 203 Notärzte, die an der Studie teilnahmen, waren erfahrene Gutachter für die Annals of Emergency Medicine, eine angesehene Fachzeitschrift auf diesem Gebiet. Im Durchschnitt erkannten die Gutachter nur 34 % der schwerwiegenden Mängel in dem Manuskript, und 41 % der Gutachter gaben an, dass das Manuskript zur Veröffentlichung angenommen werden sollte. Es gibt auch eine Vielzahl von Studien, die die hohe Rate an methodischen Fehlern in der veröffentlichten medizinischen Forschung belegen (Pocock, Hughes, & Lee 1987; Gotzche 1989). Altman (2002) macht dafür eine Reihe von Ursachen verantwortlich, darunter die mangelnde Erfahrung der Gutachter in den Bereichen Statistik und Forschungsdesign. Diese Beispiele stammen zwar aus den biomedizinischen Wissenschaften, aber man sollte meinen, um nicht zu sagen hoffen, dass in einem so kritischen Bereich die solidesten Forschungsmethoden angewandt werden. Nach meiner Erfahrung als Sozialwissenschaftler sind methodische Fehler auch in sozialwissenschaftlichen Fachzeitschriften üblich.

Effektiver Einsatz von Peer-Review

Lässt das Fehlen von Beweisen für die Wirksamkeit von Peer-Review und die Tatsache, dass fehlerhafte Forschung häufig in streng peer-reviewten Zeitschriften veröffentlicht wird, darauf schließen, dass Peer-Review keinen Wert hat? Ich denke nicht. In vielerlei Hinsicht ähnelt das Peer-Review-Verfahren unserem Jury-System: Es ist zwar mangelhaft, aber das Beste, was wir haben (Jefferson 2006). In den elf Jahren meiner Tätigkeit als Redakteurin von Medical Education Online (MEO), einer frei zugänglichen, von Experten begutachteten Zeitschrift für medizinische Ausbildung, ist meine Wertschätzung für diesen Prozess gewachsen. Der Wert des Peer-Review-Verfahrens liegt nicht so sehr darin, schlechte Manuskripte herauszufiltern (obwohl es hilfreich ist, den Rückhalt mehrerer Gutachter zu haben, wenn man es mit einem wütenden Autor zu tun hat); Stattdessen sind Peer-Reviews ein wertvolles Mittel, um die Qualität der Veröffentlichungen zu verbessern. Ich bin immer wieder erstaunt über die Zeit, die Mühe und die Überlegungen, die viele Gutachter in den Begutachtungsprozess investieren. Das Ergebnis ist in den meisten Fällen ein hervorragendes konstruktives Feedback, das die meisten Autoren begrüßen und zur Verbesserung ihrer Manuskripte nutzen.

Eine weitere Tatsache, die manchmal übersehen wird, ist, dass einzelne Gutachter oft bestimmte Probleme in einem Manuskript übersehen, während ein anderer Gutachter das Problem oft erkennt. Je mehr Gutachter ein Manuskript bewerten, desto wahrscheinlicher ist es, dass Fehler gefunden und Probleme erkannt werden. Die Nutzung des Internets zur Durchführung von Begutachtungen senkt die Kosten und den Aufwand für die Begutachtung erheblich und macht es möglich, eine größere Anzahl von Gutachtern pro Manuskript einzubeziehen. Unser Ziel bei MEO ist es, jedes Manuskript von vier bis sechs Gutachtern begutachten zu lassen, und wenn es mehr sind, umso besser. Durch ein relativ offenes Verfahren für die Auswahl der Gutachter ist es uns leicht gefallen, dieses Ziel zu erreichen. Gegenwärtig haben wir etwa dreihundert Gutachter, die sich freiwillig bereit erklärt haben, Manuskripte zu begutachten, und es ist uns relativ leicht gefallen, unseren Gutachterpool bei Bedarf aufzustocken.

Damit die Peer-Review effektiv funktioniert, ist die Rolle des Herausgebers entscheidend. Zwar geben die meisten Gutachter wertvolle Rückmeldungen, aber die angesprochenen Themen sind von Gutachter zu Gutachter sehr unterschiedlich, und die Rückmeldungen sind gelegentlich widersprüchlich (und hin und wieder auch schlicht falsch). Jemand muss aus den verschiedenen Gutachten einen Sinn machen und eine kohärente Zusammenfassung der Rückmeldungen erstellen, und wenn das Manuskript vor der Veröffentlichung überarbeitet werden muss, muss dem Autor eine klare Anweisung gegeben werden. Es ist nicht so, dass der Herausgeber unbedingt klüger oder weniger anfällig für Voreingenommenheit ist als die einzelnen Gutachter, es ist nur so, dass jemand die Verantwortung übernehmen muss, damit das Feedback und die Anweisungen an den Autor kohärent sind. Andernfalls macht es die Autoren verrückt.

Bei MEO sendet der Redakteur des Gutachtens ein Feedbackschreiben mit der Entscheidung zur Veröffentlichung, einer Zusammenfassung des Feedbacks und ggf. einer Reihe von Fragen, die vor der Veröffentlichung geklärt werden müssen. Außerdem senden wir sowohl die Kommentare als auch die Bewertungen aller Gutachter zurück, mit Ausnahme der Kommentare, die der Gutachter nur für den Herausgeber angegeben hat. Ich glaube, dass die Autoren es zu schätzen wissen, wenn sie das gesamte Feedback sowie klare Richtlinien des Herausgebers für die Überarbeitung ihrer Manuskripte erhalten. Wir schicken auch Durchschläge des Feedbacks, das der Autor erhält, an jeden Gutachter. Ich habe die Erfahrung gemacht, dass die Gutachter es fast immer zu schätzen wissen, sowohl die endgültige Entscheidung über ein Manuskript zu erfahren als auch zu sehen, was die anderen Gutachter dazu zu sagen hatten.

Innovationen in der Peer Review

Wie bereits erwähnt, haben die Flexibilität und die Effizienz der Kommunikation über das Internet es möglich gemacht, mit einer Vielzahl verschiedener Modelle der Peer Review zu experimentieren. Die in der Literatur am meisten diskutierte Neuerung besteht darin, den Peer-Review-Prozess transparenter zu gestalten. Traditionell wird die Identität der Peer-Review-Gutachter vertraulich behandelt, und in vielen Fällen werden Manuskripte unkenntlich gemacht, um alle Informationen über die Autoren und ihre Institutionen zu entfernen. Im Grunde genommen besteht ein offenes Peer-Review-Verfahren darin, dass die Identität der Gutachter öffentlich gemacht wird oder die Identität der Autoren den Gutachtern während der Begutachtung bekannt gegeben wird, oder beides. Dies ist natürlich nicht von der elektronischen Veröffentlichung abhängig; die Überprüfung und die Debatte über die Geheimhaltung der Identität von Gutachtern reichen weit zurück, bevor das Internet weit verbreitet war. Diese Frage ist recht gut erforscht (Goldbeck-Wood 1999). Die Ergebnisse deuten darauf hin, dass die Anonymität kaum Auswirkungen auf die Qualität der Begutachtung oder die Annahmequote hat, aber die Offenlegung der Identität der Gutachter kann die Wahrscheinlichkeit verringern, dass sich jemand freiwillig zur Begutachtung meldet (van Rooyen et al. 1999).

Trotz der Belege dafür, dass die Öffnung des Peer-Review-Verfahrens für die Öffentlichkeit die Qualität weder in die eine noch in die andere Richtung zu beeinflussen scheint, wurde die Debatte fortgesetzt und konzentrierte sich hauptsächlich auf die Nebeneffekte der Offenlegung der Identität der Gutachter. Befürworter haben argumentiert, dass die Öffnung des Begutachtungsprozesses ethisch überlegen ist und nur geringe oder gar keine Auswirkungen auf den Prozess hat, sondern sogar zu mehr Höflichkeit im Begutachtungsprozess führen kann (Godlee 2002; Morrison 2006). Die größten Bedenken gegen ein offenes Peer-Review-Verfahren beziehen sich auf die Einführung persönlicher Voreingenommenheit und die Möglichkeit von Vergeltungsmaßnahmen in einer in der Regel sehr kleinen Welt innerhalb bestimmter Fachgebiete. Besonders besorgniserregend sind die Auswirkungen auf junge Forscher, die besonders anfällig sind. In einer kürzlich durchgeführten Umfrage unter Autoren und Gutachtern für die Zeitschrift Medical Education, einer weit verbreiteten Fachzeitschrift, sprachen sich die Befragten nachdrücklich für eine Verblindung sowohl der Autoren als auch der Gutachter aus (Regehr und Bordage 2006). Es gibt keinen klaren Konsens darüber, ob Manuskripte verblindet werden sollten, und die Argumente auf beiden Seiten scheinen überzeugend zu sein.

Obwohl die Öffnung des Peer-Review-Prozesses nicht vom Internet abhängt, kann das Internet einen noch transparenteren Review-Prozess ermöglichen. Viele der medizinischen Fachzeitschriften von BioMed Central verwenden ein völlig offenes Begutachtungsverfahren, bei dem nicht nur die Identität der Gutachter und Autoren öffentlich bekannt ist, sondern auch die vollständigen Begutachtungsunterlagen, einschließlich aller Rückmeldungen der Gutachter und der nachfolgenden Korrespondenz im Überarbeitungsprozess, zusammen mit dem veröffentlichten Manuskript öffentlich zugänglich gemacht werden. Eine vollständige Offenlegung des Gutachterprotokolls wäre bei einer gedruckten Zeitschrift aus logistischen Gründen wahrscheinlich nicht möglich.

Eine neuere Innovation, die auf das Internet zurückzuführen ist, besteht darin, dass der Begutachtungsprozess für jeden, der einen Beitrag kommentieren möchte, geöffnet wird. Wie bereits erwähnt, hat Nature vor kurzem versuchsweise ein offenes Begutachtungsverfahren parallel zum normalen Begutachtungsprozess eingeführt, und die Public Library of Science wird PLoS One einführen, eine neue Zeitschrift, die ein zweistufiges Verfahren anwendet, bei dem ein einziger akademischer Redakteur ein erstes Screening durchführt, gefolgt von einem System für öffentliche Kommentare und Diskussionen.

Es bleibt abzuwarten, wie erfolgreich diese öffentlichen Überprüfungssysteme sein werden. Es gibt eine Reihe von weniger bekannten Fachzeitschriften, die Begutachtungssysteme auf der Grundlage öffentlicher Kommentare eingeführt haben. Electronic Transactions on Artificial Intelligence (ETAI) bietet ein hybrides System der Peer-Review (Sandewall 2006). Manuskripte, die in den Geltungsbereich der Zeitschrift passen, werden sofort für drei Monate zur öffentlichen Kommentierung veröffentlicht, und wenn es eine anhaltende Diskussion gibt, kann der Zeitraum verlängert werden. Nach der Diskussionsphase erhalten die Autoren die Möglichkeit, ihre Manuskripte auf der Grundlage der Rückmeldungen zu überarbeiten, und dann wird das Manuskript zur externen Blindprüfung verschickt. Die Gutachter geben jedoch nur eine Entscheidung über die Veröffentlichung oder Ablehnung ohne Kommentar ab, da das Manuskript bereits umfangreiche Kommentare aus der Öffentlichkeit erhalten hat. Werden die Artikel angenommen, werden sie in der Regel innerhalb eines Monats veröffentlicht.

Atmospheric Chemistry and Physics verwendet einen zweistufigen Ansatz, der auch öffentliche Kommentare einschließt (Koop und Poschl 2006). Nach einer Vorprüfung werden die Manuskripte als „Diskussionspapiere“ veröffentlicht und können acht Wochen lang öffentlich kommentiert werden. Darüber hinaus veröffentlichen benannte Gutachter ihre unterzeichneten Kommentare zusammen mit unaufgeforderten Kommentaren anderer Leser. Auch die Autoren haben die Möglichkeit, auf die Kommentare zu antworten. In einer zweiten Phase werden die Manuskripte nach den üblichen Verfahren begutachtet. Angenommene Artikel werden in der Hauptzeitschrift veröffentlicht. Alle Diskussionsbeiträge und Kommentare werden ebenfalls dauerhaft auf der Website veröffentlicht.

Diese innovativen Systeme, die öffentliche Kommentare mit verschiedenen Formen traditionellerer Überprüfungen kombinieren, sind faszinierend und haben echte Vorzüge. Sie haben das Potenzial, die verschiedenen Rollen, die Zeitschriften in der wissenschaftlichen Gemeinschaft spielen, wesentlich besser auszubalancieren. Die rasche Erstveröffentlichung von Manuskripten mit Mechanismen für öffentliche Kommentare und Diskussionen dient der Erleichterung der Kommunikation zwischen Wissenschaftlern. Gleichzeitig bietet die Nutzung dieser öffentlichen Kommentare zusammen mit einer traditionelleren Peer-Review vor der endgültigen Veröffentlichung das gleiche oder sogar ein höheres Maß an Qualitätskontrolle wie die traditionelle Peer-Review. Der Prozess der öffentlichen Diskussion von Papieren passt auch gut zu den Aufgaben der Förderung wissenschaftlicher Gemeinschaften und der Verbreitung und Aufrechterhaltung von Standards für die Durchführung von Forschung und Wissenschaft.

Mit der Zeit werden wir sehen, ob diese neuen Ansätze für das jahrhundertealte Peer-Review-Verfahren einen echten Mehrwert bieten. Diese neue Ära des elektronischen Publizierens steckt noch in den Kinderschuhen, und wir müssen noch viel darüber lernen, wie wir die neuen Medien und Kommunikationsmittel am besten nutzen können. Die Tatsache, dass unser wissenschaftliches Publikationssystem mit nur bescheidenen Änderungen mehr als 340 Jahre lang trotz enormer Fortschritte in Wissenschaft und Technik weitgehend intakt geblieben ist, ist ein Beweis dafür, wie gut es funktioniert hat. Unsere Herausforderung für das nächste Jahrzehnt wird darin bestehen, das System an dieses neue und sehr unterschiedliche Medium anzupassen, wobei wir die Komponenten, die weiterhin gut funktionieren, beibehalten und Wege finden müssen, innovative Ansätze für die Kommunikation und die Evaluierung einzubeziehen, die auf den Möglichkeiten der elektronischen Veröffentlichung aufbauen.

David Solomon ist Bildungspsychologe und seit neunzehn Jahren in der medizinischen Ausbildung tätig. Derzeit ist er außerordentlicher Professor an der medizinischen Fakultät und im Büro für Bildungsforschung und -entwicklung am College of Human Medicine der Michigan State University. Seine Forschungstätigkeit erstreckt sich hauptsächlich auf die Bereiche Leistungsbeurteilung, Wahl des Fachgebiets und Fernunterricht. Im Jahr 1996 gründete er eine elektronische Zeitschrift, Medical Education Online, die sich zu einer etablierten Zeitschrift in diesem Bereich entwickelt hat. Sein weiteres großes Interesse gilt der Förderung von Open-Access-Publikationen. Er ist unter [email protected] zu erreichen.

Altman, D. G. 2002 Schlechte Qualität in der medizinischen Forschung: What can journals do? JAMA 287;21:2765-2767.

Baxt, W. G., J. F. Waeckerle, J. Berlin, und M. L. Callahm. 1989. Who reviews the reviewers? Machbarkeit der Verwendung fiktiver Manuskripte zur Bewertung der Leistung von Peer-Reviewern. Annals of Emergency Medicine 32:310-317.

Bloom, T. 2006. Systems: Online frontiers of the peer-reviewed literature. In Nature. http://www.nature.com/nature/peerreview/debate/index.html.

Campbell, P. 2006. Nature Peer Review Trial and Debate. In Nature. http://www.nature.com/nature/peerreview/index.html.

Chang, A. 2006. Online-Zeitschriften stellen wissenschaftliche Peer-Review in Frage. Abgerufen am 19. November 2006 von http://www.mercurynews.com/mld/mercurynews/news/breaking_news/15655422.htm.

Debatte. 2006. „Peer Review“ In Nature. http://www.nature.com/nature/peerreview/debate/index.html

Editorial. 2005. „Revolutionized peer review?“. Nature Neuroscience 8; 4:397.

Faxon Institute. 1991. An Examination of Work-related Information Acquisition and Usage among Scientific, Medical and Technical Fields Westwood, Mass. Faxon Company.

Godlee, F. 2002. Making reviewers visible. Openness, accountability and credit. JAMA287; 21:2762-2765.

Goldbeck-Wood, S. 1999. Evidence on peer review: scientific quality control or smokescreen? BMJ 318:44-45 (2. Januar). http://www.bmj.com/cgi/reprint/318/7175/44.

Gotzxche, P. C. 1989. Methodik und offene und versteckte Verzerrungen in Berichten über 196 doppelblinde Studien mit nichtsteroidalen Entzündungshemmern bei rheumatoider Arthritis. Controlled Clinical Trials, 10:3159.

Guédon, J. 2001. In Oldenburgs langem Schatten: Bibliothekare, Forscher, Verleger und die Kontrolle des wissenschaftlichen Publizierens. Vortrag auf der Tagung der Association of Research Libraries (ARL) im Mai 2001, unter http://www.arl.org/arl/proceedings/138/guedon.html.

Jefferson, T., P. Alderson, E. Wager, and F. Davidoff. 2002a. Effects of editorial peer review. JAMA June 5, 287; 21:2784-2786.

Jefferson, T., E. Wager, and F. Davidoff. 2002b. Measuring quality of editorial peer review. JAMA June 5, 287; 21:2786-2790.

Jefferson, T. 2006. Quality and value: Modelle der Qualitätskontrolle in der wissenschaftlichen Forschung. In Nature . http://www.nature.com/nature/peerreview/debate/nature05031.html.

Koop, T., und U. Pöschl. 2006. Ein offenes, zweistufiges Peer-Review-Journal. In Nature . http://www.nature.com/nature/peerreview/debate/nature04988.html.

Kumashiro, K. K. 2005. Thinking Collaboratively about the Peer-Review Process for Journal-Article Publication. Harvard Educational Review 75; 3:257-287.

Pocock, S. J., M. D. Hughes, and R. J. Lee. 1987. Statistische Probleme bei der Berichterstattung über klinische Studien. A survey of three medical journals. New England Journal of Medicine 317:426-432.

Regehr, G., und G. Bordage. 2006. To blind or not to blind? Was Autoren und Gutachter bevorzugen. Medical Education 40:832-839.

Schafner, A. C. 1994. Die Zukunft der wissenschaftlichen Fachzeitschriften: Lessons from the past. Information Technology and Libraries 13:239-47.

Sandewall, E. 2006. A hybrid system of peer review. In Nature. http://www.nature.com/nature/peerreview/debate/nature04994.html.

Smith, R. 1999 Opening up BMJ peer review. BMJ 1318:4-5 (2. Januar). http://www.bmj.com/cgi/content/full/318/7175/4.

Van Rooyen S., F. Godlee, S. Evans, N. Black, and R. Smith. 1999. Auswirkung einer offenen Peer Review auf die Qualität von Reviews und auf die Empfehlungen der Reviewer: eine randomisierte Studie. BMJ 318:23-27 (2. Januar). http://www.bmj.com/cgi/reprint/318/7175/23.

Hinweise

1. Zum Beispiel siehe Open Journal Systems http://pkp.sfu.ca/?q=ojs.

2. Siehe http://arxiv.org/todays_stats.