Abstract

Dit artikel bespreekt recente innovaties in de manier waarop peer review wordt uitgevoerd in het licht van de verschillende functies die tijdschriften vervullen in wetenschappelijke gemeenschappen.

Scholaire tijdschriften bestaan al meer dan 340 jaar. Hoewel peer review bij de eerste tijdschriften minder gebruikelijk was, wordt tegenwoordig in de meeste wetenschappelijke en wetenschappelijke tijdschriften een zekere mate van peer review toegepast. Ondanks de lange geschiedenis en de stevige verankering in de wetenschappelijke gemeenschap, wordt peer review steeds kritischer bekeken door wetenschappers (Debate 2006) en zelfs in de lekenpers (Chang 2006). Het debat lijkt grotendeels te zijn aangewakkerd door de groeiende impact van elektronische verspreiding en het gebruik van het internet bij het uitvoeren van peer review. Het internet heeft niet alleen de kosten en inspanningen voor het verrichten van peer review verminderd door sterk geautomatiseerde webgebaseerde beheersystemen, maar heeft ook gezorgd voor een grote flexibiliteit in de wijze waarop peer review kan worden verricht.

Veel schrijvers hebben gepleit voor verschillende vormen van “open” peer review. Tot op zekere hoogte hebben deze oproepen tot verandering zich geconcentreerd op het afschaffen van de traditie om de identiteit van de beoordelaars te verhullen. Anderen hebben ervoor gepleit het volledige verslag van de collegiale toetsing openbaar te maken of het toetsingsproces open te stellen voor iedereen die commentaar wil leveren. Er zijn zelfs discussies geweest over het behandelen van publicaties als organische documenten die zich in de loop van de tijd ontwikkelen met een reeks versies die veranderen om nieuwe informatie en aanvullend commentaar weer te geven (Bloom 2006).

Een aantal zeer gerespecteerde tijdschriften is begonnen met het experimenteren met innovatieve peer-review modellen. Het British Medical Journal heeft al in 1999 de blindering in zijn peer-reviewproces afgeschaft (Smith 1999) en veel van de BioMed Central-tijdschriften bieden open toegang tot het volledige reviewrecord. Nature heeft vanaf juni 2006 gedurende drie maanden geëxperimenteerd met het publiceren van preprints voor openbaar commentaar, parallel aan de traditionele peer review (Campbell 2006) en de Public Library of Science (PLoS) is bezig met de lancering van een nieuw tijdschrift, PLos One, dat vrijwel onmiddellijk artikelen zal publiceren met minimale screening en dat openbaar commentaar mogelijk maakt.

Hoewel deze experimenten met peer review voor heel wat discussie zorgen, blijven de meeste wetenschappelijke tijdschriften traditionele methoden van peer review gebruiken, waarbij een geselecteerde groep deskundigen, van wie de identiteit van de auteur en het publiek is afgeschermd, feedback geeft aan de redacteur die de uiteindelijke beslissing tot publicatie neemt. Hoewel het waarschijnlijk een traag proces zal zijn, lijken we een tijdperk binnen te gaan waarin de peer review zal evolueren om meer voordeel te halen uit de flexibiliteit die het internet biedt. Naar mijn mening is dit slechts één aspect van een veel grotere transformatie van het eeuwenoude systeem van wetenschappelijke tijdschriften, die zich althans ten dele voltrekt als gevolg van de inherente verschillen tussen de distributie op papier en langs elektronische weg en, meer in het algemeen, de flexibiliteit en de efficiëntie van de communicatie die het Internet biedt.

Al bijna dertien jaar geleden schreef Ann Schaffner (1994) een zeer inzichtelijk artikel over de toekomst van wetenschappelijke tijdschriften. Zij concentreerde zich op de gevarieerde en complexe rollen die tijdschriften hebben gespeeld in wetenschappelijke en geleerde gemeenschappen in een poging om de impact van nieuwe technologie op deze tijdschriften te begrijpen. Als we kijken naar het debat over de manier waarop peer review zou moeten gebeuren (als het al zou moeten gebeuren), weerspiegelen de argumenten vaak de focus van de schrijver of spreker op een specifieke functie of functies die tijdschriften spelen in wetenschappelijke gemeenschappen. Ik ben ervan overtuigd dat we een meer doordachte discussie kunnen voeren over de rol van peer review en de waarde van de nieuwe vormen van peer review, als we Schaffner volgen in haar overweging van de specifieke rollen van tijdschriften in wetenschappelijke gemeenschappen, wanneer we nagaan hoe het peer-review proces het best gebruik kan maken van de mogelijkheden die elektronische communicatie biedt.

The Roles of Journals in Scholarly Communities

Schaffner (1994) identificeerde vijf verschillende, hoewel enigszins overlappende, rollen die tijdschriften spelen in wetenschappelijke gemeenschappen. Zoals ze opmerkt, kunnen ze waarschijnlijk op een andere manier gecategoriseerd worden, maar voor mij is haar schema zeer zinvol.

Opbouwen van een collectieve kennisbasis – Waarschijnlijk de belangrijkste rol die tijdschriften spelen is het vormen van ons kennisarchief. De meeste mensen zullen het ermee eens zijn dat tijdschriften het meest uitgebreide, actuele en gezaghebbende archief vormen van informatie op een bepaald wetenschappelijk gebied. Het spreekt vanzelf dat de nauwkeurigheid en de kwaliteit van het materiaal in dit archief van cruciaal belang zijn. Peer review is een van de belangrijkste mechanismen om de informatie in deze tijdschriften te valideren.

In het algemeen duurt het ongeveer achttien maanden voordat een artikel door vakgenoten wordt beoordeeld, van indiening tot publicatie. Hoewel dit enigszins kan worden beperkt door collegiale toetsing via het web en elektronische publicatie, kost het proces van collegiale toetsing en revisie gewoon tijd. Ook de zorg en moeite die het kost om een publiceerbaar manuscript te ontwikkelen, betekent dat er maanden kunnen verstrijken tussen het moment waarop onderzoek wordt verricht en het moment waarop de resultaten zelfs maar voor publicatie worden ingediend. Bovendien worden manuscripten vaak niet aanvaard wanneer zij voor de eerste keer bij een tijdschrift worden ingediend en moeten zij soms bij verschillende tijdschriften opnieuw worden ingediend voordat zij voor publicatie worden aanvaard. Het netto resultaat is dat de informatie die via peer-reviewed tijdschriften wordt verspreid, vaak verscheidene jaren oud is.

Vanuit het perspectief van ons kennisarchief is de snelheid waarmee het archief wordt bijgewerkt, hoewel niet triviaal, veel minder van belang dan de nauwkeurigheid en de kwaliteit van het materiaal. Ik denk dat de meeste mensen het ermee eens zullen zijn dat de zorg en moeite van peer review en zorgvuldige revisie, kopijredactie en zetwerk veel zwaarder wegen dan de noodzaak van snelle publicatie wanneer we deze tijdschriften als ons kennisarchief beschouwen.

Communicatie van informatie – Communicatie tussen geleerden die op een bepaald gebied werkzaam zijn, klinkt vergelijkbaar met het opbouwen van een kennisarchief. Er zijn echter belangrijke verschillen. Snelheid en interactiviteit zijn veel belangrijker voor deze rol. Tegelijkertijd is intercollegiale toetsing veel minder belangrijk, aangezien deskundigen op een bepaald gebied heel goed in staat zijn hun eigen beslissingen te nemen over de waarde en nauwkeurigheid van de informatie die wordt verspreid. Sommigen hebben betoogd dat wetenschappers zonder peer review overspoeld zouden worden met informatie (Editorial 2005). Op het gebied van de fysica lijkt dit niet het geval te zijn. Op de bekende preprint server arXiv.org worden elke maand wel 5000 preprints gedeponeerd en tienduizenden mensen bezoeken de site elke dag, en het systeem blijkt al meer dan vijftien jaar buitengewoon goed te werken, althans op dat gebied.

Tijdschriften speelden in het begin van hun geschiedenis waarschijnlijk een veel centralere rol in dit soort communicatie. Nu er andere, efficiëntere communicatiemiddelen beschikbaar zijn, zou men denken dat tijdschriften een vrij beperkte rol zouden spelen in de communicatie van onderzoeksresultaten tussen wetenschappers. Het is niet duidelijk dat dit het geval is. Ten eerste blijkt uit het onderzoek naar de informele communicatie van wetenschappelijke en technische kennis dat de wijze van communicatie aanzienlijk varieert naar gelang van het vakgebied (Faxon Institute 1991). Zo werden preprint archieven zoals arXiv.org snel omarmd door een aantal vakgebieden, maar worden ze zelden gebruikt in andere vakgebieden, ondanks gezamenlijke pogingen van individuen om ze in te voeren. (Dit is het geval geweest op mijn gebied van onderwijsonderzoek.) Het onderzoek naar informele communicatie onder wetenschappers suggereert ook dat veel van wat onder geleerden besproken wordt, tijdschriftartikelen blijken te zijn (Schaffner 1994). Hoewel archieven met voorpublicaties, listservs en discussies op basis van threads waarschijnlijk steeds belangrijker zullen worden voor de communicatie tussen wetenschappers die op een bepaald gebied werkzaam zijn, lijken tijdschriften duidelijk een belangrijke rol te blijven spelen in dit type van communicatie.

Bevestiging van de kwaliteit van onderzoek – Tijdschriften spelen ook een rol bij het handhaven van gemeenschappelijke normen voor de wijze waarop onderzoek en wetenschap worden verricht. Tot op zekere hoogte gebeurt dit doordat tijdschriften filteren wat wordt gepubliceerd en dus verspreid. De effecten kunnen ook subtieler zijn. Het werk van ervaren wetenschappers krijgt zelden harde kritieken. Dat wil niet zeggen dat zij hun manuscripten altijd gepubliceerd krijgen, maar zij hebben zich de normen van het vakgebied eigen gemaakt en weten hoe het onderzoek of de wetenschap moet worden uitgevoerd en beschreven, en lopen veel minder kans dan nieuwelingen om door recensenten te worden gegeseld.

Er is niet universele overeenstemming over dat dit helemaal een goede zaak is. Sommigen hebben betoogd dat dit de creativiteit verstikt en beginnende onderzoekers onnodig blootstelt aan harde kritiek (Kumashiro 2005).

Beloningen uitdelen – Publiceren in peer-reviewed tijdschriften is een van de belangrijkste manieren waarop wetenschappers worden geëvalueerd. Niet alleen de kwantiteit is belangrijk, maar in welke tijdschriften men publiceert is even belangrijk, zo niet belangrijker. De wortels hiervan gaan helemaal terug tot de oprichting van de Philosophical Transactions van de Royal Society of London in het midden van de 17e eeuw. Hoewel het niet ging om beslissingen over een ambtstermijn, was een belangrijke functie van dat tijdschrift vast te stellen wie de eer verdiende voor specifieke bevindingen of theorieën. Volgens Guédon (2001) fungeerde het tijdschrift bijna als een octrooibureau voor ideeën. Door in het tijdschrift te publiceren konden wetenschappers of natuurfilosofen (zoals ze in die tijd werden genoemd) het eigendom van hun intellectuele eigendom vastleggen. Concurrentie tussen wetenschappers en controverse over de erkenning van ontdekkingen is vandaag de dag nog steeds aan de orde van de dag, en tijdschriften vervullen nog steeds de rol van het documenteren van het vaderschap van intellectuele eigendom. Deze rol is duidelijk uitgebreid als een meer algemene maatstaf voor prestaties, en peer review – terecht of onterecht – is een belangrijk aspect van deze rol.

Bouw van wetenschappelijke gemeenschappen – Tijdschriften fungeren ook als een middel om een wetenschappelijke gemeenschap op een aantal manieren samen te brengen. Een kenmerk van het volwassen worden van een discipline is de oprichting van een nieuw tijdschrift: in wezen het afbakenen van het intellectuele territorium van het nieuwe vakgebied. Daarnaast dienen redactionele artikelen, opinieartikelen en brieven aan de redacteur vaak als forum om te debatteren over de problemen in het vakgebied. Soms zijn ze inhoudelijk van aard en soms hebben ze betrekking op aanverwante gebieden, zoals de sociale implicaties van bevindingen, financiering, of opleidingskwesties binnen het vakgebied. Tijdschriften dienen ook vaak als forum voor nieuws, zoals nieuwe benoemingen in belangrijke functies of het overlijden van een bekend lid van de wetenschappelijke gemeenschap. Hoewel deze rol enigszins aan het afnemen is door de verscheidenheid aan beschikbare communicatiemogelijkheden, blijven tijdschriften een belangrijke rol spelen in het vormen en onderhouden van wetenschappelijke gemeenschappen.

Peer Review in relatie tot de rollen van tijdschriften

De relevantie van peer review varieert duidelijk tussen de verschillende functies van tijdschriften. Peer review wordt over het algemeen van vitaal belang geacht voor de vorming van een archief van kennis en de verdeling van beloningen. Het speelt ook een sleutelrol in het valideren van de kwaliteit van onderzoek op een gebied, maar kan, zoals Kumashiro opmerkt, ook de verspreiding van nieuwe ideeën en methoden belemmeren. Peer review is van weinig waarde en waarschijnlijk een belemmering in het vergemakkelijken van de communicatie tussen wetenschappers in een vakgebied en is niet relevant voor de rol van het opbouwen van wetenschappelijke gemeenschappen.

De waarde van peer review is gebaseerd op de veronderstelling dat het een geldige maatstaf is voor de kwaliteit van een manuscript en de mate waarin het voldoet aan de normen van het vakgebied. De waarde ervan is ook gekoppeld aan het geven van feedback, zodat een manuscript door herziening kan worden verbeterd. Deze veronderstellingen worden grotendeels als vanzelfsprekend beschouwd en zelden in twijfel getrokken, maar de geldigheid ervan kan in twijfel worden getrokken.

Jefferson e.a. (2002a) hebben een systematische review uitgevoerd van de literatuur over het effect van peer review in biomedische tijdschriften. Zij vonden weinig gecontroleerde studies, en de meeste daarvan waren gericht op specifieke redactionele praktijken, zoals blindering of het gebruik van checklists bij het beoordelingsproces. In een ander onderzoek (2002b) identificeerden de auteurs tien studies waarin de relatie tussen peer review en de kwaliteit van artikelen werd onderzocht. Slechts één studie vergeleek collegiaal getoetste artikelen met niet-collegiaal getoetste artikelen, en de opzet van de studie was zwak. De rest vergeleek verschillende methoden van peer review of de verandering in kwaliteit voor en na revisie op basis van peer review. Elk artikel maakte gebruik van beoordelingen door deskundigen op basis van een verschillende beoordelingsschaal. Geen van de beoordelingsinstrumenten bleek te zijn beoordeeld op psychometrische kwaliteit. De algemene conclusie van Jefferson e.a. is dat er zeer weinig wetenschappelijk onderbouwd bewijs is voor de waarde van peer review bij het waarborgen van de kwaliteit van manuscripten – althans in de biomedische wetenschappen.

Er zijn ook aanwijzingen dat peer review niet noodzakelijkerwijs succesvol is bij het opsporen van methodologische gebreken in onderzoeksartikelen. Baxt et al. (1998) stuurden recensenten een fictief manuscript met duidelijke ontwerp- en analysefouten, waardoor de resultaten de conclusies van de beschreven studie niet konden ondersteunen. Er werd bijvoorbeeld gesteld dat er een willekeurige toewijzing was aan behandelings-/controlegroepen, maar de procedure was duidelijk niet willekeurig. De 203 spoedartsen die aan de studie deelnamen, waren ervaren recensenten voor Annals of Emergency Medicine, een gerespecteerd tijdschrift op dit gebied. Gemiddeld identificeerden de recensenten slechts 34% van de fatale fouten in het manuscript, en 41% van de recensenten gaf aan dat het manuscript voor publicatie moest worden aanvaard. Er is ook een veelheid van studies die het hoge percentage methodologische fouten in gepubliceerd medisch onderzoek aantonen (Pocock, Hughes, & Lee 1987; Gotzche 1989). Altman (2002) wijt dit aan verschillende oorzaken, waaronder het gebrek aan deskundigheid op het gebied van statistiek en onderzoeksopzet bij reviewers. Hoewel deze voorbeelden uit de biomedische wetenschappen komen, zou men denken, om niet te zeggen hopen, dat op zo’n kritisch gebied de meest degelijke onderzoekspraktijken zouden worden gehanteerd. Op grond van mijn ervaring als sociaal wetenschapper komen methodologische fouten ook in tijdschriften voor sociale wetenschappen veel voor.

Effectief gebruik van peer review

Wijst het gebrek aan bewijs dat de effectiviteit van peer review bevestigt en het feit dat gebrekkig onderzoek vaak wordt gepubliceerd in tijdschriften met een strenge peer review erop dat peer review geen waarde heeft? Ik denk van niet. In veel opzichten is collegiale toetsing vergelijkbaar met ons jurysysteem: hoewel het gebreken vertoont, is het het beste dat we hebben (Jefferson 2006). Mijn waardering voor het proces is gegroeid in de elf jaar dat ik redacteur ben van Medical Education Online (MEO), een open-access peer-reviewed tijdschrift over medisch onderwijs. De waarde van peer review is niet zozeer een middel om slechte manuscripten te filteren (hoewel het nuttig is om de steun van verschillende recensenten te hebben wanneer je geconfronteerd wordt met een boze auteur); In plaats daarvan is peer review waardevol als middel om de kwaliteit van wat gepubliceerd wordt te verbeteren. Ik ben voortdurend verbaasd over de tijd, de moeite en het denkwerk dat veel recensenten in het beoordelingsproces steken. Het resultaat is meestal uitstekende constructieve feedback die de meeste auteurs verwelkomen en gebruiken om hun manuscripten te verbeteren.

Een ander feit dat soms over het hoofd wordt gezien, is dat terwijl individuele reviewers vaak specifieke problemen in een manuscript missen, een andere reviewer het probleem vaak wel ziet. Hoe meer reviewers een manuscript beoordelen, hoe groter de kans dat fouten worden ontdekt en problemen worden onderkend. Het gebruik van Internet voor het uitvoeren van reviews vermindert de kosten en moeite die met peer review gemoeid zijn drastisch en maakt het haalbaar om een groter aantal reviewers per manuscript in te schakelen. Ons doel bij MEO is om vier tot zes consultants elk manuscript te laten beoordelen, en als het er meer zijn, nog beter. Door een vrij open proces voor het selecteren van recensenten te gebruiken, hebben we gevonden dat het gemakkelijk is om dit doel te bereiken. Momenteel hebben wij ongeveer driehonderd recensenten die zich vrijwillig hebben aangemeld om manuscripten te recenseren en wij hebben ondervonden dat het betrekkelijk gemakkelijk is om onze pool van recensenten naar behoefte uit te breiden.

Om peer review effectief te laten werken, is de rol van een redacteur van cruciaal belang. Hoewel de meeste reviews waardevolle feedback geven, is er veel variatie tussen de reviewers in de behandelde kwesties, en de feedback is soms tegenstrijdig (en af en toe gewoon verkeerd). Iemand moet de verschillende reviews op een rijtje zetten en een samenhangende samenvatting van de feedback geven, en als het manuscript vóór publicatie moet worden herzien, moet de auteur een duidelijke reeks aanwijzingen krijgen. Het is niet zo dat de redacteur per se wijzer is of minder vatbaar voor vooroordelen dan de individuele recensenten, maar iemand moet de leiding nemen zodat de feedback en de aanwijzingen voor de auteur coherent zijn. Anders worden auteurs er gek van.

Bij MEO geeft de review editor een feedback brief met de publicatiebeslissing, een samenvatting van de feedback en, indien van toepassing, een samenhangende set van punten die moeten worden aangepakt voor publicatie. Bovendien sturen we zowel het commentaar als de beoordelingen van alle reviewers terug, met uitzondering van opmerkingen die de reviewer alleen voor de editor heeft gespecificeerd. Ik denk dat auteurs het op prijs stellen dat ze alle feedback krijgen en van de redacteur duidelijke richtlijnen voor de revisie van hun manuscript. We sturen ook doorslagkopieën van de feedback die naar de auteur wordt gestuurd naar elke reviewer. Het is mijn ervaring dat reviewers het bijna altijd op prijs stellen om zowel de definitieve status van een manuscript te vernemen als te zien wat de andere reviewers erover te zeggen hadden.

Innovaties in peer review

Zoals gezegd, heeft de flexibiliteit en efficiëntie van communiceren via Internet het mogelijk gemaakt om te experimenteren met een verscheidenheid van verschillende modellen van peer review. De innovatie die in de literatuur het meest aan bod is gekomen, is het transparanter maken van het peer-review-proces. Traditioneel wordt de identiteit van de collegiale toetsers geheim gehouden, en in veel gevallen worden manuscripten gemaskeerd om alle identificerende informatie over de auteurs en hun instellingen te verwijderen. Op het meest basale niveau bestaat open peer review erin dat de identiteit van de reviewers openbaar wordt gemaakt of dat de identiteit van de auteurs aan de reviewers bekend wordt gemaakt, of beide, tijdens de review. Dit is natuurlijk niet afhankelijk van elektronische publicatie; de beoordeling en het debat over het vertrouwelijk houden van de identiteit van de beoordelaars gaan terug tot lang voordat het internet algemeen beschikbaar werd. Deze kwestie is vrij goed onderzocht (Goldbeck-Wood 1999). Er zijn aanwijzingen dat anonimiteit weinig invloed heeft op de kwaliteit van de beoordeling of op de acceptatiegraad, maar het onthullen van de identiteit van beoordelaars kan de kans verkleinen dat iemand vrijwillig een beoordeling geeft (van Rooyen et al. 1999).

Ondanks het bewijs dat het openstellen van het peer-review proces voor publieke controle de kwaliteit niet op een of andere manier lijkt te beïnvloeden, is het debat voortgezet, waarbij de aandacht vooral uitging naar de neveneffecten van het bekendmaken van de identiteit van de reviewers. Voorstanders hebben betoogd dat het openstellen van het reviewproces ethisch superieur is met weinig of geen gevolgen voor het proces en in feite een grotere beschaafdheid in het reviewproces kan aanmoedigen (Godlee 2002; Morrison 2006). De grootste bezwaren tegen open peer review betreffen de introductie van persoonlijke vooroordelen en de mogelijkheid van vergelding in wat doorgaans een zeer kleine wereld is binnen specifieke vakgebieden. Er is vooral bezorgdheid over het effect op jonge onderzoekers, die bijzonder kwetsbaar zijn. In een recente enquête onder zowel auteurs als recensenten voor Medical Education, een veel gelezen tijdschrift op dit gebied, waren de respondenten sterk voorstander van blindering van zowel auteurs als recensenten (Regehr en Bordage 2006). Er is geen duidelijke consensus over de vraag of manuscripten geblindeerd moeten worden, en de argumenten aan beide zijden lijken overtuigend.

Hoewel het openstellen van het peer-review proces niet afhankelijk is van het internet, kan het internet een nog transparanter review proces vergemakkelijken. Veel van de medische tijdschriften van BioMed Central maken gebruik van een volledig open beoordelingsproces, waarbij niet alleen de identiteit van de beoordelaars en de auteurs openbaar is, maar ook het volledige beoordelingsverslag, met inbegrip van alle feedback van de beoordelaars en de daaropvolgende iteraties van correspondentie in het revisieproces, samen met het gepubliceerde manuscript voor het publiek beschikbaar wordt gesteld. Volledige openbaarmaking van het review record zou om logistieke redenen waarschijnlijk niet haalbaar zijn bij een papieren tijdschrift.

Een recentere innovatie die op het Internet berust, is het openstellen van het review proces voor iedereen die commentaar op een artikel wil geven. Zoals opgemerkt heeft Nature onlangs bij wijze van proef een open review-proces ingevoerd, parallel aan hun normale review-proces, en de Public Library of Science zal PLoS One invoeren, een nieuw tijdschrift dat gebruik zal maken van een proces in twee fasen, waarbij één academische redacteur een eerste screening uitvoert, gevolgd door een systeem voor publiek commentaar en discussie.

Het valt nog te bezien hoe succesvol deze openbare beoordelingssystemen zullen zijn. Er zijn een aantal minder bekende gespecialiseerde tijdschriften die beoordelingssystemen op basis van openbaar commentaar hebben ingevoerd. Electronic Transactions on Artificial Intelligence (ETAI) biedt een hybride systeem van peer review (Sandewall 2006). Manuscripten die binnen de reikwijdte van het tijdschrift vallen, worden onmiddellijk gedurende drie maanden gepubliceerd voor openbaar commentaar, en als er een voortdurende discussie is, kan de periode worden verlengd. Na de discussieperiode krijgen de auteurs de kans om hun manuscript op basis van de feedback te herzien, waarna het manuscript wordt verzonden voor externe blinde beoordeling. De recensenten geven echter slechts een “publish/reject”-beslissing zonder commentaar, aangezien het manuscript al uitgebreid becommentarieerd is door het publiek. Indien aanvaard, worden de artikelen gewoonlijk binnen een maand gepubliceerd.

Atmospheric Chemistry and Physics gebruikt een tweefasenaanpak die ook rekening houdt met het commentaar van het publiek (Koop en Poschl 2006). Na een voorscreening worden manuscripten gepubliceerd als “discussiestukken” waarop het publiek gedurende een periode van acht weken commentaar kan geven. Daarnaast publiceren aangewezen recensenten hun ondertekende commentaar samen met ongevraagd commentaar van andere lezers. De auteurs mogen ook op de opmerkingen reageren. In een tweede fase worden de manuscripten beoordeeld volgens de traditionele beoordelingsprocedures. Geaccepteerde artikelen worden gepubliceerd in het hoofdtijdschrift. Alle discussiestukken en commentaren worden ook permanent op de site bijgehouden.

Deze innoverende systemen, die openbaar commentaar combineren met verschillende vormen van meer traditionele beoordeling, zijn intrigerend en hebben een reële verdienste. Zij hebben het potentieel om de verschillende rollen die tijdschriften in wetenschappelijke en geleerde gemeenschappen spelen, aanzienlijk beter in evenwicht te brengen. Een snelle eerste publicatie van manuscripten met mechanismen voor openbaar commentaar en discussie vergemakkelijken de communicatie tussen wetenschappers. Tegelijkertijd biedt het gebruik van dit openbaar commentaar samen met de meer traditionele peer review vóór de definitieve publicatie hetzelfde of zelfs mogelijk een hoger niveau van kwaliteitscontrole als de traditionele peer review. Het proces van het openbaar bespreken van papers past ook goed bij de rol van het bevorderen van wetenschappelijke gemeenschappen en het verspreiden en handhaven van normen voor het uitvoeren van onderzoek en wetenschap.

Mettertijd zullen we zien of deze nieuwe benaderingen van het eeuwenoude peer-review proces werkelijk waarde toevoegen. Dit nieuwe tijdperk van elektronisch publiceren staat nog in de kinderschoenen en we moeten nog veel leren over hoe we het best gebruik kunnen maken van de nieuwe media en communicatiemiddelen. Het feit dat ons systeem van wetenschappelijke publicaties meer dan 340 jaar lang grotendeels intact is gebleven met slechts bescheiden veranderingen, ondanks de enorme vooruitgang in wetenschap en technologie, is een bewijs van hoe goed het heeft gewerkt. Onze uitdaging voor het komende decennium zal erin bestaan het systeem aan te passen aan dit nieuwe en zeer verschillende medium, waarbij de onderdelen die goed blijven werken behouden blijven en er manieren worden gevonden om innovatieve benaderingen voor communicatie en evaluatie te integreren die voortbouwen op de mogelijkheden van elektronische publicatie.

David Solomon is een onderwijspsycholoog die al negentien jaar werkzaam is in het medisch onderwijs. Momenteel is hij universitair hoofddocent aan het departement geneeskunde en het bureau voor onderwijsonderzoek en -ontwikkeling van het College of Human Medicine van de Michigan State University. Zijn onderzoek situeert zich vooral op het gebied van prestatiebeoordeling, specialiteitkeuze en afstandsonderwijs. In 1996 startte hij een elektronisch tijdschrift, Medical Education Online, dat is uitgegroeid tot een gerenommeerd tijdschrift op dit gebied. Zijn andere grote interesse is het bevorderen van open-access publishing. Hij is te bereiken op [email protected].

Altman, D. G. 2002 Medisch onderzoek van slechte kwaliteit: Wat kunnen tijdschriften doen? JAMA 287;21:2765-2767.

Baxt, W. G., J. F. Waeckerle, J. Berlin, and M. L. Callahm. 1989. Who reviews the reviewers? Feasibility of using fictitious manuscript to evaluate peer reviewer performance. Annals of Emergency Medicine 32:310-317.

Bloom, T. 2006. Systemen: Online grenzen van de peer-reviewed literatuur. In Nature. http://www.nature.com/nature/peerreview/debate/index.html.

Campbell, P. 2006. Nature Peer Review Trial and Debate. In Nature. http://www.nature.com/nature/peerreview/index.html.

Chang, A. 2006. Online tijdschriften dagen wetenschappelijke peer review uit. Op 19 november 2006 ontleend aan http://www.mercurynews.com/mld/mercurynews/news/breaking_news/15655422.htm.

Debate. 2006. “Peer Review” In Nature. http://www.nature.com/nature/peerreview/debate/index.html

Editorial. 2005. “Peer review gerevolutioneerd?”. Nature Neuroscience 8; 4:397.

Faxon Institute. 1991. An Examination of Work-related Information Acquisition and Usage among Scientific, Medical and Technical Fields Westwood, Mass. Faxon Company.

Godlee, F. 2002. Reviewers zichtbaar maken. Openness, accountability and credit. JAMA287; 21:2762-2765.

Goldbeck-Wood, S. 1999. Evidence on peer review: scientific quality control or smokescreen? BMJ 318:44-45 (2 januari). http://www.bmj.com/cgi/reprint/318/7175/44.

Gotzxche, P. C. 1989. Methodology and open and hidden bias in reports of 196 double-blinded trials of non-steroidal anti-inflammatory drugs in rheumatoid arthritis. Controlled Clinical Trials, 10:3159.

Guédon, J. 2001. In de lange schaduw van Oldenburg: Bibliothecarissen, onderzoekswetenschappers, uitgevers en de controle op wetenschappelijke publicaties. Presentatie tijdens de bijeenkomst in mei 2001 van de Association of Research Libraries (ARL), op http://www.arl.org/arl/proceedings/138/guedon.html.

Jefferson, T., P. Alderson, E. Wager, and F. Davidoff. 2002a. Effecten van redactionele peer review. JAMA 5 juni 287; 21:2784-2786.

Jefferson, T, E. Wager, and F. Davidoff. 2002b. Measuring quality of editorial peer review. JAMA 5 juni, 287; 21:2786-2790.

Jefferson, T. 2006. Kwaliteit en waarde: Modellen van kwaliteitscontrole voor wetenschappelijk onderzoek. In Nature . http://www.nature.com/nature/peerreview/debate/nature05031.html.

Koop T., en U. Pöschl. 2006. Een open, tweetraps peer-review tijdschrift. In Nature . http://www.nature.com/nature/peerreview/debate/nature04988.html.

Kumashiro, K. K. 2005. Collaboratively Thinking about the Peer-Review Process for Journal-Article Publication. Harvard Educational Review 75; 3:257-287.

Pocock, S. J., M. D. Hughes, and R. J. Lee. 1987. Statistical problems in the reporting of clinical trials. A survey of three medical journals. New England Journal of Medicine 317:426-432.

Regehr, G., and G. Bordage. 2006. To blind or not to blind? Wat auteurs en reviewers verkiezen. Medisch Onderwijs 40:832-839.

Schafner, A. C. 1994. De toekomst van wetenschappelijke tijdschriften: Lessen uit het verleden. Information Technology and Libraries 13:239-47.

Sandewall, E. 2006. Een hybride systeem van peer review. In Nature. http://www.nature.com/nature/peerreview/debate/nature04994.html.

Smith, R. 1999 Opening up BMJ peer review. BMJ 1318:4-5 (2 januari). http://www.bmj.com/cgi/content/full/318/7175/4.

Van Rooyen S., F. Godlee, S. Evans, N. Black, and R. Smith. 1999. Effect of open peer review on quality of reviews and on reviewers’ recommendations: a randomized trial. BMJ 318:23-27 (2 januari). http://www.bmj.com/cgi/reprint/318/7175/23.

NOTEN

1. Zie bijvoorbeeld Open Journal Systems http://pkp.sfu.ca/?q=ojs.

2. Zie http://arxiv.org/todays_stats.