Abstract

Denna artikel diskuterar de senaste innovationerna i hur peer review utförs mot bakgrund av de olika funktioner som tidskrifter fyller i forskarvärlden.

Skollegiala tidskrifter har funnits i över 340 år. Även om peer review var mindre vanligt bland de tidiga tidskrifterna, tillämpar majoriteten av vetenskapliga och akademiska tidskrifter någon form av peer review i dag. Trots dess långa historia och fasta etablering i vetenskapliga samfund har peer review blivit alltmer kritiskt granskat av forskare (Debate 2006) och till och med i lekmannapressen (Chang 2006). Debatten tycks till stor del vara underblåst av den ökande effekten av elektronisk spridning och användningen av Internet i samband med expertgranskning. Internet har inte bara minskat kostnaderna och ansträngningarna för att genomföra expertgranskning genom högt automatiserade webbaserade hanteringssystem, utan har också gett en stor flexibilitet när det gäller hur expertgranskning kan genomföras.

Många författare har förespråkat olika former av ”öppen” peer review. I viss mån har dessa uppmaningar till förändring fokuserat på att avskaffa traditionen att blända granskarens identitet. Andra har förespråkat att hela peer review-protokollet ska offentliggöras eller att granskningsprocessen ska öppnas för alla som vill lämna kommentarer. Det har till och med förekommit diskussioner om att behandla publikationer som organiska dokument som utvecklas över tiden med en rad versioner som ändras för att återspegla ny information och ytterligare kommentarer (Bloom 2006).

Ett antal högt respekterade tidskrifter har börjat experimentera med innovativa peer-review-modeller. British Medical Journal avskaffade blinding i sin peer-review-process redan 1999 (Smith 1999) och många av BioMed Central-tidskrifterna ger öppen tillgång till hela granskningsprotokollet. Under en tremånadersperiod med början i juni 2006 experimenterade Nature med att lägga ut förhandsutskrifter för offentliga kommentarer parallellt med traditionell expertgranskning (Campbell 2006) och Public Library of Science (PLoS) håller på att lansera en ny tidskrift, PLos One, som kommer att publicera artiklar nästan omedelbart med minimal granskning och ge möjlighet till offentliga kommentarer.

Och även om dessa experiment med expertgranskning skapar en betydande mängd diskussioner fortsätter majoriteten av vetenskapliga tidskrifter att använda traditionella metoder för expertgranskning där en utvald grupp experter vars identitet är dold för författaren och allmänheten ger feedback till redaktören som fattar ett slutgiltigt beslut om publicering. Även om det sannolikt kommer att vara en långsam process verkar vi vara på väg in i en era då peer review kommer att utvecklas för att dra större nytta av den flexibilitet som Internet erbjuder. Enligt min åsikt är detta bara en aspekt av en mycket större omvandling av det sekelgamla systemet med vetenskapliga tidskrifter som sker åtminstone delvis på grund av de inneboende skillnaderna mellan distribution på papper och elektronisk distribution och, mer allmänt, den flexibilitet och effektivitet i kommunikationen som Internet erbjuder.

För nästan tretton år sedan skrev Ann Schaffner (1994) en mycket insiktsfull artikel där hon diskuterade framtiden för vetenskapliga tidskrifter. Hon fokuserade på de varierande och komplexa roller som tidskrifter har spelat i vetenskapliga och akademiska samhällen för att försöka förstå den nya teknikens inverkan på dessa tidskrifter. Om man tittar på debatten om hur peer review ska göras (om den ska göras överhuvudtaget) återspeglar argumenten ofta författarens eller talarens fokus på en eller flera specifika funktioner som tidskrifter spelar i forskarsamhällen. Jag tror att vi kan få en mer genomtänkt diskussion om den kollegiala granskningens roll och värdet av de nya formerna för kollegial granskning om vi följer Schaffners exempel och tar hänsyn till tidskrifternas specifika roller i de vetenskapliga gemenskaperna när vi funderar på hur den kollegiala granskningen på bästa sätt kan utnyttja de möjligheter som den elektroniska kommunikationen erbjuder.

Tidskrifternas roller i de vetenskapliga gemenskaperna

Schaffner (1994) har identifierat fem distinkta, om än något överlappande, roller som tidskrifterna spelar i de vetenskapliga gemenskaperna. Som hon påpekar skulle de förmodligen kunna kategoriseras på något annat sätt, men för mig är hennes schema mycket logiskt.

Byggandet av en kollektiv kunskapsbas – Den förmodligen viktigaste rollen som tidskrifter spelar är att bilda vårt kunskapsarkiv. De flesta skulle hålla med om att tidskrifter utgör det mest omfattande, aktuella och auktoritativa arkivet av information inom ett visst vetenskapligt område. Självklart är noggrannheten och kvaliteten på det material som finns i detta arkiv av central betydelse. Peer review är en av de viktigaste mekanismerna för att validera den information som finns i dessa tidskrifter.

Det tar i allmänhet ungefär arton månader för en peer-reviewed artikel att gå från inlämning till publicering. Även om detta till viss del kan minskas genom webbaserad expertgranskning och elektronisk publicering, tar expertgransknings- och revideringsprocessen helt enkelt tid. Dessutom innebär den omsorg och ansträngning som krävs för att ta fram ett publicerbart manuskript att det kan gå månader från det att forskningen genomförs till dess att resultaten ens lämnas in för publicering. Dessutom accepteras manuskript ofta inte första gången de lämnas in till en tidskrift och kan lämnas in på nytt till flera tidskrifter innan de accepteras för publicering. Nettoresultatet är att den information som sprids genom fackgranskade tidskrifter ofta är flera år gammal.

Från vårt kunskapsarkivs perspektiv är hastigheten med vilken arkivet uppdateras, även om det inte är trivialt, mycket mindre viktigt än noggrannhet och materialets kvalitet. Jag tror att de flesta människor skulle hålla med om att få det rätt genom omsorg och ansträngning av peer review och noggrann revidering, copy editing och sättning långt överstiger behovet av snabb publicering när man ser dessa tidskrifter som vårt kunskapsarkiv.

Kommunicera information – Kommunikation mellan forskare som arbetar inom ett visst område låter som att bygga upp ett kunskapsarkiv. Det finns dock viktiga skillnader. Hastighet och interaktivitet är mycket viktigare för denna roll. Samtidigt är peer review mycket mindre viktigt, eftersom experter inom ett område är fullt kapabla att fatta sina egna beslut om värdet och riktigheten av den information som sprids. Vissa har hävdat att utan expertgranskning skulle forskare översvämmas av information (Editorial 2005). Detta verkar inte vara fallet inom fysiken. På den välkända preprintservern arXiv.org deponeras så många som 5 000 preprints varje månad och tiotusentals personer får tillgång till webbplatsen varje dag, och systemet tycks ha fungerat utomordentligt bra – åtminstone på det området – i över femton år.

Tidskrifter spelade troligen en mycket mer central roll för denna typ av kommunikation tidigt i sin historia. Med andra effektivare kommunikationsmedel som finns tillgängliga idag skulle man kunna tro att tidskrifter skulle ha en ganska begränsad roll när det gäller att kommunicera forskningsresultat bland forskare. Det är inte uppenbart att så är fallet. För det första tyder forskningen om informell kommunikation av vetenskaplig och teknisk kunskap på att kommunikationssätten varierar avsevärt mellan olika områden (Faxon Institute 1991). Exempelvis har arkiv för förhandsutskrifter som arXiv.org snabbt anammats av ett antal områden, men används sällan inom andra områden trots samordnade försök av enskilda personer att införa dem. (Detta har varit fallet inom mitt område för pedagogisk forskning.) Forskningen om informell kommunikation bland forskare tyder också på att mycket av det som diskuteras bland forskare visar sig vara tidskriftsartiklar (Schaffner 1994). Även om arkiv för förhandsutskrifter, listservs och trådade diskussioner sannolikt kommer att öka i betydelse för kommunikationen mellan forskare som arbetar inom ett område, tycks tidskrifter helt klart behålla en viktig roll i denna typ av kommunikation.

Validering av forskningens kvalitet – Tidskrifter spelar också en roll när det gäller att upprätthålla samhällets normer för hur forskning och vetenskaplig verksamhet bedrivs. I viss mån sker detta genom att tidskrifter filtrerar vad som publiceras och därmed sprids. Effekterna kan också vara mer subtila. Arbetet av erfarna forskare får sällan hårda recensioner. Det betyder inte att de alltid får sina manuskript publicerade, men de tenderar att ha internaliserat fältets normer och vet hur forskningen eller stipendiet bör bedrivas och beskrivas, och är mycket mindre benägna än nybörjare att bli tillrättavisade av recensenterna.

Det råder inte allmän enighet om att detta är helt och hållet bra. Vissa har hävdat att detta kväver kreativiteten och onödigtvis utsätter nyblivna forskare för hård kritik (Kumashiro 2005).

Distribution av belöningar – Publicering i fackgranskade tidskrifter är ett av de viktigaste sätten att utvärdera forskare. Det är inte bara kvantiteten som är viktig, utan vilka tidskrifter man publicerar sig i är lika viktigt, om inte viktigare. Rötterna till detta går ända tillbaka till bildandet av Philosophical Transactions of the Royal Society of London i mitten av 1600-talet. även om beslut om anställning inte var inblandade, var en viktig funktion för den tidskriften att fastställa vem som förtjänade äran för specifika upptäckter eller teorier. Enligt Guédon (2001) fungerade tidskriften nästan som ett patentkontor för idéer. Genom att publicera i tidskriften kunde vetenskapsmän eller naturfilosofer (som de kallades på den tiden) fastställa äganderätten till sin intellektuella egendom. Konkurrens mellan vetenskapsmän och kontroverser om krediter för upptäckter är fortfarande ett problem i dag, och tidskrifterna fyller fortfarande rollen att dokumentera den intellektuella egendomens faderskap. Denna roll har uppenbarligen utvidgats till ett mer allmänt mått på prestationer, och peer review – rätt eller fel – är en viktig aspekt av denna roll.

Byggande av vetenskapliga gemenskaper – Tidskrifter fungerar också som ett sätt att binda samman en vetenskaplig gemenskap på flera sätt. Ett kännetecken för att en disciplin blir vuxen är att en ny tidskrift upprättas: i huvudsak utstakas det nya ämnesområdets intellektuella territorium. Utöver detta fungerar ledarartiklar, opinionsartiklar och brev till redaktören ofta som ett forum för att debattera frågor inom disciplinen. Ibland handlar det om sakfrågor och ibland om relaterade områden, t.ex. de sociala konsekvenserna av resultat, finansiering eller utbildningsfrågor inom området. Tidskrifter fungerar också ofta som ett forum för nyheter, t.ex. om nya utnämningar till viktiga befattningar eller om en välkänd medlem av forskarsamhället har avlidit. Även om denna roll i viss mån kan vara på väg att minska med de många olika kommunikationsalternativ som finns tillgängliga, fortsätter tidskrifterna att spela en viktig roll för att bilda och upprätthålla vetenskapliga gemenskaper.

Peer Review in Relation to the Roles of Journals

Relevansen av peer review varierar uppenbarligen mellan tidskrifternas olika funktioner. Peer review anses i allmänhet vara avgörande för rollerna att bilda ett kunskapsarkiv och distribuera belöningar. Den spelar också en nyckelroll när det gäller att validera kvaliteten på forskningen inom ett område, men kan också, som Kumashiro påpekar, hämma spridningen av nya idéer och metoder. Peer review är av ringa värde och förmodligen ett hinder för att underlätta kommunikationen mellan forskare inom ett område och är inte relevant för rollen att bygga upp vetenskapliga gemenskaper.

Värdet av peer review bygger på antagandet att det ger ett giltigt mått på kvaliteten på ett manuskript och dess följsamhet till normerna inom området. Dess värde är också knutet till att ge feedback så att ett manuskript kan förbättras genom revidering. Dessa antaganden tas till stor del för givna och ifrågasätts sällan, men deras giltighet kan ifrågasättas.

Jefferson et al. (2002a) genomförde en systematisk genomgång av litteraturen om effekten av peer review i biomedicinska tidskrifter. De fann få kontrollerade studier, och de flesta av dessa var inriktade på specifika redaktionella metoder, t.ex. blindning eller användning av checklistor i granskningsprocessen. I en ytterligare genomgång (2002b) identifierade författarna tio studier som undersökte förhållandet mellan expertgranskning och artiklarnas kvalitet. Endast en av dem jämförde peer-reviewed artiklar med icke-peer-reviewed artiklar, och den hade en svag studiedesign. Resten jämförde olika metoder för expertgranskning eller förändringen i kvalitet före och efter revidering baserad på expertgranskning. I varje artikel användes expertbedömningar baserade på en annan bedömningsskala. Inget av bedömningsinstrumenten verkade ha bedömts med avseende på psykometrisk kvalitet. Jefferson et al:s övergripande slutsats är att det finns mycket få vetenskapligt välgrundade bevis som stöder värdet av expertgranskning för att säkerställa kvaliteten på manuskript – åtminstone inom de biomedicinska vetenskaperna.

Det finns också vissa bevis för att kollegial granskning inte nödvändigtvis är framgångsrik när det gäller att identifiera metodologiska brister i forskningsartiklar. Baxt et al. (1998) skickade granskare ett fiktivt manuskript med tydliga design- och analysfel som omöjliggjorde att resultaten stödde slutsatserna i den studie som beskrevs. Det angavs till exempel att det fanns en slumpmässig fördelning av behandlings- och kontrollgrupper, men förfarandet var uppenbarligen inte slumpmässigt. De 203 akutläkare som deltog i studien var erfarna granskare för Annals of Emergency Medicine, en välrenommerad tidskrift inom området. I genomsnitt identifierade granskarna endast 34 % av de allvarliga bristerna i manuskriptet, och 41 % av granskarna angav att manuskriptet borde godkännas för publicering. Det finns också en mängd studier som visar på den höga andelen metodologiska fel i publicerad medicinsk forskning (Pocock, Hughes, & Lee 1987; Gotzche 1989). Altman (2002) skyller detta på en rad olika orsaker, bland annat bristen på expertis inom statistik och forskningsdesign bland granskare. Även om dessa exempel kommer från de biomedicinska vetenskaperna skulle man kunna tro, för att inte säga hoppas, att de mest sunda forskningsmetoderna skulle användas inom ett så kritiskt område. Enligt min erfarenhet som samhällsvetare är metodologiska fel vanliga även i samhällsvetenskapliga tidskrifter.

Effektiv användning av expertgranskning

Intyder bristen på bevis som bekräftar expertgranskningens effektivitet och det faktum att felaktig forskning ofta publiceras i rigoröst expertgranskade tidskrifter att expertgranskning saknar värde? Jag tror inte det. Det på många sätt peer review är en parallell till vårt jurysystem: även om det är bristfälligt är det det bästa vi har (Jefferson 2006). Min uppskattning av processen har ökat under de elva år som jag har varit redaktör för Medical Education Online (MEO), en öppen, peer-granskad tidskrift för medicinsk utbildning. Värdet av peer review är inte så mycket ett sätt att filtrera bort dåliga manuskript (även om det är bra att ha stöd från flera granskare när man står inför en ilsken författare); I stället är peer review värdefullt som ett sätt att höja kvaliteten på det som publiceras. Jag är ständigt förvånad över den tid, ansträngning och tankeverksamhet som många granskare lägger ner på granskningsprocessen. Resultatet är oftast utmärkt konstruktiv feedback som de flesta författare välkomnar och använder för att förbättra sina manuskript.

Ett annat faktum som ibland förbises är att medan enskilda granskare ofta missar specifika problem i ett manuskript, fångar en annan granskare ofta problemet. Ju fler granskare som utvärderar ett manuskript, desto större är sannolikheten att fel upptäcks och problem identifieras. Genom att använda Internet för att genomföra granskningar minskar kostnaderna och ansträngningarna dramatiskt i samband med expertgranskning och gör det möjligt att inkludera ett större antal granskare per manuskript. Vårt mål vid MEO är att ha fyra till sex konsulter som granskar varje manuskript, och om de är fler är det ännu bättre. Genom att använda en ganska öppen process för att välja ut granskare har vi funnit det lätt att uppnå detta mål. Vi har för närvarande cirka trehundra granskare som frivilligt har anmält sig för att granska manuskript och vi har funnit det relativt enkelt att utöka vår granskningspool vid behov.

För att peer review ska fungera effektivt är redaktörens roll avgörande. Även om de flesta granskningar ger värdefull återkoppling finns det en stor variation mellan granskarna i de frågor som tas upp, och återkopplingen är ibland motsägelsefull (och ibland helt enkelt fel). Någon måste göra de olika granskningarna begripliga och ge en sammanfattning av feedbacken, och om manuskriptet behöver revideras innan det publiceras måste författaren få tydliga anvisningar. Det är inte så att redaktören nödvändigtvis är klokare eller mindre benägen att ha fördomar än de enskilda granskarna, det är bara det att någon måste ta ansvar så att återkopplingen och anvisningarna till författaren blir sammanhängande. Annars driver det författarna till vansinne.

I MEO ger granskningsredaktören ett återkopplingsbrev med publiceringsbeslutet, en sammanfattning av återkopplingen och, om det är lämpligt, en sammanhängande uppsättning frågor som måste åtgärdas före publicering. Dessutom skickar vi tillbaka både kommentarer och betyg från alla granskare, med undantag för kommentarer som granskaren specificerat endast för redaktören. Jag tror att författarna uppskattar att få all feedback samt en tydlig uppsättning riktlinjer från redaktören för att revidera sina manuskript. Vi skickar också karbonkopior av den feedback som skickas till författaren till varje granskare. Min erfarenhet är att granskarna nästan alla uppskattar att både få veta hur ett manuskript slutligen behandlas och se vad de andra granskarna hade att säga om det.

Innovationer inom peer review

Som nämnts har flexibiliteten och effektiviteten i kommunikationen via Internet gjort det möjligt att experimentera med en rad olika modeller för peer review. Den innovation som har diskuterats mest i litteraturen är att göra peer review-processen mer transparent. Traditionellt sett hålls de sakkunnigas identiteter hemliga, och i många fall maskeras manuskript för att ta bort all identifierande information om författarna och deras institutioner. På den mest grundläggande nivån har en öppen expertgranskning bestått i att man offentliggör granskarens identitet eller gör författarnas identitet känd för granskarna, eller båda, under granskningen. Detta är naturligtvis inte beroende av elektronisk publicering; granskning och debatt om att hålla granskares identitet konfidentiell går tillbaka långt innan Internet blev allmänt tillgängligt. Denna fråga har varit ganska väl utforskad (Goldbeck-Wood 1999). Bevisen tyder på att anonymitet har liten inverkan på granskningens kvalitet eller acceptansgraden, men att avslöja granskarens identitet kan minska sannolikheten för att någon frivilligt kommer att anmäla sig som granskare (van Rooyen et al. 1999).

Trots bevisen för att öppnandet av peer-review-processen för offentlig granskning inte tycks påverka kvaliteten på ett eller annat sätt, har debatten fortsatt, främst med fokus på de sidoeffekter som avslöjandet av granskares identitet har. Förespråkarna har hävdat att det är etiskt överlägset att öppna granskningsprocessen och att det har liten eller ingen inverkan på processen, och att det i själva verket kan uppmuntra till mer civilkurage i granskningsprocessen (Godlee 2002; Morrison 2006). De största farhågorna om öppen expertgranskning är inriktade på införandet av personliga fördomar och risken för vedergällning i vad som tenderar att vara en mycket liten värld inom specifika områden. Det finns en särskild oro för konsekvenserna för unga forskare, som är särskilt sårbara. I en nyligen genomförd undersökning av både författare och granskare för Medical Education, en mycket läst tidskrift inom området, stödde de svarande starkt att både författare och granskare skulle vara blinda (Regehr och Bordage 2006). Det finns inget tydligt samförstånd om huruvida manuskript bör vara blindade, och argumenten från båda sidor verkar övertygande.

Och även om öppnandet av peer-review-processen inte är beroende av Internet kan Internet underlätta ännu mer öppna granskningsprocesser. Många av BioMed Centrals medicinska tidskrifter använder en helt öppen granskningsprocess där inte bara granskarnas och författarnas identiteter är offentliga, utan hela granskningsprotokollet, inklusive all feedback från granskare och efterföljande iterationer av korrespondens i revideringsprocessen, görs offentligt tillgängligt tillsammans med det publicerade manuskriptet. Fullständigt offentliggörande av granskningsprotokollet skulle förmodligen inte vara genomförbart med en papperstidskrift av logistiska skäl.

En nyare innovation som är beroende av Internet har varit att öppna granskningsprocessen för alla som vill kommentera en artikel. Som nämnts har Nature nyligen infört en öppen granskningsprocess på försöksbasis parallellt med sin normala granskningsprocess, och Public Library of Science kommer att införa PLoS One, en ny tidskrift som kommer att använda sig av en tvåstegsprocess där en enda akademisk redaktör gör en första genomgång som följs av ett system för offentliga kommentarer och diskussioner.

Det återstår att se hur framgångsrika dessa offentliga granskningssystem kommer att bli. Det finns ett antal mindre välkända specialtidskrifter som har infört granskningssystem baserade på offentliga kommentarer. Electronic Transactions on Artificial Intelligence (ETAI) tillhandahåller ett hybridsystem för peer review (Sandewall 2006). Manuskript som passar tidskriftens tillämpningsområde läggs omedelbart ut för offentliga kommentarer i tre månader, och om diskussionen fortsätter kan perioden förlängas. Efter diskussionsperioden får författarna möjlighet att revidera sina manuskript utifrån feedbacken, och därefter skickas manuskriptet ut för extern blindgranskning. Granskarna ger dock bara ett beslut om publicering/avslag utan kommentarer, eftersom manuskriptet redan har fått omfattande kommentarer från allmänheten. Om artiklarna accepteras publiceras de vanligtvis inom en månad.

Atmospheric Chemistry and Physics använder ett tillvägagångssätt i två steg som inkluderar kommentarer från allmänheten (Koop och Poschl 2006). Efter en förhandsgranskning publiceras manuskript som ”diskussionspapper” för offentliga kommentarer under en period på åtta veckor. Dessutom publicerar utsedda granskare sina undertecknade kommentarer tillsammans med oönskade kommentarer från andra läsare. Författarna har också möjlighet att svara på kommentarerna. I ett andra skede granskas manuskripten med hjälp av traditionella granskningsförfaranden. Godkända artiklar publiceras i huvudtidskriften. Alla diskussionsartiklar och kommentarer bevaras också permanent på webbplatsen.

Dessa innovativa system som kombinerar offentliga kommentarer med olika former av mer traditionell granskning är spännande och har verkliga förtjänster. De har potential att göra ett betydligt bättre jobb när det gäller att balansera de olika roller som tidskrifter spelar i vetenskapliga och akademiska samhällen. Snabb första publicering av manuskript med mekanismer för offentliga kommentarer och diskussioner underlättar kommunikationen mellan forskare. Samtidigt ger användningen av dessa offentliga kommentarer tillsammans med en mer traditionell expertgranskning före den slutliga publiceringen samma eller kanske till och med en högre nivå av kvalitetskontroll som traditionell expertgranskning. Processen att offentligt diskutera artiklar passar också väl in i rollen som främjare av vetenskapliga gemenskaper och spridare och upprätthållare av standarder för att bedriva forskning och vetenskaplig verksamhet.

Med tiden kommer vi att få se om dessa nya tillvägagångssätt för den sekelgamla peer-review-processen tillför ett verkligt värde. Denna nya era av elektronisk publicering befinner sig fortfarande i sin linda och vi har mycket att lära oss om hur man bäst utnyttjar de nya medierna och kommunikationsverktygen. Det faktum att vårt system för vetenskaplig publicering i stort sett förblev intakt med endast blygsamma förändringar i över 340 år genom enorma framsteg inom vetenskap och teknik är ett bevis på hur väl det har fungerat. Vår utmaning under det kommande decenniet kommer att vara att anpassa systemet till detta nya och mycket annorlunda medium, genom att bibehålla de komponenter som fortsätter att fungera bra och hitta sätt att införliva innovativa metoder för kommunikation och utvärdering som bygger på de möjligheter som elektronisk publicering ger.

David Solomon är en pedagogisk psykolog som har arbetat med medicinsk utbildning i nitton år. Han är för närvarande biträdande professor vid institutionen för medicin och Office of Educational Research and Development vid College of Human Medicine vid Michigan State University. Hans forskning har huvudsakligen varit inriktad på prestationsbedömning, val av specialitet och distansutbildning. År 1996 startade han en elektronisk tidskrift, Medical Education Online, som har vuxit till att bli en väletablerad tidskrift inom området. Hans andra stora intresse är att främja publicering med öppen tillgång. Han kan nås på [email protected].

Altman, D. G. 2002 Medicinsk forskning av dålig kvalitet: Vad kan tidskrifterna göra? JAMA 287;21:2765-2767.

Baxt, W. G., J. F. Waeckerle, J. Berlin och M. L. Callahm. 1989. Vem granskar granskarna? Feasibility of using fictive manuscript to evaluate peer reviewer performance. Annals of Emergency Medicine 32:310-317.

Bloom, T. 2006. Systems: Online frontiers of the peer-reviewed literature. I Nature. http://www.nature.com/nature/peerreview/debate/index.html.

Campbell, P. 2006. Nature Peer Review Trial and Debate. I Nature. http://www.nature.com/nature/peerreview/index.html.

Chang, A. 2006. Online journals challenge scientific peer review. Hämtad den 19 november 2006 från http://www.mercurynews.com/mld/mercurynews/news/breaking_news/15655422.htm.

Debatt. 2006. ”Peer Review” I Nature. http://www.nature.com/nature/peerreview/debate/index.html

Editorial. 2005. ”Revolutionerade peer review?”. Nature Neuroscience 8; 4:397.

Faxon Institute. 1991. An Examination of Work-related Information Acquisition and Usage among Scientific, Medical and Technical Fields Westwood, Mass. Faxon Company.

Godlee, F. 2002. Att synliggöra granskare. Öppenhet, ansvarsskyldighet och kredit. JAMA287; 21:2762-2765.

Goldbeck-Wood, S. 1999. Bevis om peer review: vetenskaplig kvalitetskontroll eller rökridå? BMJ 318:44-45 (2 januari). http://www.bmj.com/cgi/reprint/318/7175/44.

Gotzxche, P. C. 1989. Methodology and overt and hidden bias in reports of 196 double-blinded trials of non-steroidal anti-inflammatory drugs in rheumatoid arthritis. Controlled Clinical Trials, 10:3159.

Guédon, J. 2001. I Oldenburgs långa skugga: Bibliotekarier, forskare, förläggare och kontrollen av vetenskaplig publicering. Presentation vid mötet i maj 2001 i Association of Research Libraries (ARL), på http://www.arl.org/arl/proceedings/138/guedon.html.

Jefferson, T., P. Alderson, E. Wager och F. Davidoff. 2002a. Effekter av redaktionell peer review. JAMA 5 juni 287; 21:2784-2786.

Jefferson, T, E. Wager och F. Davidoff. 2002b. Mätning av kvaliteten på redaktionell expertgranskning. JAMA June 5, 287; 21:2786-2790.

Jefferson, T. 2006. Kvalitet och värde: Modeller för kvalitetskontroll av vetenskaplig forskning. I Nature . http://www.nature.com/nature/peerreview/debate/nature05031.html.

Koop T. och U. Pöschl. 2006. En öppen tidskrift med peer-review i två steg. I Nature . http://www.nature.com/nature/peerreview/debate/nature04988.html.

Kumashiro, K. K. 2005. Att tänka i samarbete om peer-review-processen för publicering av tidskriftsartiklar. Harvard Educational Review 75; 3:257-287.

Pocock, S. J., M. D. Hughes och R. J. Lee. 1987. Statistiska problem vid rapportering av kliniska prövningar. En undersökning av tre medicinska tidskrifter. New England Journal of Medicine 317:426-432.

Regehr, G. och G. Bordage. 2006. Att blinda eller inte blinda? Vad författare och granskare föredrar. Medical Education 40:832-839.

Schafner, A. C. 1994. De vetenskapliga tidskrifternas framtid: Lärdomar från det förflutna. Information Technology and Libraries 13:239-47.

Sandewall, E. 2006. Ett hybridsystem för expertgranskning. I Nature. http://www.nature.com/nature/peerreview/debate/nature04994.html.

Smith, R. 1999 Opening up BMJ peer review. BMJ 1318:4-5 (2 januari). http://www.bmj.com/cgi/content/full/318/7175/4.

Van Rooyen S., F. Godlee, S. Evans, N. Black och R. Smith. 1999. Effekten av öppen peer review på kvaliteten på recensioner och på granskares rekommendationer: en randomiserad studie. BMJ 318:23-27 (2 januari). http://www.bmj.com/cgi/reprint/318/7175/23.

NOTER

1. För exempel se Open Journal Systems http://pkp.sfu.ca/?q=ojs.

2. Se http://arxiv.org/todays_stats.