Abstract

Denne artikel diskuterer de seneste innovationer i den måde, hvorpå peer review gennemføres i lyset af de forskellige funktioner, som tidsskrifter udfylder i videnskabelige fællesskaber.

Skolastiske tidsskrifter har eksisteret i over 340 år. Mens peer review var mindre udbredt blandt de tidlige tidsskrifter, gennemfører flertallet af videnskabelige og videnskabelige tidsskrifter i dag et vist niveau af peer review. På trods af dens lange historie og faste etablering i videnskabelige samfund er peer review i stigende grad blevet undersøgt af forskere (Debate 2006) og selv i lægmandspressen (Chang 2006). Debatten synes i høj grad at være drevet af den stigende betydning af den elektroniske formidling og brugen af internettet i forbindelse med peer review. Internettet har ikke blot reduceret omkostningerne og indsatsen i forbindelse med peer review gennem stærkt automatiserede webbaserede forvaltningssystemer, men har også givet en stor fleksibilitet med hensyn til, hvordan peer review kan gennemføres.

Mange forfattere har været fortalere for forskellige former for “åben” peer review. I en vis udstrækning har disse opfordringer til forandring fokuseret på at fjerne traditionen med at blænde bedømmernes identitet. Andre har været fortalere for at gøre hele peer review-protokollen offentlig eller åbne review-processen for alle, der ønsker at komme med kommentarer. Der har endda været diskussioner om at behandle publikationer som organiske dokumenter, der udvikler sig over tid med en række versioner, der ændres for at afspejle nye oplysninger og yderligere kommentarer (Bloom 2006).

En række højt respekterede tidsskrifter er begyndt at eksperimentere med innovative peer-review-modeller. British Medical Journal afskaffede allerede i 1999 blinding i deres peer-review-proces (Smith 1999), og mange af BioMed Central-tidsskrifterne giver åben adgang til den komplette gennemgangsprotokol. I en periode på tre måneder fra juni 2006 eksperimenterede Nature med at offentliggøre præudskrifter til offentlig kommentering parallelt med traditionel peer review (Campbell 2006), og Public Library of Science (PLoS) er i færd med at lancere et nyt tidsskrift, PLos One, som vil offentliggøre artikler næsten øjeblikkeligt med minimal screening og give mulighed for offentlig kommentering.

Selv om disse eksperimenter med peer review skaber en betydelig mængde diskussion, anvender flertallet af videnskabelige tidsskrifter fortsat traditionelle metoder til peer review, hvor en udvalgt gruppe af eksperter, hvis identitet er blændet for forfatteren og offentligheden, giver feedback til redaktøren, som træffer den endelige beslutning om offentliggørelse. Selv om det sandsynligvis vil være en langsom proces, ser det ud til, at vi er på vej ind i en æra, hvor peer review vil udvikle sig for at drage større fordel af den fleksibilitet, som internettet tilbyder. Efter min mening er dette kun et aspekt af en langt større omdannelse af det århundredgamle system af videnskabelige tidsskrifter, som i det mindste delvist sker på grund af de iboende forskelle mellem distribution på papir og elektronisk distribution og mere generelt den fleksibilitet og effektivitet i kommunikationen, som internettet tilbyder.

For næsten tretten år siden skrev Ann Schaffner (1994) en meget indsigtsfuld artikel, der diskuterede fremtiden for videnskabelige tidsskrifter. Hun fokuserede på de varierede og komplekse roller, som tidsskrifter har spillet i videnskabelige og akademiske samfund i forsøget på at forstå den nye teknologis indvirkning på disse tidsskrifter. Hvis man ser på debatten om, hvordan peer review skal foregå (hvis det overhovedet skal foregå), afspejler argumenterne ofte forfatterens eller talerens fokus på en specifik funktion eller funktioner, som tidsskrifter spiller i videnskabelige samfund. Det er min overbevisning, at vi kan få en mere gennemtænkt diskussion om peer review’s rolle og værdien af de nye former for peer review, hvis vi følger Schaffners eksempel og overvejer tidsskrifternes specifikke roller i videnskabelige fællesskaber, når vi overvejer, hvordan peer review-processen bedst muligt kan udnytte de muligheder, som den elektroniske kommunikation tilbyder.

The Roles of Journals in Scholarly Communities

Schaffner (1994) identificerede fem forskellige, om end noget overlappende, roller, som tidsskrifter spiller i videnskabelige fællesskaber. Som hun bemærker, kunne de sandsynligvis kategoriseres noget anderledes, men for mig giver hendes skema meget god mening.

Bygning af en kollektiv vidensbase – Den vigtigste rolle, som tidsskrifter spiller, er sandsynligvis at danne vores arkiv af viden. De fleste mennesker vil være enige i, at tidsskrifter udgør det mest omfattende, ajourførte og autoritative arkiv af information inden for et givet videnskabeligt område. Det er indlysende, at nøjagtigheden og kvaliteten af det materiale, der er indeholdt i dette arkiv, er af central betydning. Peer review er en af de vigtigste mekanismer til validering af de oplysninger, der findes i disse tidsskrifter.

Det tager generelt omkring atten måneder for en peer-reviewed artikel at gå fra indsendelse til offentliggørelse. Selv om dette til en vis grad kan reduceres ved hjælp af webbaseret peer review og elektronisk offentliggørelse, tager peer review- og revisionsprocessen bare tid. Den omhyggelighed og indsats, det kræver at udarbejde et manuskript, der kan offentliggøres, betyder også, at der kan gå måneder fra det tidspunkt, hvor forskningen gennemføres, til resultaterne overhovedet indsendes til offentliggørelse. Desuden bliver manuskripter ofte ikke accepteret første gang, de indsendes til et tidsskrift, og de skal måske indsendes igen til flere tidsskrifter, før de bliver accepteret til offentliggørelse. Nettoresultatet er, at de oplysninger, der formidles gennem peer-reviewed tidsskrifter, ofte er flere år gamle.

Fra vores vidensarkivs perspektiv er den hastighed, hvormed arkivet opdateres, ganske vist ikke uvæsentlig, men langt mindre vigtig end nøjagtigheden og kvaliteten af materialet. Jeg tror, at de fleste mennesker vil være enige i, at det at få det rigtige gennem den omhu og indsats, der ligger i peer review og omhyggelig revision, copy editing og typografi, langt opvejer behovet for hurtig offentliggørelse, når man betragter disse tidsskrifter som vores vidensarkiv.

Kommunikation af information – Kommunikation mellem forskere, der arbejder inden for et bestemt område, lyder som opbygning af et vidensakvarium. Der er imidlertid vigtige forskelle. Hastighed og interaktivitet er meget vigtigere for denne rolle. Samtidig er peer review langt mindre vigtigt, da eksperter inden for et område er fuldt ud i stand til at træffe deres egne beslutninger om værdien og nøjagtigheden af de oplysninger, der formidles. Nogle har hævdet, at uden peer review ville forskere blive oversvømmet med information (Editorial 2005). Dette synes ikke at være tilfældet inden for fysik. På den velkendte preprint-server arXiv.org deponeres der op til 5.000 preprints hver måned, og titusinder af mennesker får adgang til webstedet hver dag, og systemet synes at have fungeret særdeles godt – i det mindste på dette område – i over femten år.

Journaler spillede sandsynligvis en langt mere central rolle i denne type kommunikation tidligt i deres historie. Med andre mere effektive kommunikationsmidler til rådighed i dag skulle man tro, at tidsskrifter ville have en ret begrænset rolle i formidlingen af forskningsresultater blandt forskere. Det er ikke klart, at det er tilfældet. For det første tyder forskningen i uformel kommunikation af videnskabelig og teknisk viden på, at kommunikationsformerne varierer betydeligt fra område til område (Faxon Institute 1991). F.eks. blev preprint-arkiver som arXiv.org hurtigt taget til sig af en række områder, men anvendes sjældent på andre områder på trods af individuelle forsøg på at indføre dem. (Dette har været tilfældet inden for mit område for uddannelsesforskning.) Forskningen om uformel kommunikation blandt forskere tyder også på, at meget af det, der diskuteres blandt forskere, viser sig at være tidsskriftartikler (Schaffner 1994). Selv om arkiver med præprint, listservs og trådede diskussioner sandsynligvis vil få stadig større betydning for kommunikationen mellem forskere, der arbejder inden for et område, synes tidsskrifter helt klart at bevare en væsentlig rolle i denne type kommunikation.

Validering af forskningens kvalitet – Tidsskrifter spiller også en rolle med hensyn til at opretholde samfundets standarder for, hvordan forskning og videnskabeligt arbejde udføres. Dette sker til en vis grad, da tidsskrifterne filtrerer det, der offentliggøres og dermed spredes. Virkningerne kan også være mere subtile. Det er sjældent, at erfarne forskere får hårde anmeldelser af deres arbejde. Det betyder ikke, at de altid får deres manuskripter offentliggjort, men de har som regel internaliseret feltets normer og ved, hvordan forskning eller videnskab bør udføres og beskrives, og de er langt mindre tilbøjelige end nybegyndere til at blive irettesat af anmelderne.

Der er ikke universel enighed om, at dette er helt og holdent en god ting. Nogle har hævdet, at dette kvæler kreativiteten og unødigt udsætter nybegyndere for hård kritik (Kumashiro 2005).

Distribution af belønninger – Offentliggørelse i peer-reviewede tidsskrifter er en af de vigtigste måder, hvorpå forskere bliver evalueret. Ikke kun kvantiteten er vigtig, men det er lige så vigtigt, hvis ikke vigtigere, hvilke tidsskrifter man publicerer i. Rødderne til dette går helt tilbage til dannelsen af Philosophical Transactions of the Royal Society of London i midten af det 17. århundrede, og selv om der ikke blev truffet beslutninger om ansættelse, var det en vigtig funktion for dette tidsskrift at fastslå, hvem der fortjente anerkendelse for specifikke resultater eller teorier. Ifølge Guédon (2001) fungerede tidsskriftet næsten som et patentkontor for idéer. Ved at publicere i tidsskriftet kunne videnskabsmænd eller naturfilosoffer (som de blev kaldt på den tid) fastslå ejerskabet til deres intellektuelle ejendom. Konkurrence mellem videnskabsmænd og kontroverser om æren for opdagelser er stadig et problem den dag i dag, og tidsskrifterne udfylder stadig rollen som dokumentation for faderskabet til intellektuel ejendom. Denne rolle er tydeligvis blevet udvidet som en mere generel målestok for præstationer, og peer review – med ret eller urette – er et vigtigt aspekt af denne rolle.

Bygning af videnskabelige fællesskaber – Tidsskrifter fungerer også som et middel til at binde et videnskabeligt fællesskab sammen på en række måder. Et kendetegn for en disciplins opvækst er etableringen af et nyt tidsskrift: det er i det væsentlige en afgrænsning af det nye områdes intellektuelle territorium. Derudover tjener lederartikler, opinionsartikler og læserbreve ofte som et forum til at debattere spørgsmål inden for faget. Nogle gange er de indholdsmæssige, og andre gange omfatter de beslægtede områder som f.eks. de sociale konsekvenser af resultater, finansiering eller uddannelsesproblemer inden for området. Tidsskrifter tjener også ofte som et forum for nyheder, f.eks. nye udnævnelser til vigtige stillinger eller et kendt medlem af det videnskabelige samfund, der er gået bort. Selv om denne rolle måske til en vis grad er aftagende med de mange forskellige kommunikationsmuligheder, der er til rådighed, spiller tidsskrifter fortsat en vigtig rolle i dannelsen og opretholdelsen af videnskabelige fællesskaber.

Peer Review i forhold til tidsskrifternes roller

Relevansen af peer review varierer tydeligvis mellem tidsskrifternes forskellige funktioner. Peer review anses generelt for at være afgørende for de roller, der består i at danne et arkiv af viden og uddele belønninger. Den spiller også en central rolle i valideringen af kvaliteten af forskningen inden for et område, men kan, som Kumashiro bemærker, også hæmme udbredelsen af nye idéer og metoder. Peer review er af ringe værdi og sandsynligvis en hindring for at lette kommunikationen mellem forskere inden for et felt og er ikke relevant for rollen med at opbygge videnskabelige fællesskaber.

Værdien af peer review er baseret på den antagelse, at det giver et gyldigt mål for kvaliteten af et manuskript og dets overholdelse af feltets normer. Dens værdi er også knyttet til at give feedback, således at et manuskript kan forbedres gennem revision. Disse antagelser tages stort set for givet og udfordres sjældent, men der kan sættes spørgsmålstegn ved deres gyldighed.

Jefferson et al. (2002a) foretog en systematisk gennemgang af litteraturen om effekten af peer review i biomedicinske tidsskrifter. De fandt kun få kontrollerede undersøgelser, og de fleste af disse var fokuseret på specifikke redaktionelle praksisser som f.eks. blinding eller brug af tjeklister i gennemgangsprocessen. I en yderligere gennemgang (2002b) identificerede forfatterne ti undersøgelser, der undersøgte forholdet mellem peer review og artiklernes kvalitet. Kun en enkelt sammenlignede peer-reviewede artikler med ikke-peer-reviewede artikler, og den havde et svagt undersøgelsesdesign. Resten sammenlignede forskellige metoder til peer review eller ændringen i kvaliteten før og efter revision baseret på peer review. Hver artikel anvendte ekspertvurderinger baseret på en forskellig vurderingsskala. Ingen af vurderingsinstrumenterne syntes at være blevet vurderet med hensyn til psykometrisk kvalitet. Jefferson et al.’s overordnede konklusion er, at der er meget lidt videnskabeligt solidt bevis for værdien af peer review til at sikre kvaliteten af manuskripter – i det mindste inden for biomedicinsk videnskab.

Der er også visse beviser for, at peer review ikke nødvendigvis er vellykket til at identificere metodologiske fejl i forskningsartikler. Baxt et al. (1998) sendte reviewere et fiktivt manuskript med klare design- og analysefejl, som udelukkede, at resultaterne understøttede konklusionerne af den beskrevne undersøgelse. Det blev f.eks. anført, at der var tilfældig tildeling til behandlings- og kontrolgrupper, men proceduren var tydeligvis ikke tilfældig. De 203 akutlæger, der deltog i undersøgelsen, var erfarne bedømmere for Annals of Emergency Medicine, et velrenommeret tidsskrift inden for området. I gennemsnit identificerede anmelderne kun 34 % af de fatale fejl i manuskriptet, og 41 % af anmelderne angav, at manuskriptet burde accepteres til offentliggørelse. Der findes også et væld af undersøgelser, der viser den høje frekvens af metodologiske fejl i offentliggjort medicinsk forskning (Pocock, Hughes, & Lee 1987; Gotzche 1989). Altman (2002) giver en række årsager hertil skylden, herunder manglende ekspertise inden for statistik og forskningsdesign blandt bedømmere. Selv om disse eksempler stammer fra de biomedicinske videnskaber, skulle man tro, for ikke at sige håbe, at de mest solide forskningsmetoder ville blive anvendt på et så kritisk område. Ud fra min erfaring som samfundsvidenskabsmand er metodologiske fejl også almindelige i samfundsvidenskabelige tidsskrifter.

Effektiv brug af peer review

Foreslår manglen på beviser, der validerer effektiviteten af peer review, og det faktum, at mangelfuld forskning ofte offentliggøres i stringent peer-reviewede tidsskrifter, at peer review mangler værdi? Det mener jeg ikke. Det er på mange måder peer review parallelt med vores jurysystem: selv om det er mangelfuldt, er det det bedste, vi har (Jefferson 2006). Min påskønnelse af processen er vokset i løbet af de elleve år, jeg har været redaktør af Medical Education Online (MEO), et peer-reviewed tidsskrift med åben adgang inden for medicinsk uddannelse. Værdien af peer review er ikke så meget som et middel til at filtrere dårlige manuskripter (selv om det er nyttigt at have opbakning fra flere reviewere, når man står over for en vred forfatter); I stedet er peer review værdifuldt som et middel til at forbedre kvaliteten af det, der offentliggøres. Jeg er til stadighed forbløffet over den tid, den indsats og de tanker, som mange bedømmere lægger i bedømmelsesprocessen. Resultatet er oftest en fremragende konstruktiv feedback, som de fleste forfattere hilser velkommen og bruger til at forbedre deres manuskripter.

En anden kendsgerning, som nogle gange overses, er, at mens enkelte anmeldere ofte overser specifikke problemer i et manuskript, opdager en anden anmelder ofte problemet. Jo flere bedømmere, der vurderer et manuskript, jo større er sandsynligheden for, at fejl bliver opdaget og problemer identificeret. Ved at bruge internettet til at foretage bedømmelser reduceres omkostningerne og indsatsen i forbindelse med peer review dramatisk, og det er muligt at inddrage et større antal bedømmere pr. manuskript. Vores mål hos MEO er at få fire til seks konsulenter til at gennemgå hvert manuskript, og hvis der er flere, er det endnu bedre. Ved at anvende en forholdsvis åben proces til udvælgelse af bedømmere har vi fundet det let at nå dette mål. Vi har på nuværende tidspunkt ca. tre hundrede bedømmere, som har meldt sig frivilligt til at gennemgå manuskripter, og vi har fundet det forholdsvis let at udvide vores bedømmelsespulje efter behov.

For at peer review kan fungere effektivt, er redaktørens rolle af afgørende betydning. Selv om de fleste anmeldelser giver værdifuld feedback, er der stor variation på tværs af anmelderne i de spørgsmål, der behandles, og feedback er lejlighedsvis modstridende (og en gang imellem er den ganske enkelt forkert). Nogen skal skabe mening ud af de forskellige anmeldelser og give et sammenhængende resumé af feedbacken, og hvis manuskriptet skal revideres inden offentliggørelse, skal der gives et klart sæt anvisninger til forfatteren. Det er ikke sådan, at redaktøren nødvendigvis er klogere eller mindre tilbøjelig til at være forudindtaget end de enkelte anmeldere, men der er bare nogen, der skal tage ansvaret, så feedback og anvisninger til forfatteren er sammenhængende. Ellers driver det forfatterne til vanvid.

På MEO giver reviewredaktøren et feedbackbrev med beslutningen om offentliggørelse, et resumé af feedback og, hvis det er relevant, et sammenhængende sæt af spørgsmål, der skal løses inden offentliggørelse. Desuden sender vi både kommentarer og bedømmelser fra alle anmelderne tilbage, med undtagelse af kommentarer, som anmelderen kun har angivet til redaktøren. Jeg tror, at forfatterne sætter pris på at få al feedback samt et klart sæt retningslinjer fra redaktøren til at revidere deres manuskripter. Vi sender også karbonkopier af den feedback, der er sendt til forfatteren, til hver enkelt anmelder. Det er min erfaring, at de, der anmelder et manuskript, næsten alle sætter pris på både at få at vide, hvordan et manuskript ender med at blive behandlet, og at se, hvad de andre anmeldere havde at sige om det.

Innovationer inden for peer review

Som nævnt har fleksibiliteten og effektiviteten i kommunikationen via internettet gjort det muligt at eksperimentere med en række forskellige modeller for peer review. Den ene innovation, der er blevet diskuteret mest i litteraturen, er at gøre peer-review-processen mere gennemsigtig. Traditionelt holdes peer review-medlemmernes identitet fortrolig, og i mange tilfælde maskeres manuskripterne for at fjerne alle identificerende oplysninger om forfatterne og deres institutioner. På det mest grundlæggende niveau har åben peer review bestået i at offentliggøre bedømmernes identitet eller at gøre forfatternes identitet kendt for bedømmerne, eller begge dele, under bedømmelsen. Dette er naturligvis ikke afhængig af elektronisk offentliggørelse; gennemgang og debat om at holde bedømmernes identitet fortrolig går langt tilbage, før internettet blev almindeligt tilgængeligt. Dette spørgsmål er blevet ret godt undersøgt (Goldbeck-Wood 1999). Det tyder på, at anonymitet kun har ringe indflydelse på kvaliteten af anmeldelsen eller godkendelsesprocenten, men hvis anmeldernes identitet afsløres, kan det mindske sandsynligheden for, at nogen frivilligt melder sig til at anmelde (van Rooyen et al. 1999).

På trods af beviserne for, at det ikke synes at påvirke kvaliteten på den ene eller den anden måde at åbne peer-review-processen for offentlig kontrol, er debatten fortsat, hovedsagelig med fokus på de supplerende virkninger af at afsløre anmeldernes identitet. Fortalere har hævdet, at det er etisk overlegent at åbne bedømmelsesprocessen, at det har ringe eller ingen indvirkning på processen, og at det faktisk kan fremme en mere civiliseret bedømmelse af bedømmelsesprocessen (Godlee 2002; Morrison 2006). De største betænkeligheder ved åben peer review fokuserer på indførelsen af personlige fordomme og muligheden for gengældelse i det, der har en tendens til at være en meget lille verden inden for specifikke områder. Der er en særlig bekymring over virkningen for unge forskere, som er særligt sårbare. I en nylig undersøgelse af både forfattere og bedømmere for Medical Education, et meget læst tidsskrift inden for området, gik de adspurgte stærkt ind for, at både forfattere og bedømmere skulle være blinde (Regehr og Bordage 2006). Der er ikke nogen klar konsensus om, hvorvidt manuskripter bør være blinde, og argumenterne fra begge sider synes overbevisende.

Og selv om åbningen af peer-review-processen ikke er betinget af internettet, kan internettet lette en endnu mere gennemsigtig gennemgangsproces. Mange af de medicinske tidsskrifter fra BioMed Central anvender en fuldstændig åben gennemgangsproces, hvor ikke blot identiteten af bedømmere og forfattere er offentlig, men hvor hele gennemgangsprotokollen, herunder al feedback fra bedømmere og efterfølgende gentagelser af korrespondance i revisionsprocessen, gøres offentligt tilgængelig sammen med det offentliggjorte manuskript. Fuldstændig offentliggørelse af gennemgangen ville sandsynligvis ikke være muligt med et papirtidsskrift af logistiske årsager.

En nyere innovation, der er betinget af internettet, har været at åbne gennemgangsprocessen for alle, der ønsker at kommentere en artikel. Som nævnt gennemførte Nature for nylig en åben gennemgangsproces på forsøgsbasis parallelt med deres normale gennemgangsproces, og Public Library of Science vil indføre PLoS One, et nyt tidsskrift, der vil anvende en to-trins-proces, hvor en enkelt akademisk redaktør foretager en indledende screening efterfulgt af et system til offentlig kommentar og diskussion.

Det er endnu uvist, hvor vellykkede disse offentlige bedømmelsessystemer vil være. Der findes en række mindre kendte specialtidsskrifter, som har indført bedømmelsessystemer baseret på offentlige kommentarer. Electronic Transactions on Artificial Intelligence (ETAI) tilbyder et hybrid system med peer review (Sandewall 2006). Manuskripter, der passer til tidsskriftets anvendelsesområde, bliver straks lagt ud til offentlig kommentering i tre måneder, og hvis der er en fortsat diskussion, kan perioden forlænges. Efter diskussionsperioden får forfatterne mulighed for at revidere deres manuskripter på baggrund af tilbagemeldingerne, hvorefter manuskriptet sendes ud til ekstern blind gennemgang. Revisorerne giver dog blot en beslutning om offentliggørelse/afvisning uden kommentarer, da manuskriptet allerede har modtaget omfattende kommentarer fra offentligheden. Hvis artiklerne accepteres, offentliggøres de normalt inden for en måned.

Atmospheric Chemistry and Physics anvender en fremgangsmåde i to faser, der omfatter offentlige kommentarer (Koop og Poschl 2006). Efter en forundersøgelse offentliggøres manuskripter som “diskussionspapirer” med henblik på offentlige kommentarer i en periode på otte uger. Desuden offentliggør de udpegede anmeldere deres underskrevne kommentarer sammen med uopfordrede kommentarer fra andre læsere. Forfatterne har også mulighed for at svare på kommentarerne. I en anden fase gennemgås manuskripterne ved hjælp af traditionelle gennemgangsprocedurer. Accepterede artikler offentliggøres i hovedtidsskriftet. Alle diskussionsoplæg og kommentarer opbevares også permanent på webstedet.

Disse innovative systemer, der kombinerer offentlige kommentarer med forskellige former for mere traditionel gennemgang, er spændende og har en reel berettigelse. De har potentiale til at gøre et betydeligt bedre stykke arbejde med at afbalancere de forskellige roller, som tidsskrifter spiller i videnskabelige og akademiske samfund. Hurtig første offentliggørelse af manuskripter med mekanismer til offentlige kommentarer og diskussioner har til formål at lette kommunikationen mellem forskere. Samtidig giver brugen af disse offentlige kommentarer sammen med en mere traditionel peer review før den endelige offentliggørelse den samme eller måske endda en højere grad af kvalitetskontrol som traditionel peer review. Processen med at diskutere artikler offentligt passer også godt til de roller, der ligger i at fremme videnskabelige fællesskaber og udbrede og opretholde standarder for udførelse af forskning og videnskabelig virksomhed.

Med tiden vil vi se, om disse nye tilgange til den århundredgamle peer-review-proces tilfører reel værdi. Denne nye æra af elektroniske udgivelser er stadig i sin vorden, og vi har meget at lære om, hvordan vi bedst udnytter de nye medier og kommunikationsværktøjer. Det faktum, at vores videnskabelige publikationssystem stort set er forblevet intakt med kun beskedne ændringer i over 340 år gennem enorme fremskridt inden for videnskab og teknologi, er et vidnesbyrd om, hvor godt det har fungeret. Vores udfordring i løbet af det næste årti bliver at tilpasse systemet til dette nye og meget anderledes medie, idet vi bevarer de komponenter, der fortsat fungerer godt, og finder måder at indarbejde innovative tilgange til kommunikation og evaluering, der bygger på de muligheder, som den elektroniske publikation giver os.

David Solomon er pædagogisk psykolog og har arbejdet med medicinsk uddannelse i nitten år. Han er i øjeblikket lektor ved Institut for medicin og Office of Educational Research and Development i College of Human Medicine ved Michigan State University. Hans forskning har hovedsageligt været inden for områderne præstationsvurdering, valg af specialer og fjernundervisning. I 1996 startede han et elektronisk tidsskrift, Medical Education Online, som er vokset til at være et veletableret tidsskrift inden for området. Hans anden store interesse er at fremme publicering med åben adgang. Man kan kontakte ham på [email protected].

Altman, D. G. 2002 Medicinsk forskning af dårlig kvalitet: Hvad kan tidsskrifter gøre? JAMA 287;21:2765-2767.

Baxt, W. G., J. F. Waeckerle, J. Berlin, og M. L. Callahm. 1989. Hvem gennemgår bedømmerne? Feasibility of using fictive manuscript to evaluate peer reviewer performance. Annals of Emergency Medicine 32:310-317.

Bloom, T. 2006. Systems: Online grænser for den peer-reviewede litteratur. I Nature. http://www.nature.com/nature/peerreview/debate/index.html.

Campbell, P. 2006. Nature Peer Review Trial and Debate. I Nature. http://www.nature.com/nature/peerreview/index.html.

Chang, A. 2006. Online-tidsskrifter udfordrer videnskabelig peer review. Hentet den 19. november 2006 fra http://www.mercurynews.com/mld/mercurynews/news/breaking_news/15655422.htm.

Debat. 2006. “Peer Review” I Nature. http://www.nature.com/nature/peerreview/debate/index.html

Editorial. 2005. “Revolutionerede peer review?”. Nature Neuroscience 8; 4:397.

Faxon Institute. 1991. An Examination of Work-related Information Acquisition and Usage among Scientific, Medical and Technical Fields Westwood, Mass. Faxon Company.

Godlee, F. 2002. Making reviewers visible. Åbenhed, ansvarlighed og anerkendelse. JAMA287; 21:2762-2765.

Goldbeck-Wood, S. 1999. Evidens om peer review: videnskabelig kvalitetskontrol eller røgslør? BMJ 318:44-45 (2. januar). http://www.bmj.com/cgi/reprint/318/7175/44.

Gotzxche, P. C. 1989. Metodologi og åbenlys og skjult skævhed i rapporter om 196 dobbeltblindede forsøg med ikke-steroide antiinflammatoriske lægemidler i forbindelse med reumatoid arthritis. Controlled Clinical Trials, 10:3159.

Guédon, J. 2001. I Oldenburgs lange skygge: Bibliotekarer, forskere, forlæggere og kontrollen med videnskabelige udgivelser. Præsentation på mødet i maj 2001 i Association of Research Libraries (ARL), på http://www.arl.org/arl/proceedings/138/guedon.html.

Jefferson, T., P. Alderson, E. Wager, og F. Davidoff. 2002a. Effekter af redaktionel peer review. JAMA 5. juni 287; 21:2784-2786.

Jefferson, T, E. Wager, og F. Davidoff. 2002b. Måling af kvaliteten af redaktionel peer review. JAMA 5. juni 287; 21:2786-2790.

Jefferson, T. 2006. Kvalitet og værdi: Modeller for kvalitetskontrol for videnskabelig forskning. I Nature . http://www.nature.com/nature/peerreview/debate/nature05031.html.

Koop T., og U. Pöschl. 2006. Et åbent tidsskrift med peer-review i to faser. I Nature . http://www.nature.com/nature/peerreview/debate/nature04988.html.

Kumashiro, K. K. 2005. Samarbejdstænkning om peer-review-processen for publicering af tidsskriftsartikler. Harvard Educational Review 75; 3:257-287.

Pocock, S. J., M. D. Hughes, og R. J. Lee. 1987. Statistiske problemer i forbindelse med rapportering af kliniske forsøg. En undersøgelse af tre medicinske tidsskrifter. New England Journal of Medicine 317:426-432.

Regehr, G., og G. Bordage. 2006. At blinde eller ikke at blinde? Hvad forfattere og bedømmere foretrækker. Medical Education 40:832-839.

Schafner, A. C. 1994. Fremtiden for videnskabelige tidsskrifter: Lektioner fra fortiden. Information Technology and Libraries 13:239-47.

Sandewall, E. 2006. Et hybridsystem for peer review. I Nature. http://www.nature.com/nature/peerreview/debate/nature04994.html.

Smith, R. 1999 Åbning af BMJ’s peer review. BMJ 1318:4-5 (2. januar). http://www.bmj.com/cgi/content/full/318/7175/4.

Van Rooyen S., F. Godlee, S. Evans, N. Black, og R. Smith. 1999. Effekten af åben peer review på kvaliteten af reviews og på reviewers anbefalinger: et randomiseret forsøg. BMJ 318:23-27 (2. januar). http://www.bmj.com/cgi/reprint/318/7175/23.

NOTER

1. For eksempel se Open Journal Systems http://pkp.sfu.ca/?q=ojs.

2. Sej http://arxiv.org/todays_stats.