Abstract

Tässä artikkelissa käsitellään viimeaikaisia innovaatioita vertaisarvioinnin toteuttamisessa ottaen huomioon lehtien erilaiset tehtävät tiedeyhteisöissä.

Tieteellisiä aikakauslehtiä on ollut olemassa yli 340 vuotta. Vaikka vertaisarviointi oli harvinaisempaa ensimmäisissä lehdissä, suurin osa tieteellisistä ja akateemisista lehdistä toteuttaa nykyään jonkinasteisen vertaisarvioinnin. Huolimatta vertaisarvioinnin pitkästä historiasta ja vakiintuneesta asemasta tiedeyhteisöissä tutkijat (Debate 2006) ja jopa maallikkolehdet (Chang 2006) ovat joutuneet yhä useammin vertaisarvioinnin kohteeksi. Keskustelua näyttää pitkälti kiihdyttävän sähköisen levityksen ja Internetin käytön kasvava vaikutus vertaisarvioinnin toteuttamiseen. Internet on vähentänyt vertaisarvioinnin kustannuksia ja vaivaa pitkälle automatisoitujen verkkopohjaisten hallintajärjestelmien avulla, ja lisäksi se on tarjonnut paljon joustavuutta vertaisarvioinnin toteuttamisessa.

Monet kirjoittajat ovat kannattaneet erilaisia ”avoimen” vertaisarvioinnin muotoja. Jossain määrin näissä muutosvaatimuksissa on keskitytty luopumaan perinteestä, jonka mukaan arvioijien henkilöllisyys salataan. Toiset ovat kannattaneet koko vertaisarviointipöytäkirjan julkistamista tai arviointiprosessin avaamista kaikille, jotka haluavat esittää kommentteja. On jopa keskusteltu siitä, että julkaisuja pitäisi käsitellä orgaanisina asiakirjoina, jotka kehittyvät ajan mittaan ja joista laaditaan useita versioita, jotka muuttuvat uusien tietojen ja lisäkommenttien mukaan (Bloom 2006).

Muutamat arvostetut lehdet ovat alkaneet kokeilla innovatiivisia vertaisarviointimalleja. British Medical Journal luopui vertaisarviointiprosessinsa sokkouttamisesta jo vuonna 1999 (Smith 1999), ja monet BioMed Central -lehdet tarjoavat avoimen pääsyn koko arvostelupöytäkirjaan. Nature kokeili kesäkuusta 2006 alkaen kolmen kuukauden ajan esiprinttien julkaisemista julkista kommentointia varten perinteisen vertaisarvioinnin rinnalla (Campbell 2006), ja Public Library of Science (PLoS) on käynnistämässä uutta PLos One -lehteä, joka julkaisee artikkelit lähes välittömästi minimaalista seulontaa käyttäen ja jossa yleisö voi kommentoida niitä.

Vaikka nämä vertaisarviointikokeilut aiheuttavat paljon keskustelua, suurin osa tieteellisistä lehdistä käyttää edelleen perinteisiä vertaisarviointimenetelmiä, joissa valittu asiantuntijaryhmä, jonka henkilöllisyys on sokkona kirjoittajalta ja yleisöltä, antaa palautetta päätoimittajalle, joka tekee lopullisen julkaisupäätöksen. Vaikka prosessi on todennäköisesti hidas, näyttää siltä, että olemme siirtymässä aikakauteen, jolloin vertaisarviointi kehittyy hyödyntämään entistä enemmän Internetin tarjoamaa joustavuutta. Mielestäni tämä on vain yksi osa vuosisatoja vanhan tieteellisen aikakauslehtijärjestelmän paljon laajempaa muutosta, joka on tapahtumassa ainakin osittain paperisen ja sähköisen jakelun välisten luontaisten erojen ja yleisemmin Internetin tarjoaman joustavuuden ja viestinnän tehokkuuden vuoksi.

Lähes kolmetoista vuotta sitten Ann Schaffner (1994) kirjoitti hyvin oivaltavan artikkelin, jossa käsiteltiin tieteellisten aikakauslehtien tulevaisuutta. Hän keskittyi niihin moninaisiin ja monimutkaisiin rooleihin, joita lehdillä on ollut tieteellisissä ja akateemisissa yhteisöissä, yrittäessään ymmärtää uuden teknologian vaikutusta näihin lehtiin. Jos tarkastellaan keskustelua siitä, miten vertaisarviointi pitäisi tehdä (jos sitä ylipäätään tehdään), argumentit heijastavat usein kirjoittajan tai puhujan keskittymistä tiettyyn tehtävään tai tehtäviin, joita lehdillä on tiedeyhteisöissä. Uskon, että voimme käydä harkitumpaa keskustelua vertaisarvioinnin roolista ja uusien vertaisarviointitapojen arvosta, jos seuraamme Schaffnerin esimerkkiä ja pohdimme lehtien erityisiä rooleja tiedeyhteisöissä pohdittaessa sitä, miten vertaisarviointiprosessi voi parhaiten hyödyntää sähköisen viestinnän tarjoamia mahdollisuuksia.

Lehtien roolit tiedeyhteisöissä

Schaffner (1994) määritteli viisi erilaista, vaikkakin jonkin verran päällekkäistä, roolia, joita lehdillä on tiedeyhteisöissä. Kuten hän toteaa, ne voitaisiin luultavasti luokitella jonkin verran eri tavoin, mutta minusta hänen järjestelmässään on paljon järkeä.

Kollektiivisen tietopohjan rakentaminen – Todennäköisesti tärkein rooli, joka lehdillä on, on tiedon arkiston muodostaminen. Useimmat ihmiset ovat samaa mieltä siitä, että aikakauslehdet muodostavat tietyn tieteenalan kattavimman, ajantasaisimman ja arvovaltaisimman tietoarkiston. On selvää, että tämän arkiston sisältämän aineiston tarkkuus ja laatu ovat keskeisen tärkeitä. Vertaisarviointi on yksi tärkeimmistä mekanismeista näiden lehtien sisältämän tiedon validoimiseksi.

Vertaisarvioidun artikkelin eteneminen lähettämisestä julkaisuun kestää yleensä noin puolitoista vuotta. Verkkopohjainen vertaisarviointi ja sähköinen julkaiseminen voivat jossain määrin lyhentää tätä aikaa, mutta vertaisarviointi- ja tarkistusprosessi vain vie aikaa. Lisäksi julkaisukelpoisen käsikirjoituksen laatiminen vaatii huolellisuutta ja vaivannäköä, joten tutkimuksen tekemisen ja tulosten julkaisemisen välillä voi kulua kuukausia. Lisäksi käsikirjoituksia ei useinkaan hyväksytä ensimmäisellä kerralla, kun ne lähetetään lehteen, ja ne saatetaan lähettää uudelleen useisiin lehtiin ennen kuin ne hyväksytään julkaistavaksi. Lopputuloksena on, että vertaisarvioitujen lehtien kautta levitettävä tieto on usein useita vuosia vanhaa.

Tiedon arkistomme näkökulmasta arkiston päivitysnopeus, vaikkei se olekaan vähäpätöinen, on paljon pienempi huolenaihe kuin aineiston tarkkuus ja laatu. Uskon, että useimmat ihmiset ovat samaa mieltä siitä, että tiedon saaminen oikeaan muotoon vertaisarvioinnin ja huolellisen tarkistuksen, kopioinnin ja painatuksen huolellisuuden ja vaivannäön avulla on paljon tärkeämpää kuin nopean julkaisemisen tarve, kun näitä lehtiä tarkastellaan tietämyksemme arkistona.

Tiedon välittäminen – Tietyn alan parissa työskentelevien tutkijoiden välinen tiedonvälitys kuulostaa samankaltaiselta kuin tietämyksen arkiston rakentaminen. Siinä on kuitenkin merkittäviä eroja. Nopeus ja vuorovaikutteisuus ovat paljon tärkeämpiä tässä roolissa. Samaan aikaan vertaisarviointi on paljon vähemmän tärkeää, sillä alan asiantuntijat pystyvät täydellisesti tekemään omat päätöksensä levitettävän tiedon arvosta ja oikeellisuudesta. Jotkut ovat väittäneet, että ilman vertaisarviointia tutkijat tulvivat tietoa (Editorial 2005). Näin ei näytä olevan fysiikan alalla. Tunnettuun esijulkaisupalvelimeen arXiv.org tallennetaan kuukausittain jopa 5 000 esijulkaisua, ja kymmenettuhannet ihmiset käyvät sivustolla päivittäin, ja järjestelmä näyttää toimineen erittäin hyvin – ainakin tällä alalla – yli viidentoista vuoden ajan.

Lehdillä oli todennäköisesti paljon keskeisempi rooli tämäntyyppisessä viestinnässä niiden historian alkuvaiheessa. Kun nykyään on käytettävissä muita tehokkaampia viestintävälineitä, voisi ajatella, että lehdillä olisi melko vähäinen rooli tutkimustulosten välittämisessä tutkijoiden kesken. Ei ole selvää, että näin on. Tieteellisen ja teknisen tiedon epävirallista viestintää koskeva tutkimus osoittaa ensinnäkin, että viestintämuodot vaihtelevat huomattavasti eri aloilla (Faxon Institute 1991). Esimerkiksi preprint-arkistot, kuten arXiv.org, otettiin nopeasti käyttöön useilla aloilla, mutta niitä käytetään harvoin muilla aloilla huolimatta yksittäisten henkilöiden yhteisistä yrityksistä ottaa ne käyttöön. (Näin on käynyt omalla alallani kasvatustieteellisessä tutkimuksessa.) Tutkijoiden epävirallista viestintää koskeva tutkimus viittaa myös siihen, että suuri osa siitä, mistä tutkijoiden kesken keskustellaan, osoittautuu lehtiartikkeleiksi (Schaffner 1994). Vaikka esijulkaisuarkistojen, listapalveluiden ja keskusteluketjujen merkitys alalla työskentelevien tutkijoiden välisessä viestinnässä todennäköisesti kasvaa, näyttää siltä, että aikakauslehdet säilyttävät selvästi merkittävän asemansa tämäntyyppisessä viestinnässä.

Tutkimuksen laadun vahvistaminen – Aikakauslehdillä on myös rooli yhteisön standardien ylläpitäjänä siinä, miten tutkimusta ja tiedettä tehdään. Jossain määrin tämä tapahtuu siten, että lehdet suodattavat sitä, mitä julkaistaan ja näin ollen levitetään. Vaikutukset voivat olla myös hienovaraisempia. Kokeneiden tutkijoiden työtä arvostellaan harvoin ankarasti. Tämä ei tarkoita sitä, että heidän käsikirjoituksensa julkaistaisiin aina, mutta he ovat yleensä sisäistäneet alan normit ja tietävät, miten tutkimus tai apuraha tulisi toteuttaa ja kuvata, ja on paljon epätodennäköisempää, että arvostelijat moittivat heitä kuin aloittelijoita.

Ei ole yleistä yksimielisyyttä siitä, että tämä on täysin hyvä asia. Jotkut ovat väittäneet, että tämä tukahduttaa luovuuden ja altistaa aloittelevat tutkijat tarpeettomasti ankaralle kritiikille (Kumashiro 2005).

Palkkioiden jakaminen – Julkaiseminen vertaisarvioiduissa lehdissä on yksi tärkeimmistä tavoista arvioida tutkijoita. Määrän lisäksi yhtä tärkeää on se, missä lehdissä julkaistaan, ellei jopa tärkeämpää. Tämä juontaa juurensa aina Lontoon kuninkaallisen seuran (Royal Society of London) Philosophical Transactions -lehden perustamiseen 1600-luvun puolivälissä. Vaikka siihen ei liittynytkään päätöksiä virkasuhteista, kyseisen lehden tärkeä tehtävä oli määritellä, kuka ansaitsee kunnian tietyistä havainnoista tai teorioista. Guédonin (2001) mukaan lehti toimi melkein kuin ideoiden patenttitoimisto. Julkaisemalla lehdessä tiedemiehet tai luonnonfilosofit (kuten heitä tuolloin kutsuttiin) saattoivat vahvistaa henkisen omaisuutensa omistusoikeuden. Tiedemiesten välinen kilpailu ja kiistat keksintöjen tunnustamisesta ovat edelleen ajankohtaisia, ja lehdet täyttävät edelleen tehtävänsä henkisen omaisuuden isyyden dokumentoinnissa. Tämä rooli on selvästi laajentunut yleisemmäksi saavutusten mittariksi, ja vertaisarviointi – oikein tai väärin – on tärkeä osa tätä roolia.

Tiedeyhteisöjen rakentaminen – Lehdet toimivat myös keinona sitoa tiedeyhteisö yhteen monin tavoin. Erään tieteenalan aikuistumisen tunnusmerkki on uuden lehden perustaminen: se on pohjimmiltaan uuden tieteenalan älyllisen aluevaltauksen tekeminen. Tämän lisäksi pääkirjoitukset, mielipideartikkelit ja toimituskirjeet toimivat usein foorumina, jossa keskustellaan tieteenalan kysymyksistä. Joskus ne ovat sisällöllisiä ja joskus ne ulottuvat aiheeseen liittyville aloille, kuten tutkimustulosten yhteiskunnallisiin vaikutuksiin, rahoitukseen tai alan koulutuskysymyksiin. Lehdet toimivat yleisesti myös uutisfoorumeina, joissa kerrotaan esimerkiksi uusista nimityksistä tärkeisiin virkoihin tai tiedeyhteisön tunnetun jäsenen poismenosta. Vaikka tämä rooli saattaa olla jossain määrin vähenemässä tarjolla olevien viestintävaihtoehtojen moninaisuuden myötä, lehdillä on edelleen tärkeä rooli tiedeyhteisöjen muodostamisessa ja ylläpitämisessä.

Vertaisarviointi suhteessa lehtien rooleihin

Vertaisarvioinnin merkitys vaihtelee selvästi lehtien eri tehtävien välillä. Vertaisarviointia pidetään yleensä elintärkeänä tehtävissä, jotka liittyvät tiedon arkiston muodostamiseen ja palkkioiden jakamiseen. Se on myös avainasemassa validoitaessa alan tutkimuksen laatua, mutta kuten Kumashiro toteaa, se voi myös haitata uusien ideoiden ja menetelmien levittämistä. Vertaisarvioinnilla on vain vähän arvoa, ja se todennäköisesti haittaa alan tutkijoiden välisen viestinnän helpottamista, eikä sillä ole merkitystä tiedeyhteisöjen rakentamisen kannalta.

Vertaisarvioinnin arvo perustuu olettamukseen, että se tarjoaa pätevän mittarin käsikirjoituksen laadulle ja sen noudattamiselle alan normien mukaisesti. Sen arvo liittyy myös palautteen antamiseen, jotta käsikirjoitusta voidaan parantaa tarkistamalla sitä. Näitä oletuksia pidetään suurelta osin itsestäänselvyyksinä ja niitä kyseenalaistetaan harvoin, mutta niiden paikkansapitävyys on kyseenalaistettavissa.

Jefferson ym. (2002a) tekivät systemaattisen kirjallisuuskatsauksen vertaisarvioinnin vaikutuksesta biolääketieteen lehdissä. He löysivät vain vähän kontrolloituja tutkimuksia, ja useimmat niistä keskittyivät tiettyihin toimituskäytäntöihin, kuten sokkouttamiseen tai tarkistuslistojen käyttöön arvosteluprosessissa. Uudessa katsauksessa (2002b) kirjoittajat löysivät kymmenen tutkimusta, joissa tarkasteltiin vertaisarvioinnin ja artikkelien laadun välistä suhdetta. Vain yhdessä verrattiin vertaisarvioituja artikkeleita vertaisarvioimattomiin artikkeleihin, ja sen tutkimusasetelma oli heikko. Lopuissa tutkimuksissa verrattiin erilaisia vertaisarviointimenetelmiä tai laadun muutosta ennen ja jälkeen vertaisarviointiin perustuvan tarkistuksen. Jokaisessa artikkelissa käytettiin eri arviointiasteikkoon perustuvia asiantuntijaluokituksia. Yhdenkään arviointivälineen psykometristä laatua ei ollut ilmeisesti arvioitu. Jeffersonin ym. yleinen johtopäätös on, että vertaisarvioinnin arvoa käsikirjoitusten laadun varmistamisessa tukevaa tieteellisesti pätevää näyttöä on hyvin vähän – ainakin biolääketieteen alalla.

On myös jonkin verran näyttöä siitä, että vertaisarviointi ei välttämättä onnistu tutkimusartikkelien metodologisten puutteiden tunnistamisessa. Baxt ym. (1998) lähettivät arvioijille kuvitteellisen käsikirjoituksen, jossa oli selkeitä suunnittelu- ja analyysivirheitä, jotka estivät tuloksia tukemasta kuvatun tutkimuksen johtopäätöksiä. Siinä esimerkiksi todettiin, että hoito- ja kontrolliryhmät oli jaettu satunnaisesti, mutta menettely ei selvästikään ollut satunnainen. Tutkimukseen osallistuneet 203 ensihoitolääkäriä olivat kokeneita arvioijia Annals of Emergency Medicine -lehdessä, joka on alan arvostettu lehti. Arvostelijat havaitsivat keskimäärin vain 34 prosenttia käsikirjoituksen vakavista puutteista, ja 41 prosenttia arvostelijoista ilmoitti, että käsikirjoitus olisi hyväksyttävä julkaistavaksi. On myös olemassa lukuisia tutkimuksia, jotka osoittavat metodologisten virheiden suuren määrän julkaistussa lääketieteellisessä tutkimuksessa (Pocock, Hughes, & Lee 1987; Gotzche 1989). Altman (2002) syyttää tästä useita syitä, kuten tilastollisen ja tutkimussuunnittelun asiantuntemuksen puutetta arvioijien keskuudessa. Vaikka nämä esimerkit ovat peräisin biolääketieteen alalta, luulisi – puhumattakaan toiveesta – että näin kriittisellä alalla käytettäisiin järkevimpiä tutkimuskäytäntöjä. Yhteiskuntatieteilijänä saamieni kokemusten perusteella metodologiset virheet ovat yleisiä myös yhteiskuntatieteellisissä lehdissä.

Vertaisarvioinnin tehokas käyttö

Vaikuttaako vertaisarvioinnin tehokkuutta vahvistavan näytön puute ja se, että virheellistä tutkimusta julkaistaan usein tiukasti vertaisarvioiduissa lehdissä, siihen, että vertaisarvioinnilla ei ole arvoa? Mielestäni ei. Vertaisarviointi muistuttaa monin tavoin valamiesjärjestelmäämme: vaikka se on puutteellinen, se on paras mahdollinen (Jefferson 2006). Arvostukseni vertaisarviointiprosessia kohtaan on kasvanut niiden yhdentoista vuoden aikana, jotka olen toiminut Medical Education Online (MEO) -julkaisun päätoimittajana, joka on avoimesti saatavilla oleva vertaisarvioitu lääketieteellisen koulutuksen lehti. Vertaisarvioinnin arvo ei ole niinkään keino suodattaa huonoja käsikirjoituksia (vaikka useiden arvioijien tuki onkin hyödyllistä, kun vastassa on kiukkuinen kirjoittaja); Sen sijaan vertaisarviointi on arvokas keino parantaa julkaistavan aineiston laatua. Olen jatkuvasti hämmästynyt siitä ajasta, vaivasta ja ajatuksesta, jota monet arvioijat käyttävät arviointiprosessiin. Tuloksena on useimmiten erinomaista rakentavaa palautetta, jota useimmat kirjoittajat toivottavat tervetulleeksi ja käyttävät käsikirjoitustensa parantamiseen.

Toinen tosiasia, joka toisinaan jätetään huomiotta, on se, että vaikka yksittäiset arvioijat jättävät usein huomaamatta tiettyjä asioita käsikirjoituksessa, toinen arvioija huomaa usein ongelman. Mitä useampi arvioija käsikirjoituksen arvioi, sitä todennäköisemmin virheet jäävät kiinni ja ongelmat havaitaan. Internetin käyttäminen arviointien tekemiseen vähentää huomattavasti vertaisarviointiin liittyviä kustannuksia ja vaivaa, ja sen avulla on mahdollista ottaa mukaan suurempi määrä arvioijia käsikirjoitusta kohti. MEO:ssa tavoitteenamme on, että kustakin käsikirjoituksesta arvioi neljästä kuuteen konsulttia, ja jos heitä on enemmän, se on vielä parempi. Käyttämällä melko avointa menettelytapaa arvioijien valinnassa olemme huomanneet, että tämä tavoite on helppo saavuttaa. Meillä on tällä hetkellä noin kolmesataa arvioijaa, jotka ovat ilmoittautuneet vapaaehtoisesti arvioimaan käsikirjoituksia, ja olemme huomanneet, että arvioijaryhmäämme on suhteellisen helppo lisätä tarpeen mukaan.

Jotta vertaisarviointi toimisi tehokkaasti, toimittajan rooli on ratkaisevan tärkeä. Vaikka useimmat arvostelut antavat arvokasta palautetta, arvostelijoiden käsittelemät asiat vaihtelevat suuresti, ja palaute on toisinaan ristiriitaista (ja toisinaan yksinkertaisesti väärin). Jonkun on saatava eri arvosteluista tolkkua ja laadittava johdonmukainen yhteenveto palautteesta, ja jos käsikirjoitusta on tarkistettava ennen julkaisemista, kirjoittajalle on annettava selkeät ohjeet. Kyse ei ole siitä, että päätoimittaja olisi välttämättä yhtään viisaampi tai vähemmän altis ennakkoluuloille kuin yksittäiset arvioijat, vaan jonkun on otettava vastuu siitä, että palaute ja kirjoittajalle annettavat ohjeet ovat johdonmukaisia. Muuten se tekee kirjoittajat hulluiksi.

MEO:ssa arvostelijatoimittaja antaa palautekirjeen, joka sisältää julkaisupäätöksen, yhteenvedon palautteesta ja tarvittaessa johdonmukaisen joukon asioita, jotka on ratkaistava ennen julkaisemista. Lisäksi lähetämme takaisin sekä kaikkien arvioijien kommentit että arviot, lukuun ottamatta kommentteja, jotka arvioija on määritellyt vain toimittajalle. Uskon, että kirjoittajat arvostavat sitä, että he saavat toimittajalta kaiken palautteen sekä selkeät ohjeet käsikirjoitustensa tarkistamista varten. Lähetämme myös jokaiselle arvioijalle kopiot kirjoittajalle lähetetystä palautteesta. Kokemukseni on, että arvostelijat arvostavat lähes poikkeuksetta sekä käsikirjoituksen lopullista käsittelyä että sitä, että he näkevät, mitä muilla arvostelijoilla oli siitä sanottavaa.

Innovaatiot vertaisarvioinnissa

Kuten todettiin, Internetin kautta tapahtuvan viestinnän joustavuus ja tehokkuus on tehnyt mahdolliseksi kokeilla erilaisia vertaisarviointimalleja. Kirjallisuudessa eniten keskustelua herättänyt innovaatio on vertaisarviointiprosessin muuttaminen läpinäkyvämmäksi. Perinteisesti vertaisarvioijien henkilöllisyys on pidetty luottamuksellisena, ja monissa tapauksissa käsikirjoitukset on naamioitu niin, että niistä on poistettu kaikki kirjoittajia ja heidän laitoksiaan koskevat tunnistetiedot. Yksinkertaisimmillaan avoimessa vertaisarvioinnissa on ollut kyse siitä, että arvioijien henkilöllisyys on julkistettu tai että kirjoittajien henkilöllisyys on annettu arvioijien tietoon arvioinnin aikana, tai molemmissa tapauksissa. Tämä ei tietenkään ole riippuvainen sähköisestä julkaisemisesta; arvostelu ja keskustelu arvioijien henkilöllisyyden salassa pitämisestä on käyty jo kauan ennen kuin Internet oli laajalti saatavilla. Tätä kysymystä on tutkittu melko hyvin (Goldbeck-Wood 1999). Todisteet viittaavat siihen, että nimettömyydellä ei ole juurikaan vaikutusta arvioinnin laatuun tai hyväksymisprosenttiin, mutta arvioijien henkilöllisyyden paljastaminen saattaa vähentää todennäköisyyttä, että joku ilmoittautuu vapaaehtoiseksi arvioijaksi (van Rooyen ym. 1999).

Vaikka on saatu näyttöä siitä, että vertaisarviointiprosessin avaaminen julkiselle tarkastelulle ei näytä vaikuttavan laatuun suuntaan tai toiseen, keskustelu on jatkunut, ja siinä on keskitytty lähinnä arvioijien henkilöllisyyden paljastamisen oheisvaikutuksiin. Kannattajat ovat väittäneet, että vertaisarviointiprosessin avaaminen on eettisesti parempi vaihtoehto, jolla ei ole juurikaan tai ei lainkaan vaikutusta prosessiin, ja että se saattaa itse asiassa lisätä kohteliaisuutta arviointiprosessissa (Godlee 2002; Morrison 2006). Avointa vertaisarviointia koskevat suurimmat huolenaiheet liittyvät henkilökohtaisten ennakkoluulojen syntymiseen ja mahdolliseen kostoon tietyillä aloilla, joilla maailma on yleensä hyvin pieni. Erityistä huolta herättävät vaikutukset nuoriin tutkijoihin, jotka ovat erityisen haavoittuvia. Alan laajalevikkisen aikakauslehden, Medical Educationin, äskettäisessä kyselytutkimuksessa, johon osallistui sekä kirjoittajia että arvioijia, vastaajat kannattivat vahvasti sekä kirjoittajien että arvioijien sokeuttamista (Regehr ja Bordage 2006). Käsikirjoitusten sokkouttamisesta ei ole selvää yksimielisyyttä, ja molempien osapuolten perustelut vaikuttavat vakuuttavilta.

Vaikka vertaisarviointiprosessin avaaminen ei ole riippuvainen Internetistä, Internet voi helpottaa entistä avoimempia arviointiprosesseja. Monet BioMed Centralin lääketieteellisistä lehdistä käyttävät täysin avointa arvosteluprosessia, jossa paitsi arvostelijoiden ja kirjoittajien henkilöllisyys on julkinen, myös koko arvostelupöytäkirja, mukaan lukien kaikki arvostelijoiden palautteet ja myöhemmät kirjeenvaihdon iteraatiot tarkistusprosessissa, asetetaan julkisesti saataville julkaistun käsikirjoituksen yhteydessä. Arvostelupöytäkirjojen täydellinen julkistaminen ei todennäköisesti olisi logistisista syistä mahdollista paperilehdessä.

Uudemman ajan innovaatio, joka perustuu Internetiin, on ollut arvosteluprosessin avaaminen kaikille, jotka haluavat kommentoida artikkelia. Kuten todettiin, Nature otti hiljattain kokeiluluontoisesti käyttöön avoimen arvosteluprosessin normaalin arvosteluprosessin rinnalla, ja Public Library of Science ottaa käyttöön PLoS One -lehden, joka on uusi lehti, jossa käytetään kaksivaiheista prosessia, jossa yksi akateeminen päätoimittaja suorittaa alustavan seulan ja sen jälkeen julkisen kommentointi- ja keskustelujärjestelmän.

Jää nähtäväksi, kuinka menestyksekkäitä nämä julkiset arviointijärjestelmät ovat. On olemassa joukko vähemmän tunnettuja erikoislehtiä, jotka ovat ottaneet käyttöön julkiseen kommentointiin perustuvia arviointijärjestelmiä. Electronic Transactions on Artificial Intelligence (ETAI) tarjoaa hybridisen vertaisarviointijärjestelmän (Sandewall 2006). Lehden toimialaan sopivat käsikirjoitukset asetetaan välittömästi julkisesti kommentoitavaksi kolmeksi kuukaudeksi, ja jos keskustelu jatkuu, aikaa voidaan pidentää. Keskustelujakson jälkeen kirjoittajille annetaan mahdollisuus muokata käsikirjoituksiaan palautteen perusteella, minkä jälkeen käsikirjoitus lähetetään ulkopuoliseen sokkotarkastukseen. Arvostelijat tekevät kuitenkin vain julkaisu- tai hylkäyspäätöksen ilman kommentteja, koska käsikirjoitus on jo saanut runsaasti kommentteja yleisöltä. Jos artikkelit hyväksytään, ne julkaistaan yleensä kuukauden kuluessa.

Atmospheric Chemistry and Physics käyttää kaksivaiheista lähestymistapaa, joka sisältää julkisen kommentoinnin (Koop ja Poschl 2006). Esiseulonnan jälkeen käsikirjoitukset julkaistaan ”keskustelupapereina” julkista kommentointia varten kahdeksan viikon ajan. Lisäksi nimetyt arvioijat julkaisevat allekirjoitetut kommenttinsa yhdessä muiden lukijoiden pyytämättömien kommenttien kanssa. Kirjoittajat voivat myös vastata kommentteihin. Toisessa vaiheessa käsikirjoitukset tarkastetaan perinteisiä arviointimenettelyjä noudattaen. Hyväksytyt artikkelit julkaistaan päälehdessä. Kaikki keskusteluasiakirjat ja kommentit säilytetään myös pysyvästi sivustolla.

Nämä innovatiiviset järjestelmät, joissa yhdistyvät julkiset kommentit ja perinteisemmän arvostelun eri muodot, ovat kiehtovia, ja niillä on todellisia ansioita. Niillä on mahdollisuus tasapainottaa huomattavasti paremmin lehtien eri rooleja tiede- ja tutkijayhteisöissä. Käsikirjoitusten nopea ensijulkaisu ja julkiset kommentointi- ja keskustelumekanismit helpottavat tutkijoiden välistä viestintää. Samaan aikaan julkisten kommenttien käyttö yhdessä perinteisemmän vertaisarvioinnin kanssa ennen lopullista julkaisemista tarjoaa saman tai jopa mahdollisesti korkeamman laadunvalvonnan tason kuin perinteinen vertaisarviointi. Kirjoituksista käytävä julkinen keskustelu sopii myös hyvin yhteen tiedeyhteisöjen edistämisen sekä tutkimuksen ja tieteen tekemistä koskevien standardien levittämisen ja ylläpitämisen kanssa.

Ajan mittaan nähdään, tuovatko nämä uudet lähestymistavat vuosisatoja vanhaan vertaisarviointiprosessiin todellista lisäarvoa. Tämä sähköisen julkaisemisen uusi aikakausi on vielä lapsenkengissään, ja meillä on paljon opittavaa siitä, miten uusia media- ja viestintävälineitä voidaan parhaiten hyödyntää. Se, että tieteellinen julkaisujärjestelmämme on säilynyt pitkälti muuttumattomana vain vähäisin muutoksin yli 340 vuoden ajan tieteen ja teknologian valtavien edistysaskelten aikana, on osoitus siitä, miten hyvin se on toiminut. Seuraavan vuosikymmenen haasteena on järjestelmän mukauttaminen tähän uuteen ja hyvin erilaiseen välineeseen siten, että säilytetään ne osatekijät, jotka toimivat edelleen hyvin, ja etsitään keinoja ottaa käyttöön innovatiivisia viestintä- ja arviointimenetelmiä, jotka perustuvat sähköisen julkaisemisen tarjoamiin mahdollisuuksiin.

David Solomon on koulutuspsykologi, joka on työskennellyt lääketieteen koulutuksen parissa yhdeksäntoista vuotta. Hän toimii tällä hetkellä apulaisprofessorina Michiganin osavaltionyliopiston lääketieteellisessä tiedekunnassa ja opetuksen tutkimus- ja kehittämistoimistossa (Office of Educational Research and Development) College of Human Medicine -yliopistossa. Hänen tutkimustyönsä on liittynyt pääasiassa suoritusten arviointiin, erikoisalan valintaan ja etäopiskeluun. Vuonna 1996 hän perusti sähköisen Medical Education Online -lehden, joka on kasvanut alan vakiintuneeksi lehdeksi. Hänen toinen tärkeä kiinnostuksen kohteensa on avoimen julkaisemisen edistäminen. Hänet tavoittaa osoitteesta [email protected].

Altman, D. G. 2002 Huonolaatuinen lääketieteellinen tutkimus: Mitä lehdet voivat tehdä? JAMA 287;21:2765-2767.

Baxt, W. G., J. F. Waeckerle, J. Berlin ja M. L. Callahm. 1989. Kuka arvostelee arvostelijoita? Fiktiivisen käsikirjoituksen käytön toteutettavuus vertaisarvioijien suorituksen arvioinnissa. Annals of Emergency Medicine 32:310-317.

Bloom, T. 2006. Systems: Vertaisarvioidun kirjallisuuden verkkorajat. In Nature. http://www.nature.com/nature/peerreview/debate/index.html.

Campbell, P. 2006. Nature Vertaisarviointikokeilu ja keskustelu. In Nature. http://www.nature.com/nature/peerreview/index.html.

Chang, A. 2006. Verkkolehdet haastavat tieteellisen vertaisarvioinnin. Haettu 19. marraskuuta 2006 osoitteesta http://www.mercurynews.com/mld/mercurynews/news/breaking_news/15655422.htm.

Keskustelu. 2006. ”Vertaisarviointi” In Nature. http://www.nature.com/nature/peerreview/debate/index.html

Editorial. 2005. ”Vallankumouksellinen vertaisarviointi?”. Nature Neuroscience 8; 4:397.

Faxon Institute. 1991. An Examination of Work-related Information Acquisition and Usage among Scientific, Medical and Technical Fields Westwood, Mass. Faxon Company.

Godlee, F. 2002. Making reviewers visible. Avoimuus, vastuullisuus ja luotto. JAMA287; 21:2762-2765.

Goldbeck-Wood, S. 1999. Vertaisarviointia koskeva näyttö: tieteellinen laadunvalvonta vai savuverho? BMJ 318:44-45 (2. tammikuuta). http://www.bmj.com/cgi/reprint/318/7175/44.

Gotzxche, P. C. 1989. Methodology and overt and hidden bias in reports of 196 double-blinded trials of non-steroidal anti-inflammatory drugs in rheumatoid arthritis. Controlled Clinical Trials, 10:3159.

Guédon, J. 2001. Oldenburgin pitkässä varjossa: Librarians, research scientists, publishers, and the control of scientific publishing. Presentation to the May 2001 meeting of the Association of Research Libraries (ARL), at http://www.arl.org/arl/proceedings/138/guedon.html.

Jefferson, T., P. Alderson, E. Wager, and F. Davidoff. 2002a. Toimituksellisen vertaisarvioinnin vaikutukset. JAMA 5.6.287; 21:2784-2786.

Jefferson, T, E. Wager ja F. Davidoff. 2002b. Toimituksellisen vertaisarvioinnin laadun mittaaminen. JAMA June 5, 287; 21:2786-2790.

Jefferson, T. 2006. Laatu ja arvo: Tieteellisen tutkimuksen laadunvalvontamallit. In Nature . http://www.nature.com/nature/peerreview/debate/nature05031.html.

Koop T. ja U. Pöschl. 2006. Avoin, kaksivaiheinen vertaisarviointilehti. In Nature . http://www.nature.com/nature/peerreview/debate/nature04988.html.

Kumashiro, K. K. 2005. Thinking Collaborative about the Peer-Review Process for Journal-Article Publication. Harvard Educational Review 75; 3:257-287.

Pocock, S. J., M. D. Hughes ja R. J. Lee. 1987. Tilastolliset ongelmat kliinisten tutkimusten raportoinnissa. Tutkimus kolmesta lääketieteellisestä aikakauslehdestä. New England Journal of Medicine 317:426-432.

Regehr, G. ja G. Bordage. 2006. Sokaista vai olla sokeuttamatta? Mitä kirjoittajat ja arvioijat haluavat. Medical Education 40:832-839.

Schafner, A. C. 1994. Tieteellisten aikakauslehtien tulevaisuus: Lessons from the past. Information Technology and Libraries 13:239-47.

Sandewall, E. 2006. Vertaisarvioinnin hybridijärjestelmä. In Nature. http://www.nature.com/nature/peerreview/debate/nature04994.html.

Smith, R. 1999 BMJ:n vertaisarvioinnin avaaminen. BMJ 1318:4-5 (2. tammikuuta). http://www.bmj.com/cgi/content/full/318/7175/4.

Van Rooyen S., F. Godlee, S. Evans, N. Black ja R. Smith. 1999. Avoimen vertaisarvioinnin vaikutus arvioiden laatuun ja arvioijien suosituksiin: satunnaistettu tutkimus. BMJ 318:23-27 (2. tammikuuta). http://www.bmj.com/cgi/reprint/318/7175/23.

NOTES

1. Vrt. esimerkiksi Open Journal Systems http://pkp.sfu.ca/?q=ojs.

2. Seuraava http://arxiv.org/todays_stats.

.