Abstract

Ez a cikk a tudományos közösségekben a folyóiratok által betöltött különböző funkciók fényében tárgyalja a szakértői értékelés lebonyolításának legújabb innovációit.

A tudományos folyóiratok több mint 340 éve léteznek. Míg a korai folyóiratok között a szakértői értékelés kevésbé volt elterjedt, a tudományos és tudományos folyóiratok többsége ma már valamilyen szintű szakértői értékelést alkalmaz. Hosszú története és a tudományos közösségekben való szilárd megalapozottsága ellenére a szakértői értékelés egyre inkább a tudósok (Debate 2006) és még a laikus sajtó (Chang 2006) kritikája alá kerül. Úgy tűnik, hogy a vitát nagyrészt az elektronikus terjesztés és az internet használatának növekvő hatása táplálja a szakértői értékelés során. Az internet nemcsak a szakértői értékelés költségeit és erőfeszítéseit csökkentette a nagymértékben automatizált, webalapú irányítási rendszerek révén, hanem nagyfokú rugalmasságot is biztosított a szakértői értékelés elvégzésének módját illetően.

Számos szerző a “nyílt” szakértői értékelés különböző formáit támogatta. Bizonyos mértékig ezek a változtatásra irányuló felhívások arra összpontosítottak, hogy megszüntessék a bírálók személyazonosságának eltitkolásával kapcsolatos hagyományt. Mások a teljes szakértői bírálati jegyzőkönyv nyilvánosságra hozatalát vagy a bírálati folyamat bárki számára történő megnyitását szorgalmazták, aki észrevételeket kíván tenni. Még az is felmerült, hogy a publikációkat organikus dokumentumként kezeljék, amelyek az idő múlásával több változatban fejlődnek, amelyek az új információk és a kiegészítő megjegyzések tükrözése érdekében változnak (Bloom 2006).

Számos nagy tekintélyű folyóirat kezdett kísérletezni innovatív szakértői értékelési modellekkel. A British Medical Journal már 1999-ben eltörölte a vakítást a szakértői bírálati folyamatában (Smith 1999), és a BioMed Central folyóiratok közül sokan nyílt hozzáférést biztosítanak a teljes bírálati jegyzőkönyvhöz. A Nature 2006 júniusától kezdődően három hónapig kísérletezett azzal, hogy a hagyományos szakértői értékeléssel párhuzamosan nyilvános véleményezés céljából közzéteszi az előnyomtatványokat (Campbell 2006), a Public Library of Science (PLoS) pedig most indít új folyóiratot, a PLos One-t, amely minimális szűréssel szinte azonnal közzéteszi a cikkeket, és lehetővé teszi a nyilvános véleményezést.

Bár ezek a szakértői értékeléssel kapcsolatos kísérletek jelentős vitákat váltanak ki, a tudományos folyóiratok többsége továbbra is a hagyományos szakértői értékelés módszerét alkalmazza, amelyben egy kiválasztott szakértői csoport, amelynek személyazonosságát a szerző és a nyilvánosság elől eltitkolják, visszajelzést ad a szerkesztőnek, aki meghozza a végső publikációs döntést. Bár ez valószínűleg lassú folyamat lesz, úgy tűnik, hogy belépünk abba a korszakba, amikor a szakértői értékelés úgy fejlődik, hogy jobban kihasználja az internet nyújtotta rugalmasságot. Véleményem szerint ez csak egy aspektusa az évszázados tudományos folyóiratrendszer sokkal nagyobb átalakulásának, amely legalábbis részben a papíralapú és az elektronikus terjesztés közötti eredendő különbségeknek, valamint általánosabban az internet által kínált rugalmasságnak és kommunikációs hatékonyságnak köszönhető.

Majdnem tizenhárom évvel ezelőtt Ann Schaffner (1994) nagyon éleslátó cikket írt a tudományos folyóiratok jövőjét tárgyalva. A folyóiratok tudományos és tudományos közösségekben betöltött változatos és összetett szerepére összpontosított, amikor megpróbálta megérteni az új technológiának ezekre a folyóiratokra gyakorolt hatását. Ha megnézzük azt a vitát, hogy hogyan kellene a szakértői értékelést végezni (ha egyáltalán kellene), az érvek gyakran tükrözik, hogy az író vagy a felszólaló a folyóiratoknak a tudományos közösségekben betöltött konkrét funkciójára vagy funkcióira összpontosít. Meggyőződésem, hogy átgondoltabb vitát folytathatunk a szakértői értékelés szerepéről és a szakértői értékelés új módozatainak értékéről, ha követjük Schaffner példáját, és figyelembe vesszük a folyóiratok tudományos közösségekben betöltött sajátos szerepeit, amikor azt vizsgáljuk, hogy a szakértői értékelési folyamat hogyan használhatja ki a legjobban az elektronikus kommunikáció nyújtotta lehetőségeket.

A folyóiratok szerepe a tudományos közösségekben

Schaffner (1994) öt különböző, bár némileg átfedő szerepet azonosított, amelyeket a folyóiratok a tudományos közösségekben játszanak. Mint megjegyzi, ezeket valószínűleg némileg másképp is lehetne kategorizálni, de számomra az ő rendszere nagyon is értelmes.

Kollektív tudásbázis építése – Valószínűleg a folyóiratok legfontosabb szerepe a tudás archívumának kialakítása. A legtöbb ember egyetértene abban, hogy a folyóiratok alkotják az információk legátfogóbb, legfrissebb és leghitelesebb archívumát egy adott tudományterületen. Nyilvánvaló, hogy az ebben az archívumban található anyag pontossága és minősége központi jelentőségű. A szakértői értékelés az egyik legfontosabb mechanizmus az ezekben a folyóiratokban szereplő információk érvényesítésére.

Általában körülbelül tizennyolc hónapig tart, amíg egy lektorált cikk a benyújtástól a publikálásig eljut. Bár ez bizonyos mértékig csökkenthető a webalapú szakértői értékeléssel és az elektronikus publikálással, a szakértői értékelés és a felülvizsgálati folyamat egyszerűen időt vesz igénybe. Emellett a publikálható kézirat elkészítéséhez szükséges gondosság és erőfeszítés azt jelenti, hogy a kutatás elvégzése és az eredmények publikálásra történő benyújtása között akár hónapok is eltelhetnek. Ráadásul a kéziratokat gyakran nem fogadják el az első alkalommal, amikor benyújtják egy folyóirathoz, és előfordulhat, hogy több folyóirathoz is újra be kell nyújtani, mielőtt elfogadják a publikálásra. A végeredmény az, hogy a lektorált folyóiratokon keresztül terjesztett információk gyakran több évesek.

A tudástárunk szempontjából az archívum frissítésének sebessége, bár nem triviális, sokkal kevésbé fontos, mint a pontosság és az anyag minősége. Azt hiszem, a legtöbb ember egyetértene azzal, hogy a szakértői értékelés és a gondos átdolgozás, a szövegszerkesztés és a gépelés gondosságával és erőfeszítéseivel való helyes megalkotás messze felülmúlja a gyors közzététel szükségességét, ha ezeket a folyóiratokat a tudásunk archívumának tekintjük.

Az információ közlése – Az egy adott területen dolgozó tudósok közötti kommunikáció hasonlóan hangzik, mint a tudás archívumának felépítése. Vannak azonban fontos különbségek. A sebesség és az interaktivitás sokkal fontosabb ebben a szerepkörben. Ugyanakkor a szakértői értékelés sokkal kevésbé fontos, mivel egy adott terület szakértői tökéletesen képesek arra, hogy maguk döntsenek a terjesztett információ értékéről és pontosságáról. Egyesek azzal érvelnek, hogy a szakértői értékelés nélkül a tudósokat elárasztaná az információ (Editorial 2005). Úgy tűnik, hogy a fizika területén ez nem így van. Az arXiv.org jól ismert preprint szerverre havonta 5000 preprintet tesznek le, és naponta több tízezren lépnek be az oldalra, és úgy tűnik, hogy a rendszer – legalábbis ezen a területen – több mint tizenöt éve rendkívül jól működik.

A folyóiratok valószínűleg sokkal központibb szerepet játszottak az ilyen típusú kommunikációban történelmük korai szakaszában. Mivel ma más, hatékonyabb kommunikációs eszközök állnak rendelkezésre, azt gondolnánk, hogy a folyóiratoknak meglehetősen korlátozott szerepük van a kutatási eredmények tudósok közötti közlésében. Nem egyértelmű, hogy ez a helyzet. Először is, a tudományos és mérnöki ismeretek informális kommunikációjával kapcsolatos kutatások azt mutatják, hogy a kommunikációs módok területenként jelentősen eltérnek (Faxon Institute 1991). Például az olyan preprint-archívumokat, mint az arXiv.org, számos tudományterület gyorsan befogadta, de más területeken ritkán használják, annak ellenére, hogy egyesek összehangoltan próbálkoznak a bevezetésükkel. (Ez volt a helyzet az én területemen, az oktatáskutatásban.) A tudósok közötti informális kommunikációval kapcsolatos kutatások azt is sugallják, hogy a tudósok között megvitatott dolgok nagy része folyóiratcikknek bizonyul (Schaffner 1994). Bár a preprint archívumok, a listaszerverek és a vitafonalak valószínűleg egyre fontosabbak lesznek a területen dolgozó tudósok közötti kommunikációban, úgy tűnik, hogy a folyóiratok továbbra is jelentős szerepet játszanak az ilyen típusú kommunikációban.

A kutatás minőségének hitelesítése – A folyóiratok szerepet játszanak a közösségi normák fenntartásában is a kutatás és a tudományos munka végzésével kapcsolatban. Bizonyos mértékig ez úgy történik, hogy a folyóiratok megszűrik a publikált és így terjesztett anyagokat. A hatások ennél finomabbak is lehetnek. A tapasztalt tudósok munkája ritkán kap kemény kritikát. Ez nem azt jelenti, hogy ők mindig megkapják a kézirataik publikálását, de ők általában internalizálták a szakterület normáit, és tudják, hogyan kell a kutatást vagy az ösztöndíjat végezni és leírni, és sokkal kevésbé valószínű, hogy a bírálók a kezdőkhöz képest megróják őket.

Nem általános az egyetértés abban, hogy ez teljesen jó dolog. Egyesek azzal érveltek, hogy ez megfojtja a kreativitást, és a kezdő kutatókat szükségtelenül kemény kritikának teszi ki (Kumashiro 2005).

A jutalmak elosztása – A lektorált folyóiratokban való publikálás az egyik legfontosabb módja a tudósok értékelésének. Nemcsak a mennyiség fontos, hanem az is, hogy milyen folyóiratokban publikál valaki, ugyanolyan fontos, ha nem fontosabb. Ennek gyökerei egészen a londoni Királyi Társaság (Royal Society of London) Philosophical Transactions című folyóiratának a 17. század közepén történt megalakulásáig nyúlnak vissza.Bár a kinevezésről szóló döntések nem érintettek, e folyóirat fontos funkciója volt annak megállapítása, hogy ki érdemel elismerést bizonyos eredményekért vagy elméletekért. Guédon (2001) szerint a folyóirat szinte az ötletek szabadalmi hivatalaként szolgált. A folyóiratban való publikálással a tudósok vagy természetfilozófusok (ahogy akkoriban nevezték őket) megalapozhatták szellemi tulajdonuk tulajdonjogát. A tudósok közötti versengés és a felfedezésekkel kapcsolatos elismerésekkel kapcsolatos viták még ma is léteznek, és a folyóiratok még mindig betöltik a szellemi tulajdon apaságának dokumentálásában betöltött szerepüket. Ez a szerep egyértelműen a teljesítmény általánosabb mércéjeként bővült, és a szakértői értékelés – helyesen vagy helytelenül – fontos aspektusa ennek a szerepnek.

Tudományos közösségek építése – A folyóiratok számos módon a tudományos közösségek összekötésének eszközeként is működnek. Egy tudományág felnőtté válásának egyik jellemzője egy új folyóirat létrehozása: lényegében az új terület szellemi területének kijelölése. Ezen túlmenően a szerkesztőségi cikkek, véleménycikkek és a szerkesztői levelek gyakran szolgálnak fórumként a tudományág kérdéseinek megvitatására. Ezek olykor érdemi jellegűek, máskor pedig olyan kapcsolódó területekre terjednek ki, mint az eredmények társadalmi következményei, a finanszírozás vagy a szakterületen belüli képzési kérdések. A folyóiratok általában olyan hírek fórumaként is szolgálnak, mint például új kinevezések fontos pozíciókba vagy a tudományos közösség egy ismert tagjának elhunyta. Bár ez a szerep a rendelkezésre álló kommunikációs lehetőségek sokféleségével bizonyos mértékig csökkenhet, a folyóiratok továbbra is fontos szerepet játszanak a tudományos közösségek kialakításában és fenntartásában.

A szakértői értékelés a folyóiratok szerepéhez viszonyítva

A szakértői értékelés jelentősége egyértelműen változik a folyóiratok különböző funkciói között. A szakértői értékelés általában létfontosságúnak tekinthető a tudás archívumának kialakításában és a jutalmak elosztásában betöltött szerepek szempontjából. Kulcsszerepet játszik továbbá egy adott területen folyó kutatások minőségének érvényesítésében, de – amint azt Kumashiro megjegyzi – akadályozhatja az új ötletek és módszerek terjesztését is. A szakértői értékelés kevéssé értékes, és valószínűleg akadályozza az adott területen dolgozó tudósok közötti kommunikáció megkönnyítését, és nem releváns a tudományos közösségek építésében betöltött szerepe szempontjából.

A szakértői értékelés értéke azon a feltételezésen alapul, hogy érvényes mércét szolgáltat a kézirat minőségéről és a terület normáinak való megfeleléséről. Értéke ahhoz is kötődik, hogy visszajelzést ad, hogy a kéziratot átdolgozással javítani lehessen. Ezeket a feltételezéseket nagyrészt magától értetődőnek tartják, és ritkán kérdőjelezik meg, érvényességük azonban megkérdőjelezhető.

Jefferson és munkatársai (2002a) szisztematikus irodalmi áttekintést végeztek a szakértői értékelés hatásáról az orvosbiológiai folyóiratokban. Kevés ellenőrzött tanulmányt találtak, és ezek többsége olyan konkrét szerkesztési gyakorlatokra összpontosított, mint a vakítás vagy az ellenőrző listák használata a bírálati folyamatban. Egy további áttekintésben (2002b) a szerzők tíz olyan tanulmányt azonosítottak, amelyek a szakértői értékelés és a cikkek minősége közötti kapcsolatot vizsgálták. Csak egy hasonlította össze a lektorált cikkeket a nem lektorált cikkekkel, és ennek gyenge volt a vizsgálati terve. A többi a szakértői értékelés különböző módszereit vagy a minőség változását hasonlította össze a szakértői értékelésen alapuló átdolgozás előtt és után. Minden cikk különböző értékelési skálán alapuló szakértői értékeléseket használt. Úgy tűnt, hogy az értékelési eszközök egyikét sem vizsgálták pszichometriai minőség szempontjából. Jefferson et al. általános következtetése az, hogy nagyon kevés tudományosan megalapozott bizonyíték támasztja alá a szakértői értékelés értékét a kéziratok minőségének biztosításában – legalábbis az orvosbiológiai tudományokban.

Arra is van némi bizonyíték, hogy a szakértői értékelés nem feltétlenül sikeres a kutatási cikkek módszertani hibáinak felismerésében. Baxt és munkatársai (1998) egy fiktív kéziratot küldtek a bírálóknak, amelynek egyértelmű tervezési és elemzési hibái kizárták, hogy az eredmények alátámasszák a leírt tanulmány következtetéseit. Például azt állította, hogy a kezelési/kontrolcsoportokhoz véletlenszerű hozzárendelés történt, de az eljárás egyértelműen nem volt véletlenszerű. A vizsgálatban részt vevő 203 sürgősségi orvos az Annals of Emergency Medicine, a szakterület elismert folyóiratának tapasztalt bírálója volt. A bírálók átlagosan csak a kézirat végzetes hibáinak 34%-át azonosították, és a bírálók 41%-a jelezte, hogy a kéziratot publikálásra el kell fogadni. Tanulmányok sokasága is bizonyítja a módszertani hibák magas arányát a publikált orvosi kutatásokban (Pocock, Hughes, & Lee 1987; Gotzche 1989). Altman (2002) ezt számos okra vezeti vissza, többek között arra, hogy a bírálók nem rendelkeznek megfelelő statisztikai és kutatási tervezési szakértelemmel. Bár ezek a példák az orvosbiológiai tudományokból származnak, az ember azt gondolná, nem is remélve, hogy egy ilyen kritikus területen a legmegbízhatóbb kutatási gyakorlatokat alkalmazzák. Társadalomtudósként szerzett tapasztalataim alapján a módszertani hibák a társadalomtudományi folyóiratokban is gyakoriak.

A szakértői értékelés hatékony alkalmazása

A szakértői értékelés hatékonyságát igazoló bizonyítékok hiánya és az a tény, hogy a szigorúan szakértői értékeléssel ellátott folyóiratokban gyakran hibás kutatások jelennek meg, arra utal, hogy a szakértői értékelésnek nincs értéke? Szerintem nem. A szakértői értékelés sok tekintetben hasonlít az esküdtszéki rendszerünkhöz: bár hibás, mégis ez a legjobb, amink van (Jefferson 2006). A folyamat iránti megbecsülésem az alatt a tizenegy év alatt, amióta a Medical Education Online (MEO), az orvosi oktatás nyílt hozzáférésű, szakértői értékeléssel ellátott folyóiratának szerkesztője vagyok, egyre nőtt. A szakértői értékelés értéke nem annyira a rossz kéziratok kiszűrésének eszköze (bár hasznos, ha egy dühös szerzővel szemben több bíráló áll mögöttünk); ehelyett a szakértői értékelés értékes eszköz a publikált anyagok minőségének javítására. Folyamatosan meglepődöm azon az időn, erőfeszítésen és gondolkodáson, amelyet sok bíráló a bírálati folyamatba fektet. Az eredmény legtöbbször kiváló, építő jellegű visszajelzés, amelyet a legtöbb szerző örömmel fogad és felhasznál a kéziratai javítására.

Egy másik tény, amit néha figyelmen kívül hagynak, hogy míg az egyes bírálók gyakran nem vesznek észre bizonyos problémákat egy kéziratban, egy másik bíráló gyakran észreveszi a problémát. Minél több bíráló értékel egy kéziratot, annál valószínűbb, hogy a hibákat észreveszik és a problémákat azonosítják. Az internet használata a bírálatok elvégzéséhez drámaian csökkenti a szakértői értékeléssel járó költségeket és erőfeszítéseket, és lehetővé teszi, hogy kéziratonként nagyobb számú bírálót vonjanak be. A MEO-nál az a célunk, hogy minden kéziratot négy-hat konzulens bíráljon el, és ha többen vannak, még jobb. A bírálók kiválasztásának meglehetősen nyílt eljárásával könnyen elérhetjük ezt a célt. Jelenleg körülbelül háromszáz bírálónk van, akik önként jelentkeztek kéziratok bírálatára, és viszonylag könnyűnek találtuk, hogy szükség szerint bővítsük a bírálói körünket.

A szakértői értékelés hatékony működéséhez elengedhetetlen a szerkesztő szerepe. Bár a legtöbb bírálat értékes visszajelzést ad, a bírálók között nagy a változatosság a tárgyalt kérdésekben, és a visszajelzések időnként ellentmondásosak (és néha egyszerűen csak tévesek). Valakinek értelmet kell adnia a különböző bírálatoknak, és koherens összefoglalót kell készítenie a visszajelzésekről, és ha a kéziratot a közzététel előtt át kell dolgozni, világos útmutatást kell adni a szerzőnek. Nem arról van szó, hogy a szerkesztő feltétlenül bölcsebb vagy kevésbé hajlamos az elfogultságra, mint az egyes bírálók, csak valakinek át kell vennie az irányítást, hogy a visszajelzések és a szerzőnek szóló utasítások koherensek legyenek. Ellenkező esetben a szerzők megőrülnek.

A MEO-nál a bíráló szerkesztő visszajelző levelet küld a publikálási döntéssel, a visszajelzések összefoglalásával és adott esetben a publikálás előtt megoldandó kérdések összefüggő sorával. Ezen kívül visszaküldjük az összes recenzens megjegyzéseit és értékelését is, kivéve azokat a megjegyzéseket, amelyeket a recenzens csak a szerkesztő számára adott meg. Úgy vélem, a szerzők nagyra értékelik, hogy a szerkesztőtől megkapják az összes visszajelzést, valamint a kéziratuk átdolgozására vonatkozó egyértelmű iránymutatásokat. A szerzőnek küldött visszajelzések másolatát is elküldjük minden egyes bírálónak. Az a tapasztalatom, hogy a bírálók szinte minden esetben értékelik, ha megtudják a kézirat végső elbírálását, és látják, hogy a többi bíráló mit szólt hozzá.

Újítások a szakértői értékelésben

Amint már említettem, az internetes kommunikáció rugalmassága és hatékonysága lehetővé tette a szakértői értékelés különböző modelljeinek kikísérletezését. A szakirodalomban a legtöbbet tárgyalt innováció a szakértői bírálati folyamat átláthatóbbá tétele. Hagyományosan a bírálók személyazonosságát titokban tartják, és sok esetben a kéziratokat elfedik, hogy a szerzőkre és intézményeikre vonatkozó azonosító adatokat eltávolítsák. A nyílt szakértői értékelés a legalapvetőbb szinten a bírálók személyazonosságának nyilvánosságra hozatalából, vagy a szerzők személyazonosságának a bírálókkal való megismertetéséből, vagy mindkettőből állt a bírálat során. Ez természetesen nem függ az elektronikus közzétételtől; a bírálók személyazonosságának titokban tartásáról szóló bírálatok és viták már jóval az internet széles körű elterjedése előtt is folytak. Ez a kérdés meglehetősen jól kutatott (Goldbeck-Wood 1999). A bizonyítékok arra utalnak, hogy az anonimitás kevéssé befolyásolja a bírálat minőségét vagy az elfogadási arányt, de a bírálók személyazonosságának felfedése csökkentheti annak valószínűségét, hogy valaki önként jelentkezik bírálatra (van Rooyen et al. 1999).

A bizonyítékok ellenére, amelyek szerint a szakértői bírálati folyamat nyilvánosságra hozatala a jelek szerint nem befolyásolja a minőséget sem így, sem úgy, a vita folytatódott, főként a bírálók személyazonosságának nyilvánosságra hozatalának járulékos hatásaira összpontosítva. A pártolók azzal érveltek, hogy a bírálati folyamat megnyitása etikailag magasabb rendű, és alig vagy egyáltalán nem befolyásolja a folyamatot, sőt, a bírálati folyamat során nagyobb udvariasságra ösztönözhet (Godlee 2002; Morrison 2006). A nyílt szakértői értékeléssel kapcsolatos legfőbb aggályok a személyes elfogultságok megjelenésére és a megtorlás lehetőségére összpontosítanak az egyes szakterületeken belül általában nagyon szűk körben. Különös aggodalomra ad okot a fiatal kutatókra gyakorolt hatás, akik különösen sérülékenyek. A szakterület egyik legolvasottabb folyóiratának, az Orvosi Oktatásnak a szerzők és a bírálók körében végzett közelmúltbeli felmérése során a válaszadók határozottan támogatták mind a szerzők, mind a bírálók elvakítását (Regehr és Bordage 2006). Nincs egyértelmű konszenzus a kéziratok elvakításának szükségességéről, és mindkét oldal érvei meggyőzőnek tűnnek.

Noha a szakértői bírálati folyamat megnyitása nem függ az internettől, az internet megkönnyítheti a még átláthatóbb bírálati folyamatokat. A BioMed Central orvosi folyóiratok közül sokan teljesen nyílt bírálati folyamatot alkalmaznak, amelyben nemcsak a bírálók és a szerzők személyazonossága nyilvános, hanem a teljes bírálati jegyzőkönyv, beleértve a bírálók összes visszajelzését és a felülvizsgálati folyamat során a levelezés későbbi iterációit, a közzétett kézirattal együtt nyilvánosan hozzáférhetővé válik. A bírálati jegyzőkönyv teljes nyilvánosságra hozatala logisztikai okokból valószínűleg nem lenne megvalósítható egy papíralapú folyóirat esetében.

Egy újabb innováció, amely az internethez kötődik, az volt, hogy a bírálati folyamatot bárki számára megnyitották, aki hozzászólni kíván egy cikkhez. Mint említettük, a Nature nemrégiben kísérleti jelleggel nyílt bírálati folyamatot vezetett be a szokásos bírálati folyamatával párhuzamosan, a Public Library of Science pedig a PLoS One nevű új folyóiratot fogja bevezetni, amely kétlépcsős folyamatot alkalmaz, amelyben egyetlen tudományos szerkesztő végez egy kezdeti szűrést, amelyet egy nyilvános véleményezési és vitarendszer követ.

Még meg kell várni, hogy ezek a nyilvános bírálati rendszerek mennyire lesznek sikeresek. Számos kevésbé ismert szakfolyóirat van, amely nyilvános véleményezésen alapuló bírálati rendszert vezetett be. Az Electronic Transactions on Artificial Intelligence (ETAI) hibrid rendszert biztosít a szakértői értékelésre (Sandewall 2006). A folyóirat tárgykörébe illeszkedő kéziratokat azonnal közzéteszik nyilvános véleményezésre három hónapra, és ha folyamatos vita van, az időszak meghosszabbítható. A vitaidőszakot követően a szerzők lehetőséget kapnak arra, hogy a visszajelzések alapján átdolgozzák kéziratukat, majd a kéziratot kiküldik külső vak bírálatra. A bírálók azonban csak a publikálásról/elutasításról szóló döntést hozzák meg kommentár nélkül, mivel a kézirathoz már kiterjedt hozzászólás érkezett a nyilvánosságtól. Elfogadás esetén a cikkek általában egy hónapon belül megjelennek.

Atmospheric Chemistry and Physics kétlépcsős megközelítést alkalmaz, amely magában foglalja a nyilvános észrevételeket is (Koop és Poschl 2006). Az előszűrést követően a kéziratokat “vitairatként” teszik közzé, hogy a nyilvánosság nyolc héten keresztül véleményezhesse azokat. Ezen túlmenően a kijelölt bírálók közzéteszik aláírt észrevételeiket a többi olvasó kéretlen megjegyzéseivel együtt. A szerzőknek lehetőségük van arra is, hogy válaszoljanak az észrevételekre. A második szakaszban a kéziratokat hagyományos bírálati eljárásokkal bírálják el. Az elfogadott cikkek a fő folyóiratban jelennek meg. A vitaanyagok és a hozzászólások szintén állandóan fennmaradnak a honlapon.

Ezek az innovatív rendszerek, amelyek a nyilvános hozzászólásokat a hagyományosabb bírálat különböző formáival kombinálják, izgalmasak és valódi érdemeik vannak. Lehetőségük van arra, hogy lényegesen jobban kiegyensúlyozzák a folyóiratok tudományos és tudományos közösségekben betöltött különböző szerepeit. A kéziratok gyors első közzététele a nyilvános hozzászólási és vitamechanizmusokkal együtt a tudósok közötti kommunikáció megkönnyítését szolgálja. Ugyanakkor a nyilvános hozzászólásoknak a végső közzététel előtti hagyományosabb szakértői értékeléssel együtt történő felhasználása a hagyományos szakértői értékeléssel azonos, sőt talán még magasabb szintű minőségellenőrzést biztosít. A dolgozatok nyilvános megvitatásának folyamata jól illeszkedik a tudományos közösségek támogatásának, valamint a kutatás és a tudományos munka végzésére vonatkozó normák terjesztésének és fenntartásának szerepéhez is.

Az idő múlásával kiderül, hogy az évszázados peer-review eljárásnak ezek az új megközelítései valóban hozzáadott értéket képviselnek-e. Az elektronikus publikálás új korszaka még gyerekcipőben jár, és még sokat kell tanulnunk arról, hogyan lehet a legjobban kihasználni az új médiumokat és kommunikációs eszközöket. Az a tény, hogy tudományos publikációs rendszerünk a tudomány és a technológia hatalmas fejlődése ellenére több mint 340 éven át csak szerény változtatásokkal nagyrészt érintetlen maradt, azt bizonyítja, hogy mennyire jól működik. A következő évtizedben az lesz a kihívásunk, hogy a rendszert ehhez az új és nagyon eltérő médiumhoz igazítsuk, megtartva a továbbra is jól működő elemeket, és megtalálva a módját annak, hogy olyan innovatív kommunikációs és értékelési megközelítéseket építsünk be, amelyek az elektronikus közzététel által nyújtott lehetőségekre építenek.

David Solomon oktatáspszichológus, aki tizenkilenc éve dolgozik az orvosképzésben. Jelenleg a Michigani Állami Egyetem Orvostudományi Tanszékének és az Oktatási Kutatási és Fejlesztési Irodának docense a Michigan Állami Egyetem Emberi Orvostudományi Főiskoláján. Kutatásait főként a teljesítményértékelés, a szakválasztás és a távoktatás területén végezte. 1996-ban elindított egy elektronikus folyóiratot, az Medical Education Online-t, amely mára a szakterület elismert folyóiratává nőtte ki magát. Másik fő érdeklődési területe a nyílt hozzáférésű publikálás előmozdítása. A [email protected] címen érhető el.

Altman, D. G. 2002 Rossz minőségű orvosi kutatások: Mit tehetnek a folyóiratok? JAMA 287;21:2765-2767.

Baxt, W. G., J. F. Waeckerle, J. Berlin és M. L. Callahm. 1989. Ki bírálja el a recenzenseket? Fiktív kézirat használatának megvalósíthatósága a bírálók teljesítményének értékelésére. Annals of Emergency Medicine 32:310-317.

Bloom, T. 2006. Rendszerek: A lektorált szakirodalom online határai. In Nature. http://www.nature.com/nature/peerreview/debate/index.html.

Campbell, P. 2006. Nature Peer Review Trial and Debate. In Nature. http://www.nature.com/nature/peerreview/index.html.

Chang, A. 2006. Az online folyóiratok megkérdőjelezik a tudományos szakértői értékelést. Retrieved on November 19, 2006 from http://www.mercurynews.com/mld/mercurynews/news/breaking_news/15655422.htm.

Vita. 2006. “Peer Review” In Nature. http://www.nature.com/nature/peerreview/debate/index.html

Editorial. 2005. “Forradalmasította a szakértői értékelést?”. Nature Neuroscience 8; 4:397.

Faxon Institute. 1991. An Examination of Work-related Information Acquisition and Usage among Scientific, Medical and Technical Fields Westwood, Mass. Faxon Company.

Godlee, F. 2002. A recenzensek láthatóvá tétele. Nyíltság, elszámoltathatóság és elismerés. JAMA287; 21:2762-2765.

Goldbeck-Wood, S. 1999. Evidence on peer review: scientific quality control or smokescreen? BMJ 318:44-45 (január 2.). http://www.bmj.com/cgi/reprint/318/7175/44.

Gotzxche, P. C. 1989. Módszertan és nyílt és rejtett torzítások a nem-szteroid gyulladáscsökkentők 196 kettős vak vizsgálatáról szóló jelentésekben a rheumatoid arthritisben. Controlled Clinical Trials, 10:3159.

Guédon, J. 2001. Oldenburg hosszú árnyékában: Librarians, research scientists, publishers, and the control of scientific publishing. Előadás az Association of Research Libraries (ARL) 2001. májusi ülésén, http://www.arl.org/arl/proceedings/138/guedon.html.

Jefferson, T., P. Alderson, E. Wager, and F. Davidoff. 2002a. A szerkesztői szakértői értékelés hatásai. JAMA június 5, 287; 21:2784-2786.

Jefferson, T, E. Wager, and F. Davidoff. 2002b. A szerkesztői szakértői értékelés minőségének mérése. JAMA June 5, 287; 21:2786-2790.

Jefferson, T. 2006. Minőség és érték: A tudományos kutatás minőségellenőrzésének modelljei. In Nature . http://www.nature.com/nature/peerreview/debate/nature05031.html.

Koop T. és U. Pöschl. 2006. Egy nyílt, kétlépcsős szakértői értékelésű folyóirat. In Nature . http://www.nature.com/nature/peerreview/debate/nature04988.html.

Kumashiro, K. K. 2005. Együttgondolkodás a folyóirat-cikkek publikálásának szakértői bírálati folyamatáról. Harvard Educational Review 75; 3:257-287.

Pocock, S. J., M. D. Hughes és R. J. Lee. 1987. Statisztikai problémák a klinikai vizsgálatok jelentésében. Három orvosi folyóirat felmérése. New England Journal of Medicine 317:426-432.

Regehr, G., and G. Bordage. 2006. Megvakítani vagy nem megvakítani? Mit preferálnak a szerzők és a bírálók. Medical Education 40:832-839.

Schafner, A. C. 1994. A tudományos folyóiratok jövője: Tanulságok a múltból. Information Technology and Libraries 13:239-47.

Sandewall, E. 2006. A szakértői értékelés hibrid rendszere. In Nature. http://www.nature.com/nature/peerreview/debate/nature04994.html.

Smith, R. 1999 Opening up BMJ peer review. BMJ 1318:4-5 (január 2.). http://www.bmj.com/cgi/content/full/318/7175/4.

Van Rooyen S., F. Godlee, S. Evans, N. Black és R. Smith. 1999. A nyílt szakértői értékelés hatása a recenziók minőségére és a recenzensek ajánlásaira: randomizált kísérlet. BMJ 318:23-27 (január 2.). http://www.bmj.com/cgi/reprint/318/7175/23.

MEGJEGYZÉSEK

1. Például lásd: Open Journal Systems http://pkp.sfu.ca/?q=ojs.

2. Vö.