Abstract

Acest articol discută inovațiile recente în modul în care se realizează evaluarea colegială în lumina diferitelor funcții pe care revistele le îndeplinesc în comunitățile academice.

Revistele academice există de peste 340 de ani. În timp ce evaluarea inter pares era mai puțin frecventă printre primele reviste, majoritatea revistelor științifice și academice implementează astăzi un anumit nivel de evaluare inter pares. În ciuda istoriei sale îndelungate și a stabilirii sale ferme în comunitățile academice, evaluarea inter pares a fost supusă unei examinări tot mai amănunțite de către cercetători (Debate 2006) și chiar de către presa profană (Chang 2006). Dezbaterea pare să fie alimentată în mare măsură de impactul din ce în ce mai mare al diseminării electronice și de utilizarea internetului în realizarea evaluării inter pares. Internetul nu numai că a redus costul și efortul de realizare a evaluării inter pares prin intermediul unor sisteme de gestionare foarte automatizate bazate pe web, dar a oferit și o mare flexibilitate în ceea ce privește modul în care poate fi realizată evaluarea inter pares.

Mulți autori au susținut diverse forme de evaluare inter pares „deschisă”. Într-o anumită măsură, aceste apeluri la schimbare s-au concentrat pe eliminarea tradiției de a orbi identitatea recenzorilor. Alții au pledat pentru a face public întregul dosar de evaluare inter pares sau pentru a deschide procesul de evaluare pentru oricine dorește să ofere comentarii. Au existat chiar discuții privind tratarea publicațiilor ca documente organice care evoluează în timp, cu o serie de versiuni care se modifică pentru a reflecta noile informații și comentariile suplimentare (Bloom 2006).

O serie de reviste foarte respectate au început să experimenteze cu modele inovatoare de evaluare inter pares. British Medical Journal a renunțat la orbire în procesul de evaluare inter pares încă din 1999 (Smith 1999) și multe dintre revistele BioMed Central oferă acces liber la întregul dosar de evaluare. Pentru o perioadă de trei luni, începând din iunie 2006, Nature a experimentat publicarea de preprinturi pentru comentarii publice, în paralel cu evaluarea inter pares tradițională (Campbell 2006), iar Public Library of Science (PLoS) este în curs de a lansa o nouă revistă, PLos One, care va publica articole aproape imediat, cu o selecție minimă și va permite comentarii publice.

Chiar dacă aceste experimente de evaluare inter pares generează o cantitate semnificativă de discuții, majoritatea revistelor științifice continuă să folosească metodele tradiționale de evaluare inter pares în care un grup selectat de experți a căror identitate este ascunsă de autor și de public oferă feedback editorului care ia decizia finală de publicare. Deși este probabil să fie un proces lent, se pare că intrăm într-o eră în care evaluarea inter pares va evolua pentru a profita mai mult de flexibilitatea oferită de internet. În opinia mea, acesta este doar un aspect al unei transformări mult mai ample a sistemului de reviste științifice vechi de secole, care are loc cel puțin în parte datorită diferențelor inerente dintre distribuția pe hârtie și cea electronică și, în general, datorită flexibilității și eficienței în comunicare oferite de internet.

Cu aproape treisprezece ani în urmă, Ann Schaffner (1994) a scris un articol foarte perspicace în care a discutat despre viitorul revistelor științifice. Ea s-a concentrat pe rolurile variate și complexe pe care revistele le-au jucat în comunitățile științifice și academice, încercând să înțeleagă impactul noilor tehnologii asupra acestor reviste. Dacă ne uităm la dezbaterea privind modul în care ar trebui să se facă evaluarea inter pares (dacă ar trebui să se facă), argumentele reflectă adesea concentrarea autorului sau a vorbitorului asupra unei sau mai multor funcții specifice pe care jurnalele le joacă în comunitățile științifice. Sunt convins că putem avea o discuție mai atentă despre rolul evaluării colegiale și despre valoarea noilor moduri de evaluare colegială dacă urmăm exemplul lui Schaffner în a lua în considerare rolurile specifice ale revistelor în comunitățile academice atunci când analizăm modul în care procesul de evaluare colegială poate utiliza cel mai bine opțiunile oferite de comunicarea electronică.

Rolurile revistelor în comunitățile academice

Schaffner (1994) a identificat cinci roluri distincte, deși oarecum suprapuse, pe care revistele le joacă în comunitățile academice. După cum notează ea, acestea ar putea fi probabil clasificate oarecum diferit, dar pentru mine schema ei are mult sens.

Constituirea unei baze colective de cunoștințe – Probabil că cel mai important rol pe care îl joacă revistele este formarea arhivei noastre de cunoștințe. Cei mai mulți oameni ar fi de acord că revistele formează cea mai cuprinzătoare, actualizată și autoritară arhivă de informații într-un anumit domeniu științific. Evident, acuratețea și calitatea materialelor conținute în această arhivă sunt de o importanță centrală. Revizuirea colegială servește drept unul dintre cele mai importante mecanisme de validare a informațiilor conținute în aceste reviste.

În general, este nevoie de aproximativ optsprezece luni pentru ca un articol revizuit de colegi să treacă de la depunere la publicare. Deși acest timp poate fi redus într-o oarecare măsură prin evaluarea colegială bazată pe web și prin publicarea electronică, procesul de evaluare colegială și de revizuire necesită pur și simplu timp. De asemenea, grija și efortul de care este nevoie pentru a elabora un manuscris publicabil înseamnă că pot trece luni între momentul în care se desfășoară cercetarea și momentul în care rezultatele sunt chiar trimise spre publicare. În plus, deseori, manuscrisele nu sunt acceptate prima dată când sunt trimise la o revistă și pot fi retrimise la mai multe reviste înainte de a fi acceptate pentru publicare. Rezultatul net este că informațiile diseminate prin intermediul revistelor de specialitate sunt adesea vechi de câțiva ani.

Din perspectiva arhivei noastre de cunoștințe, viteza de actualizare a arhivei, deși nu este banală, este o preocupare mult mai puțin importantă decât acuratețea și calitatea materialului. Cred că cei mai mulți oameni ar fi de acord că obținerea unui material corect prin grija și efortul de evaluare colegială și de revizuire atentă, de editare a copiei și de tipărire depășește cu mult nevoia de publicare rapidă atunci când privim aceste reviste ca arhiva noastră de cunoștințe.

Comunicarea informațiilor – Comunicarea între cercetătorii care lucrează într-un anumit domeniu sună similar cu construirea unei arhive de cunoștințe. Cu toate acestea, există diferențe importante. Viteza și interactivitatea sunt mult mai importante pentru acest rol. În același timp, evaluarea inter pares este mult mai puțin importantă, deoarece experții dintr-un domeniu sunt perfect capabili să ia propriile decizii cu privire la valoarea și acuratețea informațiilor care sunt diseminate. Unii au susținut că, fără evaluarea inter pares, cercetătorii ar fi inundați de informații (Editorial 2005). Acest lucru nu pare să fie cazul în domeniul fizicii. Binecunoscutul server de preprinturi arXiv.org are până la 5 000 de preprinturi depuse în fiecare lună și zeci de mii de persoane accesează site-ul în fiecare zi, iar sistemul pare să fi funcționat extrem de bine – cel puțin în acest domeniu – timp de peste cincisprezece ani.

Revistele au jucat probabil un rol mult mai central în acest tip de comunicare la începutul istoriei lor. Cu alte mijloace de comunicare mai eficiente disponibile astăzi, s-ar putea crede că jurnalele ar avea un rol destul de limitat în comunicarea rezultatelor cercetării între cercetători. Nu este clar că acesta este cazul. În primul rând, cercetările privind comunicarea informală a cunoștințelor științifice și inginerești sugerează că modurile de comunicare variază substanțial între domenii (Faxon Institute 1991). De exemplu, arhivele de pretipărire, cum ar fi arXiv.org, au fost adoptate rapid de o serie de domenii, dar sunt rareori utilizate în alte domenii, în ciuda încercărilor concertate ale unor persoane de a le implementa. (Acesta a fost cazul în domeniul meu de cercetare educațională.) Cercetările privind comunicarea informală între oamenii de știință sugerează, de asemenea, că o mare parte din ceea ce se discută între cercetători se dovedește a fi articole din reviste (Schaffner 1994). În timp ce arhivele de pretipărire, listele de discuții și discuțiile pe fir de discuție vor crește probabil în importanță pentru comunicarea între cercetătorii care lucrează într-un domeniu, revistele par să își păstreze în mod clar un rol semnificativ în acest tip de comunicare.

Validarea calității cercetării – Revistele joacă, de asemenea, un rol în menținerea standardelor comunității în ceea ce privește modul în care se desfășoară cercetarea și erudiția. Într-o anumită măsură, acest lucru se face pe măsură ce revistele filtrează ceea ce este publicat și, prin urmare, diseminat. Efectele pot fi, de asemenea, mai subtile. Lucrările cercetătorilor cu experiență rareori primesc recenzii dure. Acest lucru nu înseamnă că manuscrisele lor sunt întotdeauna publicate, dar aceștia tind să fi internalizat normele din domeniu și să știe cum ar trebui să se desfășoare și să fie descrisă cercetarea sau erudiția și este mult mai puțin probabil ca novicii să fie pedepsiți de recenzenți.

Nu există un acord universal că acesta este în întregime un lucru bun. Unii au susținut că acest lucru înăbușă creativitatea și supune în mod inutil cercetătorii începători la critici dure (Kumashiro 2005).

Distribuirea recompenselor – Publicarea în reviste de specialitate este unul dintre principalele moduri în care sunt evaluați cercetătorii. Nu numai cantitatea este importantă, ci și revistele în care se publică sunt la fel de importante, dacă nu chiar mai importante. Rădăcinile acestei situații se întorc până la formarea revistei Philosophical Transactions a Societății Regale din Londra la mijlocul secolului al XVII-lea. în timp ce deciziile de titularizare nu erau implicate, o funcție importantă a acelei reviste era de a stabili cine merita creditul pentru anumite descoperiri sau teorii. Potrivit lui Guédon (2001), revista a servit aproape ca un birou de brevete pentru idei. Prin publicarea în revistă, oamenii de știință sau filozofii naturali (așa cum erau numiți la acea vreme) puteau stabili dreptul de proprietate asupra proprietății lor intelectuale. Concurența între oamenii de știință și controversele cu privire la creditul pentru descoperiri sunt încă o problemă și astăzi, iar revistele încă îndeplinesc rolul de a documenta paternitatea proprietății intelectuale. Acest rol s-a extins în mod clar ca o măsură mai generală a realizărilor, iar evaluarea inter pares – în mod corect sau nu – este un aspect important al acestui rol.

Consolidarea comunităților științifice – Revistele acționează, de asemenea, ca un mijloc de a lega o comunitate științifică în mai multe moduri. Un semn distinctiv al maturizării unei discipline este înființarea unei noi reviste: în esență, jalonarea teritoriului intelectual al noului domeniu. Dincolo de aceasta, editorialele, articolele de opinie și scrisorile adresate editorului servesc adesea drept forum de dezbatere a problemelor din cadrul disciplinei. Uneori acestea sunt substanțiale, iar alteori se extind la domenii conexe, cum ar fi implicațiile sociale ale constatărilor, finanțarea sau problemele de formare din cadrul domeniului. De asemenea, revistele servesc în mod obișnuit drept forum pentru știri, cum ar fi noile numiri în posturi importante sau decesul unui membru bine cunoscut al comunității academice. Deși este posibil ca acest rol să se diminueze într-o oarecare măsură odată cu varietatea de opțiuni de comunicare disponibile, revistele continuă să joace un rol important în formarea și menținerea comunităților științifice.

Revizuirea colegială în raport cu rolurile revistelor

Relevanța revizuirii colegiale variază în mod clar între diferitele funcții ale revistelor. Revizuirea colegială este, în general, considerată vitală pentru rolurile de formare a unei arhive de cunoștințe și de distribuire a recompenselor. Este, de asemenea, joacă un rol esențial în validarea calității cercetării într-un domeniu, dar, așa cum a remarcat Kumashiro, poate, de asemenea, să împiedice diseminarea de noi idei și metode. Revizuirea colegială are o valoare redusă și, probabil, constituie un obstacol în facilitarea comunicării între cercetătorii dintr-un domeniu și nu este relevantă pentru rolul de a construi comunități științifice.

Valoarea revizuirii colegiale se bazează pe presupunerea că aceasta oferă o măsură validă a calității unui manuscris și a aderenței acestuia la normele din domeniu. Valoarea sa este, de asemenea, legată de furnizarea de feedback, astfel încât un manuscris să poată fi îmbunătățit prin revizuire. Aceste presupuneri sunt în mare parte luate de la sine și rareori contestate, însă validitatea lor poate fi pusă la îndoială.

Jefferson et al. (2002a) au realizat o analiză sistematică a literaturii de specialitate cu privire la efectul revizuirii colegiale în revistele biomedicale. Ei au găsit puține studii controlate, iar cele mai multe dintre acestea se concentrau pe practici editoriale specifice, cum ar fi orbirea sau utilizarea listelor de verificare în procesul de revizuire. Într-o altă analiză (2002b), autorii au identificat zece studii care au analizat relația dintre evaluarea inter pares și calitatea articolelor. Doar unul singur a comparat articolele revizuite de către colegi cu cele care nu au fost revizuite de către colegi, iar designul studiului a fost slab. Restul au comparat diverse metode de evaluare inter pares sau schimbarea calității înainte și după revizuirea bazată pe evaluarea inter pares. Fiecare articol a folosit evaluări ale experților pe baza unei scale de evaluare diferite. Niciunul dintre instrumentele de rating nu părea să fi fost evaluat din punct de vedere al calității psihometrice. Concluzia generală a lui Jefferson et al. este că există foarte puține dovezi solide din punct de vedere științific care să susțină valoarea revizuirii inter pares în asigurarea calității manuscriselor – cel puțin în domeniul științelor biomedicale.

Există, de asemenea, unele dovezi că evaluarea inter pares nu este neapărat un succes în identificarea defectelor metodologice în articolele de cercetare. Baxt et al. (1998) au trimis recenzorilor un manuscris fictiv cu defecte clare de proiectare și de analiză care împiedicau rezultatele să susțină concluziile studiului care era descris. De exemplu, s-a afirmat că a existat o repartizare aleatorie a grupurilor de tratament/control, dar procedura nu a fost în mod clar aleatorie. Cei 203 medici de urgență care au participat la studiu au fost recenzenți cu experiență pentru Annals of Emergency Medicine, o revistă respectată în domeniu. În medie, recenzorii au identificat doar 34% dintre defectele fatale din manuscris, iar 41% dintre recenzori au indicat că manuscrisul ar trebui acceptat pentru publicare. Există, de asemenea, o multitudine de studii care demonstrează rata ridicată a erorilor metodologice în cercetările medicale publicate (Pocock, Hughes, & Lee 1987; Gotzche 1989). Altman (2002) pune acest lucru pe seama unei varietăți de cauze, inclusiv lipsa de expertiză statistică și de proiectare a cercetării în rândul recenzorilor. Deși aceste exemple provin din științele biomedicale, s-ar putea crede, ca să nu mai vorbim de speranță, că cele mai solide practici de cercetare ar fi folosite într-un domeniu atât de critic. Pe baza experienței mele ca om de știință socială, erorile metodologice sunt, de asemenea, frecvente în revistele de științe sociale.

Utilizarea eficientă a evaluării inter pares

Nu există dovezi care să valideze eficiența evaluării inter pares și faptul că cercetările defectuoase sunt adesea publicate în reviste riguros evaluate de colegi sugerează că evaluarea inter pares este lipsită de valoare? Eu cred că nu. În multe privințe, evaluarea inter pares este paralelă cu sistemul nostru de juriu: deși are defecte, este cel mai bun pe care îl avem (Jefferson 2006). Aprecierea mea pentru acest proces a crescut de-a lungul celor unsprezece ani în care am fost editor al Medical Education Online (MEO), o revistă cu acces liber și evaluare colegială în domeniul educației medicale. Valoarea evaluării colegiale nu este atât de mult ca mijloc de filtrare a manuscriselor slabe (deși este util să ai sprijinul mai multor evaluatori atunci când te confrunți cu un autor furios); în schimb, evaluarea inter pares este valoroasă ca mijloc de îmbunătățire a calității celor publicate. Sunt mereu uimit de timpul, efortul și gândirea pe care mulți recenzenți le depun în procesul de revizuire. Rezultatul, de cele mai multe ori, este un feedback constructiv excelent pe care majoritatea autorilor îl salută și îl folosesc pentru a-și îmbunătăți manuscrisele.

Un alt fapt care este uneori trecut cu vederea este faptul că, în timp ce recenzorilor individuali le scapă adesea probleme specifice într-un manuscris, un alt recenzent prinde adesea problema. Cu cât sunt mai mulți recenzenți care evaluează un manuscris, cu atât este mai probabil ca erorile să fie detectate și problemele să fie identificate. Utilizarea internetului pentru efectuarea evaluărilor reduce dramatic costul și efortul implicat în evaluarea inter pares și face posibilă includerea unui număr mai mare de evaluatori pentru fiecare manuscris. Obiectivul nostru la MEO este de a avea între patru și șase consultanți care să revizuiască fiecare manuscris, iar dacă sunt mai mulți, și mai bine. Utilizând un proces destul de deschis pentru selectarea recenzorilor, am constatat că este ușor să atingem acest obiectiv. În prezent, avem aproximativ trei sute de consultanți care s-au oferit voluntar să revizuiască manuscrisele și am constatat că este relativ ușor să adăugăm la grupul nostru de consultanți în funcție de necesități.

Pentru ca evaluarea inter pares să funcționeze eficient, rolul unui editor este crucial. Deși majoritatea recenziilor oferă un feedback valoros, există o mare variabilitate între recenzenți în ceea ce privește problemele abordate, iar feedback-ul este ocazional contradictoriu (și, din când în când, pur și simplu greșit). Cineva trebuie să dea un sens diverselor recenzii și să ofere un rezumat coerent al feedback-ului, iar dacă manuscrisul trebuie revizuit înainte de publicare, trebuie să se ofere un set clar de instrucțiuni pentru autor. Nu înseamnă că editorul este neapărat mai înțelept sau mai puțin predispus la prejudecăți decât recenzenții individuali, ci doar că cineva trebuie să se ocupe de acest lucru, astfel încât feedback-ul și instrucțiunile pentru autor să fie coerente. În caz contrar, autorii devin nebuni.

La MEO, editorul de recenzii oferă o scrisoare de feedback cu decizia de publicare, un rezumat al feedback-ului și, dacă este cazul, un set coerent de probleme care trebuie abordate înainte de publicare. În plus, trimitem înapoi atât comentariile, cât și evaluările de la toți recenzenții, cu excepția comentariilor pe care recenzentul le-a specificat doar pentru editor. Cred că autorii apreciază să primească toate comentariile, precum și un set clar de orientări din partea editorului pentru a-și revizui manuscrisele. De asemenea, trimitem fiecărui recenzent copii conforme ale feedback-ului care este trimis autorului. Din experiența mea, recenzenții apreciază aproape în mod universal atât aflarea dispoziției finale a unui manuscris, cât și faptul că văd ce au avut de spus ceilalți recenzenți despre acesta.

Noutăți în evaluarea inter pares

După cum am menționat, flexibilitatea și eficiența comunicării prin Internet a făcut posibilă experimentarea unei varietăți de modele diferite de evaluare inter pares. Singura inovație care a fost discutată cel mai mult în literatura de specialitate este transparentizarea procesului de peer-review. În mod tradițional, identitatea evaluatorilor colegiali este confidențială și, în multe cazuri, manuscrisele sunt mascate pentru a elimina orice informații de identificare referitoare la autori și la instituțiile acestora. La cel mai elementar nivel, o evaluare inter pares deschisă a constat în a face publică identitatea recenzorilor sau în a face cunoscută identitatea autorilor, sau ambele, în timpul evaluării. Bineînțeles, acest lucru nu depinde de publicarea electronică; examinarea și dezbaterea privind păstrarea confidențialității identității recenzenților datează cu mult înainte ca internetul să devină disponibil pe scară largă. Această problemă a fost destul de bine cercetată (Goldbeck-Wood 1999). Dovezile sugerează că anonimatul are un impact redus asupra calității recenziei sau a ratelor de acceptare, dar dezvăluirea identității recenzorilor poate scădea probabilitatea ca cineva să se ofere voluntar pentru recenzie (van Rooyen et al. 1999).

În ciuda dovezilor că deschiderea procesului de evaluare inter pares la scrutinul public nu pare să afecteze calitatea într-un fel sau altul, dezbaterea a continuat, concentrându-se în principal pe efectele auxiliare ale dezvăluirii identității recenzorilor. Susținătorii au argumentat că deschiderea procesului de revizuire este superioară din punct de vedere etic, având un impact redus sau inexistent asupra procesului și că, de fapt, poate încuraja o mai mare civilizație în procesul de revizuire (Godlee 2002; Morrison 2006). Preocupările majore cu privire la evaluarea deschisă de către colegi se concentrează asupra introducerii prejudecăților personale și a potențialului de răzbunare în ceea ce tinde să fie o lume foarte mică în cadrul unor domenii specifice. Există o preocupare specială cu privire la impactul asupra tinerilor cercetători, care sunt deosebit de vulnerabili. Într-un sondaj recent efectuat atât în rândul autorilor, cât și al recenzorilor pentru Medical Education, o revistă foarte citită în acest domeniu, respondenții au susținut cu tărie orbirea atât a autorilor, cât și a recenzorilor (Regehr și Bordage 2006). Nu există un consens clar cu privire la faptul dacă manuscrisele ar trebui să fie orbite, iar argumentele de ambele părți par convingătoare.

Deși deschiderea procesului de evaluare colegială nu este condiționată de internet, internetul poate facilita procese de evaluare și mai transparente. Multe dintre revistele medicale BioMed Central folosesc un proces de revizuire complet deschis, în care nu numai că identitatea recenzorilor și a autorilor este publică, ci și dosarul complet al revizuirii, inclusiv toate comentariile recenzorilor și iterațiile ulterioare ale corespondenței în procesul de revizuire, sunt puse la dispoziția publicului împreună cu manuscrisul publicat. Dezvăluirea completă a dosarului de revizuire nu ar fi probabil fezabilă cu o revistă pe suport de hârtie din motive logistice.

O inovație mai recentă, care este condiționată de internet, a fost deschiderea procesului de revizuire pentru oricine dorește să comenteze o lucrare. După cum s-a menționat, Nature a implementat recent un proces deschis de recenzare pe bază de testare, în paralel cu procesul lor normal de recenzare, iar Public Library of Science va implementa PLoS One, o nouă revistă care va utiliza un proces în două etape în care un singur editor universitar efectuează un filtru inițial, urmat de un sistem pentru comentarii și discuții publice.

Rămâne de văzut cât de mult succes vor avea aceste sisteme de revizuire publică. Există o serie de reviste de specialitate mai puțin cunoscute care au implementat sisteme de revizuire bazate pe comentarii publice. Electronic Transactions on Artificial Intelligence (ETAI) oferă un sistem hibrid de evaluare inter pares (Sandewall 2006). Manuscrisele care se încadrează în domeniul de activitate al revistei sunt postate imediat pentru comentarii publice timp de trei luni, iar dacă există o discuție continuă, perioada poate fi prelungită. După perioada de discuții, autorilor li se oferă posibilitatea de a-și revizui manuscrisele pe baza feedback-ului, iar apoi manuscrisul este trimis pentru o evaluare externă oarbă. Cu toate acestea, recenzorii oferă doar o decizie de publicare/respingere fără comentarii, deoarece manuscrisul a primit deja comentarii ample din partea publicului. Dacă sunt acceptate, articolele sunt, de obicei, publicate în decurs de o lună.

Atmospheric Chemistry and Physics utilizează o abordare în două etape care include comentariile publicului (Koop și Poschl 2006). După o preselecție, manuscrisele sunt publicate ca „documente de discuție” pentru comentarii publice pentru o perioadă de opt săptămâni. În plus, recenzenții desemnați publică comentariile lor semnate împreună cu comentariile nesolicitate ale altor cititori. Autorilor li se permite, de asemenea, să răspundă la aceste comentarii. Într-o a doua etapă, manuscrisele sunt revizuite folosind procedurile tradiționale de revizuire. Articolele acceptate sunt publicate în revista principală. Toate documentele de discuție și comentariile sunt, de asemenea, menținute permanent pe site.

Aceste sisteme inovatoare care combină comentariile publice cu diverse forme de revizuire mai tradițională sunt intrigante și au un merit real. Ele au potențialul de a face o treabă semnificativ mai bună de echilibrare a diferitelor roluri pe care revistele le joacă în comunitățile științifice și academice. Publicarea inițială rapidă a manuscriselor cu mecanisme pentru comentarii și discuții publice are rolul de a facilita comunicarea între cercetători. În același timp, utilizarea acestor comentarii publice împreună cu o evaluare inter pares mai tradițională înainte de publicarea finală oferă același nivel de control al calității sau chiar un nivel mai ridicat decât cel al evaluării inter pares tradiționale. De asemenea, procesul de dezbatere publică a lucrărilor se potrivește bine cu rolurile de încurajare a comunităților științifice și de diseminare și susținere a standardelor de desfășurare a cercetării și a studiilor.

În timp, vom vedea dacă aceste noi abordări ale procesului vechi de secole de peer-review adaugă o valoare reală. Această nouă eră a publicării electronice este încă la început și mai avem multe de învățat despre cum să folosim cel mai bine noile mijloace și instrumente de comunicare. Faptul că sistemul nostru de publicare științifică a rămas în mare parte intact, cu doar modificări modeste, timp de peste 340 de ani, în ciuda progreselor uriașe în știință și tehnologie, este o dovadă a cât de bine a funcționat. Provocarea noastră în următorul deceniu va fi aceea de a adapta sistemul la acest mediu nou și foarte diferit, menținând componentele care continuă să funcționeze bine și găsind modalități de a încorpora abordări inovatoare în materie de comunicare și evaluare care să se bazeze pe capacitățile oferite de publicarea electronică.

David Solomon este un psiholog educațional care a lucrat în domeniul educației medicale timp de nouăsprezece ani. În prezent, este profesor asociat în cadrul Departamentului de Medicină și al Biroului de Cercetare și Dezvoltare Educațională din cadrul Colegiului de Medicină Umană de la Universitatea de Stat din Michigan. Cercetările sale s-au desfășurat în principal în domeniile evaluării performanței, alegerii specialității și învățării la distanță. În 1996, a inițiat o revistă electronică, Medical Education Online, care a ajuns să fie o revistă bine stabilită în domeniu. Un alt interes major al său este promovarea publicării cu acces liber. Poate fi contactat la [email protected].

Altman, D. G. 2002 Cercetare medicală de slabă calitate: Ce pot face revistele? JAMA 287;21:2765-2767.

Baxt, W. G., J. F. Waeckerle, J. Berlin, și M. L. Callahm. 1989. Cine analizează recenzorii? Fezabilitatea utilizării manuscriselor fictive pentru a evalua performanța recenzorilor colegiali. Analele de medicină de urgență 32:310-317.

Bloom, T. 2006. Systems: Frontierele online ale literaturii recenzate de colegi. În Nature. http://www.nature.com/nature/peerreview/debate/index.html.

Campbell, P. 2006. Nature Peer Review Trial and Debate. În Nature. http://www.nature.com/nature/peerreview/index.html.

Chang, A. 2006. Revistele online sfidează evaluarea științifică inter pares. Retrieved on November 19, 2006 from http://www.mercurynews.com/mld/mercurynews/news/breaking_news/15655422.htm.

Dezbatere. 2006. „Peer Review” În Nature. http://www.nature.com/nature/peerreview/debate/index.html

Editorial. 2005. „Revoluționat peer review?”. Nature Neuroscience 8; 4:397.

Faxon Institute. 1991. An Examination of Work-related Information Acquisition and Usage among Scientific, Medical and Technical Fields Westwood, Mass. Faxon Company.

Godlee, F. 2002. Making reviewers visible. Deschidere, responsabilitate și credit. JAMA287; 21:2762-2765.

Goldbeck-Wood, S. 1999. Dovezi privind evaluarea inter pares: control științific de calitate sau perdea de fum? BMJ 318:44-45 (2 ianuarie). http://www.bmj.com/cgi/reprint/318/7175/44.

Gotzxche, P. C. 1989. Metodologie și părtinire evidentă și ascunsă în rapoartele a 196 de studii dublu-orbite ale medicamentelor antiinflamatoare nesteroidiene în artrita reumatoidă. Controlled Clinical Trials, 10:3159.

Guédon, J. 2001. În umbra lungă a lui Oldenburg: Bibliotecarii, cercetătorii, editorii și controlul publicării științifice. Prezentare la reuniunea din mai 2001 a Association of Research Libraries (ARL), la http://www.arl.org/arl/proceedings/138/guedon.html.

Jefferson, T., P. Alderson, E. Wager și F. Davidoff. 2002a. Effects of editorial peer review. JAMA 5 iunie 287; 21:2784-2786.

Jefferson, T, E. Wager, și F. Davidoff. 2002b. Măsurarea calității revizuirii colegiale editoriale. JAMA 5 iunie, 287; 21:2786-2790.

Jefferson, T. 2006. Calitate și valoare: Modele de control al calității pentru cercetarea științifică. În Nature . http://www.nature.com/nature/peerreview/debate/nature05031.html.

Koop T., și U. Pöschl. 2006. An open, two-stage peer-review journal. În Nature . http://www.nature.com/nature/peerreview/debate/nature04988.html.

Kumashiro, K. K. 2005. Thinking Collaboratively about the Peer-Review Process for Journal-Article Publication. Harvard Educational Review 75; 3:257-287.

Pocock, S. J., M. D. Hughes, and R. J. Lee. 1987. Probleme statistice în raportarea studiilor clinice. O anchetă a trei reviste medicale. New England Journal of Medicine 317:426-432.

Regehr, G., și G. Bordage. 2006. A orbi sau a nu orbi? Ce preferă autorii și recenzorii. Educație medicală 40:832-839.

Schafner, A. C. 1994. The future of scientific journals (Viitorul revistelor științifice): Lecții din trecut. Information Technology and Libraries 13:239-47.

Sandewall, E. 2006. Un sistem hibrid de evaluare inter pares. În Nature. http://www.nature.com/nature/peerreview/debate/nature04994.html.

Smith, R. 1999 Opening up BMJ peer review. BMJ 1318:4-5 (2 ianuarie). http://www.bmj.com/cgi/content/full/318/7175/4.

Van Rooyen S., F. Godlee, S. Evans, N. Black, și R. Smith. 1999. Efectul revizuirii deschise de către colegi asupra calității recenziilor și asupra recomandărilor recenzorilor: un studiu randomizat. BMJ 318:23-27 (2 ianuarie). http://www.bmj.com/cgi/reprint/318/7175/23.

NOTĂ

1. De exemplu, vezi Open Journal Systems http://pkp.sfu.ca/?q=ojs.

2. Vezi http://arxiv.org/todays_stats.

.