Abstract

Tento článek se zabývá nedávnými inovacemi ve způsobu recenzování s ohledem na různé funkce, které časopisy plní ve vědeckých komunitách.

Vědecké časopisy existují již více než 340 let. Zatímco mezi prvními časopisy bylo vzájemné hodnocení méně obvyklé, dnes většina vědeckých a odborných časopisů uplatňuje určitou úroveň vzájemného hodnocení. Navzdory své dlouhé historii a pevnému zakotvení ve vědeckých komunitách se peer review dostává pod stále větší kontrolu ze strany vědců (Debate 2006) a dokonce i v laickém tisku (Chang 2006). Zdá se, že tuto debatu do značné míry podněcuje rostoucí vliv elektronického šíření a využívání internetu při provádění peer review. Internet nejenže snížil náklady a úsilí při provádění peer review díky vysoce automatizovaným webovým systémům řízení, ale také poskytl velkou flexibilitu ve způsobu provádění peer review.

Mnoho autorů obhajovalo různé formy „otevřeného“ vzájemného hodnocení. Do jisté míry se tyto výzvy ke změně zaměřily na odstranění tradice zaslepování identity recenzentů. Jiní se zasazovali o to, aby byl zveřejněn celý záznam z peer-review nebo aby byl recenzní proces otevřen každému, kdo si přeje poskytnout své připomínky. Dokonce se diskutovalo o tom, že by se k publikacím mělo přistupovat jako k organickým dokumentům, které se v průběhu času vyvíjejí s řadou verzí, jež se mění tak, aby odrážely nové informace a dodatečné komentáře (Bloom 2006).

Řada vysoce respektovaných časopisů začala experimentovat s inovativními modely vzájemného hodnocení. British Medical Journal zrušil zaslepení ve svém recenzním řízení již v roce 1999 (Smith 1999) a mnoho časopisů BioMed Central poskytuje otevřený přístup ke kompletním recenzním záznamům. Časopis Nature po dobu tří měsíců počínaje červnem 2006 experimentoval se zveřejňováním preprintů k veřejnému připomínkování souběžně s tradičním recenzním řízením (Campbell 2006) a Public Library of Science (PLoS) právě zahajuje vydávání nového časopisu PLos One, který bude publikovat články téměř okamžitě s minimální kontrolou a umožní veřejné připomínkování.

Přestože tyto experimenty s recenzním řízením vyvolávají značné množství diskusí, většina vědeckých časopisů nadále používá tradiční metody recenzního řízení, při nichž vybraná skupina odborníků, jejichž identita je před autorem a veřejností zaslepena, poskytuje zpětnou vazbu redaktorovi, který přijímá konečné rozhodnutí o publikaci. Ačkoli to bude pravděpodobně pomalý proces, zdá se, že vstupujeme do éry, kdy se peer review bude vyvíjet tak, aby více využívalo flexibility, kterou nabízí internet. Podle mého názoru se jedná pouze o jeden z aspektů mnohem rozsáhlejší transformace staletého systému vědeckých časopisů, k níž dochází přinejmenším zčásti díky přirozeným rozdílům mezi papírovou a elektronickou distribucí a obecněji díky flexibilitě a efektivitě komunikace, kterou nabízí internet.

Téměř před třinácti lety napsala Ann Schaffner (1994) velmi pronikavý článek pojednávající o budoucnosti vědeckých časopisů. Zaměřila se na rozmanité a složité role, které časopisy ve vědeckých a odborných komunitách hrají, a snažila se pochopit dopad nových technologií na tyto časopisy. Pokud se podíváme na debatu o tom, jak by mělo probíhat peer review (pokud vůbec), argumenty často odrážejí zaměření pisatele nebo řečníka na konkrétní funkci nebo funkce, které časopisy ve vědeckých komunitách plní. Domnívám se, že můžeme vést promyšlenější diskusi o úloze recenzního řízení a hodnotě nových způsobů recenzního řízení, pokud při úvahách o tom, jak může proces recenzního řízení co nejlépe využít možností, které nabízí elektronická komunikace, budeme následovat Schaffnera a zvážíme specifické role časopisů ve vědeckých komunitách.

The Roles of Journals in Scholarly Communities

Schaffner (1994) identifikoval pět různých, i když poněkud se překrývajících rolí, které časopisy ve vědeckých komunitách hrají. Jak poznamenává, pravděpodobně by se daly kategorizovat poněkud jinak, ale pro mě její schéma dává velký smysl.

Vytváření kolektivní znalostní báze – Pravděpodobně nejdůležitější rolí, kterou časopisy hrají, je utváření našeho archivu znalostí. Většina lidí se shodne na tom, že časopisy tvoří nejobsáhlejší, nejaktuálnější a nejautoritativnější archiv informací v daném vědním oboru. Je zřejmé, že přesnost a kvalita materiálů obsažených v tomto archivu má zásadní význam. Peer review slouží jako jeden z nejdůležitějších mechanismů ověřování informací obsažených v těchto časopisech.

Obvykle trvá přibližně osmnáct měsíců, než se recenzovaný článek dostane od podání k publikaci. Tuto dobu lze sice do jisté míry zkrátit díky recenznímu řízení na webu a elektronickému publikování, ale proces recenzního řízení a revize prostě trvá dlouho. Také péče a úsilí, které je třeba vynaložit na vypracování publikovatelného rukopisu, znamená, že mezi provedením výzkumu a samotným předložením výsledků k publikaci mohou uplynout měsíce. Kromě toho rukopisy často nejsou přijaty hned při prvním zaslání do časopisu a mohou být znovu zaslány do několika časopisů, než jsou přijaty k publikaci. Konečným výsledkem je, že informace šířené prostřednictvím recenzovaných časopisů jsou často několik let staré.

Z hlediska našeho archivu znalostí je rychlost, s jakou je archiv aktualizován, sice nezanedbatelná, ale mnohem méně důležitá než přesnost a kvalita materiálu. Myslím, že většina lidí bude souhlasit s tím, že správnost díky péči a úsilí věnovanému vzájemnému hodnocení a pečlivé revizi, úpravě kopií a sazbě daleko převažuje nad potřebou rychlého publikování, když se na tyto časopisy díváme jako na náš archiv znalostí.

Komunikace informací – Komunikace mezi vědci pracujícími v určitém oboru zní podobně jako budování archivu znalostí. Existují však důležité rozdíly. Rychlost a interaktivita jsou pro tuto roli mnohem důležitější. Zároveň je mnohem méně důležité vzájemné hodnocení, protože odborníci v daném oboru jsou dokonale schopni sami rozhodovat o hodnotě a přesnosti šířených informací. Někteří tvrdí, že bez peer review by byli vědci zahlceni informacemi (Editorial 2005). Zdá se, že v oblasti fyziky tomu tak není. Na známém preprintovém serveru arXiv.org je každý měsíc uloženo až 5 000 preprintů a denně na něj přistupují desítky tisíc lidí a zdá se, že tento systém funguje nadmíru dobře – alespoň v této oblasti – již více než patnáct let.

Časopisy pravděpodobně hrály na počátku své historie mnohem ústřednější roli v tomto typu komunikace. Vzhledem k tomu, že dnes jsou k dispozici jiné účinnější komunikační prostředky, dalo by se předpokládat, že časopisy budou mít při sdělování výsledků výzkumu mezi vědci poměrně omezenou roli. Není však jasné, zda tomu tak je. Za prvé, výzkum neformální komunikace vědeckých a technických poznatků naznačuje, že způsoby komunikace se v jednotlivých oborech značně liší (Faxon Institute 1991). Například archivy preprintů, jako je arXiv.org, byly rychle přijaty řadou oborů, ale v jiných oborech se používají jen zřídka, a to i přes společné pokusy jednotlivců o jejich zavedení. (Tak tomu bylo v mém oboru vzdělávacího výzkumu.) Výzkum neformální komunikace mezi vědci také naznačuje, že většina toho, o čem se mezi vědci diskutuje, se ukáže být články v časopisech (Schaffner 1994). Ačkoli význam archivů preprintů, listservů a diskusních vláken pro komunikaci mezi vědci pracujícími v daném oboru pravděpodobně poroste, zdá se, že časopisy si v tomto typu komunikace zjevně zachovávají významnou roli.

Ověřování kvality výzkumu – Časopisy také hrají roli při udržování komunitních standardů v tom, jak se provádí výzkum a vědecká práce. Do jisté míry se tak děje tím, že časopisy filtrují to, co je publikováno, a tedy i šířeno. Účinky mohou být také jemnější. Práce zkušených vědců se zřídkakdy dočkají přísných recenzí. Neznamená to, že by jejich rukopisy byly vždy publikovány, ale mají tendenci si osvojit normy daného oboru a vědí, jak by měl být výzkum nebo vědecká práce prováděna a popisována, a je mnohem méně pravděpodobné, že budou recenzenty pokáráni než nováčci.

Neexistuje všeobecná shoda, že je to zcela dobře. Někteří tvrdí, že to potlačuje kreativitu a zbytečně vystavuje začínající výzkumné pracovníky tvrdé kritice (Kumashiro 2005).

Rozdělování odměn – Publikování v recenzovaných časopisech je jedním z hlavních způsobů hodnocení vědců. Důležitá je nejen kvantita, ale stejně důležité, ne-li důležitější, je to, ve kterých časopisech se publikuje. Kořeny tohoto přístupu sahají až ke vzniku časopisu Philosophical Transactions of the Royal Society of London v polovině 17. století. ačkoli se nejednalo o rozhodování o funkčním období, důležitou funkcí tohoto časopisu bylo stanovit, kdo si zaslouží uznání za konkrétní poznatky nebo teorie. Podle Guédona (2001) sloužil časopis téměř jako patentový úřad pro myšlenky. Publikováním v časopise mohli vědci nebo přírodní filozofové (jak se jim tehdy říkalo) prokázat vlastnictví svého duševního vlastnictví. Konkurence mezi vědci a spory o zásluhy za objevy jsou dodnes aktuální a časopisy stále plní úlohu dokumentace otcovství duševního vlastnictví. Tato role se zjevně rozšířila jako obecnější měřítko úspěchů a peer review – ať už správně, či nesprávně – je důležitým aspektem této role.

Vytváření vědeckých komunit – Časopisy také působí jako prostředek, který vědeckou komunitu různými způsoby stmeluje. Charakteristickým znakem dospívání oboru je založení nového časopisu: v podstatě vytyčení intelektuálního území nového oboru. Kromě toho slouží úvodníky, názorové články a dopisy redakci často jako fórum pro diskusi o problémech v oboru. Někdy jsou věcné a někdy přesahují do souvisejících oblastí, jako jsou společenské důsledky poznatků, financování nebo otázky vzdělávání v oboru. Časopisy také běžně slouží jako fórum pro zprávy, jako jsou nová jmenování do významných funkcí nebo úmrtí známého člena vědecké komunity. Ačkoli se tato role může do jisté míry zmenšovat s rozmanitostí dostupných komunikačních možností, časopisy nadále hrají důležitou roli při formování a udržování vědeckých komunit.

Peer Review in Relation to the Roles of Journals

Význam peer review se zjevně liší podle různých funkcí časopisů. Peer review je obecně považováno za zásadní pro role vytváření archivu znalostí a distribuce odměn. Hraje také klíčovou roli při ověřování kvality výzkumu v dané oblasti, ale jak poznamenává Kumashiro, může také bránit šíření nových myšlenek a metod. Peer review má malou hodnotu a pravděpodobně je překážkou při usnadňování komunikace mezi vědci v oboru a není relevantní pro roli budování vědeckých komunit.

Hodnota peer review vychází z předpokladu, že poskytuje platné měřítko kvality rukopisu a jeho dodržování norem oboru. Jeho hodnota je také spojena s poskytováním zpětné vazby, aby bylo možné rukopis vylepšit revizí. Tyto předpoklady jsou do značné míry považovány za samozřejmé a málokdy jsou zpochybňovány, přesto lze jejich platnost zpochybnit.

Jefferson et al. (2002a) provedli systematický přehled literatury o vlivu recenzního řízení v biomedicínských časopisech. Nalezli jen málo kontrolovaných studií a většina z nich byla zaměřena na specifické redakční postupy, jako je zaslepení nebo používání kontrolních seznamů v recenzním řízení. V dalším přehledu (2002b) autoři identifikovali deset studií, které se zabývaly vztahem mezi peer review a kvalitou článků. Pouze jedna srovnávala recenzované články s nerecenzovanými články a měla slabý design studie. Zbytek porovnával různé metody peer review nebo změnu kvality před a po revizi na základě peer review. Každý článek používal hodnocení odborníků na základě jiné hodnotící škály. Zdá se, že žádný z hodnotících nástrojů nebyl posouzen z hlediska psychometrické kvality. Celkovým závěrem Jeffersona a spol. je, že existuje jen velmi málo vědecky podložených důkazů, které by podporovaly hodnotu peer review při zajišťování kvality rukopisů – přinejmenším v biomedicínských vědách.

Existují také určité důkazy o tom, že peer review nemusí být nutně úspěšné při odhalování metodologických nedostatků ve výzkumných článcích. Baxt et al. (1998) poslali recenzentům fiktivní rukopis s jasnými chybami v designu a analýze, které vylučovaly, aby výsledky podpořily závěry popisované studie. Například se v něm uvádělo, že došlo k náhodnému rozdělení do léčebných/kontrolních skupin, ale postup zjevně nebyl náhodný. Na studii se podílelo 203 lékařů urgentní medicíny, kteří byli zkušenými recenzenty časopisu Annals of Emergency Medicine, který je v tomto oboru velmi uznávaným časopisem. V průměru recenzenti identifikovali pouze 34 % fatálních nedostatků v rukopisu a 41 % recenzentů uvedlo, že rukopis by měl být přijat k publikaci. Existuje také množství studií, které prokazují vysokou míru metodologických chyb v publikovaném lékařském výzkumu (Pocock, Hughes, & Lee 1987; Gotzche 1989). Altman (2002) z toho viní řadu příčin, včetně nedostatku odborných znalostí v oblasti statistiky a designu výzkumu mezi recenzenty. I když tyto příklady pocházejí z biomedicínských věd, člověk by si myslel, nemluvě o naději, že v tak kritickém oboru budou použity ty nejsprávnější výzkumné postupy. Na základě mých zkušeností jako společenského vědce jsou metodologické chyby běžné i v časopisech z oblasti společenských věd.

Efektivní využívání peer review

Naznačuje nedostatek důkazů potvrzujících účinnost peer review a skutečnost, že v přísně recenzovaných časopisech je často publikován chybný výzkum, že peer review postrádá hodnotu? Myslím, že ne. V mnoha ohledech se peer review podobá našemu porotnímu systému: je sice nedokonalé, ale je to to nejlepší, co máme (Jefferson 2006). Mé uznání pro tento proces vzrostlo během jedenácti let, kdy jsem byl redaktorem Medical Education Online (MEO), otevřeného recenzovaného časopisu v oblasti lékařského vzdělávání. Hodnota recenzního řízení nespočívá ani tak v tom, že slouží k odfiltrování nekvalitních rukopisů (i když je užitečné mít podporu několika recenzentů, když čelíte rozzuřenému autorovi); naopak, vzájemné hodnocení je cenné jako prostředek ke zvýšení kvality publikovaných příspěvků. Neustále žasnu nad časem, úsilím a myšlenkami, které mnozí recenzenti do recenzního řízení vkládají. Výsledkem je nejčastěji vynikající konstruktivní zpětná vazba, kterou většina autorů vítá a využívá ji ke zlepšení svých rukopisů.

Dalším faktem, který se někdy přehlíží, je, že zatímco jednotliví recenzenti často přehlédnou konkrétní problémy v rukopise, jiný recenzent problém často zachytí. Čím více recenzentů rukopis posuzuje, tím větší je pravděpodobnost, že budou chyby zachyceny a problémy identifikovány. Používání internetu k recenznímu řízení výrazně snižuje náklady a úsilí spojené s recenzním řízením a umožňuje zapojit větší počet recenzentů na jeden rukopis. Naším cílem v MEO je, aby každý rukopis recenzovali čtyři až šest konzultantů, a pokud jich bude více, ještě lépe. Díky poměrně otevřenému procesu výběru recenzentů jsme zjistili, že je snadné tohoto cíle dosáhnout. V současné době máme přibližně tři stovky recenzentů, kteří se dobrovolně přihlásili k recenzování rukopisů, a zjistili jsme, že je poměrně snadné doplnit náš soubor recenzentů podle potřeby.

Pro efektivní fungování recenzního řízení je klíčová role editora. Ačkoli většina recenzí poskytuje cennou zpětnou vazbu, existuje velká variabilita mezi recenzenty v řešených otázkách a zpětná vazba je občas rozporuplná (a jednou za čas prostě chybná). Někdo musí dát různým recenzím smysl a poskytnout ucelené shrnutí zpětné vazby, a pokud je třeba rukopis před zveřejněním přepracovat, je třeba dát autorovi jasné pokyny. Nejde o to, že by editor musel být nutně moudřejší nebo méně náchylný k předsudkům než jednotliví recenzenti, ale o to, že někdo musí převzít odpovědnost, aby zpětná vazba a pokyny pro autora byly ucelené. Jinak se z toho autoři zblázní.

V MEO poskytuje recenzní redaktor zpětný dopis s rozhodnutím o publikaci, shrnutím zpětné vazby a případně uceleným souborem problémů, které je třeba před publikací vyřešit. Kromě toho zasíláme zpět jak připomínky, tak hodnocení od všech recenzentů, s výjimkou připomínek, které recenzent určil pouze pro editora. Věřím, že autoři ocení, když dostanou všechny připomínky i jasný soubor pokynů od editora pro revizi svých rukopisů. Každému recenzentovi také zasíláme kopie zpětné vazby, která je zaslána autorovi. Mám zkušenost, že recenzenti téměř všeobecně oceňují jak to, že se dozvědí konečné rozdělení rukopisu, tak to, že vidí, co k němu řekli ostatní recenzenti.

Inovace v recenzním řízení

Jak již bylo uvedeno, flexibilita a efektivita komunikace prostřednictvím internetu umožnila experimentovat s různými modely recenzního řízení. Jednou z inovací, která byla v literatuře nejvíce diskutována, je zprůhlednění procesu peer-review. Tradičně je identita recenzentů utajována a v mnoha případech jsou rukopisy maskovány, aby byly odstraněny veškeré identifikační údaje týkající se autorů a jejich institucí. Na nejzákladnější úrovni spočívalo otevřené recenzní řízení ve zveřejnění totožnosti recenzentů nebo ve zveřejnění totožnosti autorů recenzentům, případně obojího v průběhu recenzního řízení. To samozřejmě není závislé na elektronickém publikování; recenze a diskuse o utajení identity recenzentů se datují dávno předtím, než se internet stal široce dostupným. Tato problematika byla poměrně dobře prozkoumána (Goldbeck-Wood 1999). Důkazy naznačují, že anonymita má jen malý vliv na kvalitu recenzí nebo míru přijetí, ale odhalení identity recenzentů může snížit pravděpodobnost, že se někdo dobrovolně přihlásí k recenzování (van Rooyen et al. 1999).

Přes důkazy, že otevření recenzního řízení veřejné kontrole zřejmě neovlivňuje kvalitu tak či onak, debata pokračuje a zaměřuje se především na vedlejší účinky zveřejnění identity recenzentů. Zastánci tvrdili, že otevření recenzního řízení je z etického hlediska nadřazené a má jen malý nebo žádný dopad na proces a ve skutečnosti může podpořit větší zdvořilost v recenzním řízení (Godlee 2002; Morrison 2006). Hlavní obavy ohledně otevřeného recenzního řízení se soustředí na vnášení osobních předsudků a možnost odplaty v prostředí, které bývá v rámci konkrétních oborů velmi úzké. Zvláštní obavy panují z dopadu na mladé badatele, kteří jsou obzvláště zranitelní. V nedávném průzkumu mezi autory i recenzenty časopisu Medical Education, který je v tomto oboru velmi čtený, respondenti silně podporovali zaslepení autorů i recenzentů (Regehr a Bordage 2006). V otázce, zda by rukopisy měly být zaslepeny, nepanuje jednoznačná shoda a argumenty obou stran se zdají být přesvědčivé.

Ačkoli otevření recenzního řízení není podmíněno internetem, internet může usnadnit ještě transparentnější recenzní řízení. Mnoho lékařských časopisů BioMed Central používá zcela otevřený recenzní proces, v němž je nejen zveřejněna totožnost recenzentů a autorů, ale spolu s publikovaným rukopisem je zveřejněn i úplný záznam o recenzním řízení, včetně všech připomínek recenzentů a následných iterací korespondence v rámci revizního procesu. Úplné zveřejnění záznamu o recenzním řízení by u papírového časopisu pravděpodobně nebylo z logistických důvodů proveditelné.

Nejnovější novinkou, která je podmíněna internetem, je otevření recenzního řízení komukoli, kdo se chce k článku vyjádřit. Jak již bylo uvedeno, časopis Nature nedávno zkušebně zavedl otevřený recenzní proces souběžně se svým běžným recenzním řízením a Veřejná vědecká knihovna bude zavádět nový časopis PLoS One, který bude používat dvoustupňový proces, v němž jeden akademický redaktor provede úvodní kontrolu, po níž následuje systém pro veřejné připomínky a diskusi.

Ještě se uvidí, jak úspěšné budou tyto veřejné recenzní systémy. Existuje řada méně známých odborných časopisů, které zavedly recenzní systémy založené na veřejném připomínkování. Časopis Electronic Transactions on Artificial Intelligence (ETAI) poskytuje hybridní systém recenzního řízení (Sandewall 2006). Rukopisy, které odpovídají rozsahu časopisu, jsou okamžitě zveřejněny k veřejnému připomínkování po dobu tří měsíců, a pokud probíhá diskuse, může být toto období prodlouženo. Po uplynutí diskusního období mají autoři možnost na základě zpětné vazby svůj rukopis přepracovat a poté je rukopis rozeslán k externímu slepému recenznímu řízení. Recenzenti však pouze vydávají rozhodnutí o zveřejnění/zamítnutí bez komentáře, protože rukopis již obdržel rozsáhlé připomínky veřejnosti. V případě přijetí jsou články obvykle publikovány do jednoho měsíce.

Atmospheric Chemistry and Physics používá dvoustupňový přístup, který zahrnuje i připomínky veřejnosti (Koop a Poschl 2006). Po předběžném prověření jsou rukopisy zveřejněny jako „diskusní příspěvky“ k veřejnému připomínkování po dobu osmi týdnů. Určení recenzenti navíc zveřejňují své podepsané komentáře spolu s nevyžádanými komentáři ostatních čtenářů. Autoři mohou na připomínky rovněž reagovat. Ve druhé fázi jsou rukopisy recenzovány tradičními recenzními postupy. Přijaté články jsou publikovány v hlavním časopise. Všechny diskusní příspěvky a komentáře jsou rovněž trvale uchovávány na stránkách.

Tyto inovativní systémy, které kombinují veřejné komentáře s různými formami tradičnějšího recenzního řízení, jsou zajímavé a mají skutečný přínos. Mají potenciál podstatně lépe vyvažovat různé role, které časopisy hrají ve vědeckých a odborných komunitách. Rychlé prvotní zveřejnění rukopisů s mechanismy pro veřejné připomínkování a diskusi slouží k usnadnění komunikace mezi vědci. Zároveň využití těchto veřejných připomínek spolu s tradičnějším recenzním řízením před konečným zveřejněním poskytuje stejnou, nebo dokonce možná vyšší úroveň kontroly kvality jako tradiční recenzní řízení. Proces veřejné diskuse o článcích také dobře zapadá do role podpory vědeckých komunit a šíření a udržování standardů pro provádění výzkumu a vědecké práce.

Časem se ukáže, zda tyto nové přístupy ke staletému recenznímu řízení přinášejí skutečnou přidanou hodnotu. Tato nová éra elektronického publikování je stále v plenkách a musíme se ještě hodně učit o tom, jak nejlépe využívat nová média a komunikační nástroje. Skutečnost, že náš systém vědeckého publikování zůstal po více než 340 let, kdy došlo k obrovskému vědeckému a technologickému pokroku, z velké části nedotčen jen s malými změnami, svědčí o tom, jak dobře funguje. Naším úkolem v příštím desetiletí bude přizpůsobit systém tomuto novému a velmi odlišnému médiu, zachovat složky, které nadále dobře fungují, a najít způsoby, jak začlenit inovativní přístupy ke komunikaci a hodnocení, které staví na možnostech, jež elektronické publikování poskytuje.

David Solomon je pedagogický psycholog, který pracuje v oblasti lékařského vzdělávání již devatenáct let. V současné době působí jako docent na katedře medicíny a v Kanceláři pro výzkum a rozvoj vzdělávání na Vysoké škole humánní medicíny na Michiganské státní univerzitě. Ve svém výzkumu se zabývá především hodnocením výkonu, výběrem specializace a distančním vzděláváním. V roce 1996 založil elektronický časopis Medical Education Online, který se stal uznávaným časopisem v oboru. Jeho dalším významným zájmem je podpora publikování s otevřeným přístupem. Je k zastižení na adrese [email protected].

Altman, D. G. 2002 Nekvalitní lékařský výzkum: Co mohou časopisy dělat? JAMA 287;21:2765-2767.

Baxt, W. G., J. F. Waeckerle, J. Berlin a M. L. Callahm. 1989. Kdo recenzuje recenzenty? Proveditelnost použití fiktivního rukopisu k hodnocení výkonu recenzentů. Annals of Emergency Medicine 32:310-317.

Bloom, T. 2006. Systems: Online frontiers of the peer-reviewed literature [Online hranice recenzované literatury]. In: Příroda. http://www.nature.com/nature/peerreview/debate/index.html.

Campbell, P. 2006. Nature Peer Review Trial and Debate. In: Nature. http://www.nature.com/nature/peerreview/index.html.

Chang, A. 2006. Online časopisy zpochybňují vědecké peer review. Převzato 19. listopadu 2006 z http://www.mercurynews.com/mld/mercurynews/news/breaking_news/15655422.htm.

Debata. 2006. „Peer Review“ In: Nature. http://www.nature.com/nature/peerreview/debate/index.html

Editorial. 2005. „Revoluční peer review?“. Nature Neuroscience 8; 4:397.

Faxonův institut. 1991. An Examination of Work-related Information Acquisition and Usage among Scientific, Medical and Technical Fields (Zkoumání získávání a využívání informací souvisejících s prací mezi vědeckými, lékařskými a technickými obory) Westwood, Mass. Faxon Company.

Godlee, F. 2002. Zviditelnění recenzentů. Otevřenost, odpovědnost a zásluhy. JAMA287; 21:2762-2765.

Goldbeck-Wood, S. 1999. Evidence on peer review: scientific quality control or smokescreen? BMJ 318:44-45 (2. ledna). http://www.bmj.com/cgi/reprint/318/7175/44.

Gotzxche, P. C. 1989. Metodologie a zjevné a skryté zkreslení ve zprávách o 196 dvojitě zaslepených studiích nesteroidních protizánětlivých léků u revmatoidní artritidy. Controlled Clinical Trials, 10:3159.

Guédon, J. 2001. V Oldenburgově dlouhém stínu: Oldenburgu: Knihovníci, vědci, vydavatelé a kontrola vědeckého publikování. Prezentace na květnovém zasedání Asociace vědeckých knihoven (ARL) v roce 2001, na http://www.arl.org/arl/proceedings/138/guedon.html.

Jefferson, T., P. Alderson, E. Wager a F. Davidoff. 2002a. Effects of editorial peer review [Účinky redakčního recenzního řízení]. JAMA June 5, 287; 21:2784-2786.

Jefferson, T, E. Wager a F. Davidoff. 2002b. Měření kvality redakčního peer review. JAMA June 5, 287; 21:2786-2790.

Jefferson, T. 2006. Kvalita a hodnota: Modely kontroly kvality pro vědecký výzkum. In Nature . http://www.nature.com/nature/peerreview/debate/nature05031.html.

Koop T. a U. Pöschl. 2006. Otevřený dvoustupňový recenzovaný časopis. In Nature . http://www.nature.com/nature/peerreview/debate/nature04988.html.

Kumashiro, K. K. 2005. Thinking Collaboratively about the Peer-Review Process for Journal-Article Publication [Společné přemýšlení o recenzním řízení při publikování článků v časopise]. Harvard Educational Review 75; 3:257-287.

Pocock, S. J., M. D. Hughes a R. J. Lee. 1987. Statistické problémy při podávání zpráv o klinických studiích. Průzkum tří lékařských časopisů. New England Journal of Medicine 317:426-432.

Regehr, G., and G. Bordage. 2006. To blind or not to blind? Co preferují autoři a recenzenti. Medical Education 40:832-839.

Schafner, A. C. 1994. Budoucnost vědeckých časopisů: Poučení z minulosti. Information Technology and Libraries 13:239-47.

Sandewall, E. 2006. Hybridní systém recenzního řízení. In Nature. http://www.nature.com/nature/peerreview/debate/nature04994.html.

Smith, R. 1999 Opening up BMJ peer review. BMJ 1318:4-5 (2. ledna). http://www.bmj.com/cgi/content/full/318/7175/4.

Van Rooyen S., F. Godlee, S. Evans, N. Black a R. Smith. 1999. Effect of open peer review on quality of reviews and on reviewers‘ recommendations: a randomized trial [Vliv otevřeného recenzního řízení na kvalitu recenzí a na doporučení recenzentů]. BMJ 318:23-27 (2. ledna). http://www.bmj.com/cgi/reprint/318/7175/23.

POZNÁMKY

1. Například viz Open Journal Systems http://pkp.sfu.ca/?q=ojs.

2. Viz http://arxiv.org/todays_stats.

.