Abstract

Ten artykuł omawia ostatnie innowacje w sposobie przeprowadzania peer review w świetle różnych funkcji, jakie pełnią czasopisma w społecznościach naukowych.

Dzienniki naukowe istnieją od ponad 340 lat. Podczas gdy peer review było mniej powszechne wśród wczesnych czasopism, większość naukowych i uczonych czasopism wdraża jakiś poziom peer review dzisiaj. Pomimo swojej długiej historii i ugruntowanej pozycji w środowiskach naukowych, peer review jest przedmiotem coraz większej kontroli ze strony naukowców (Debata 2006), a nawet prasy laickiej (Chang 2006). Debata ta wydaje się być w dużej mierze napędzana przez rosnący wpływ elektronicznego rozpowszechniania i wykorzystania Internetu w przeprowadzaniu peer review. Internet nie tylko zmniejszył koszty i wysiłek związany z przeprowadzaniem peer review poprzez wysoce zautomatyzowane systemy zarządzania oparte na sieci Web, ale także zapewnił dużą elastyczność w sposobie przeprowadzania peer review.

Kilka cenionych czasopism zaczęło eksperymentować z innowacyjnymi modelami peer-review. British Medical Journal pozbył się zaślepienia w swoim procesie peer-review już w 1999 roku (Smith 1999), a wiele czasopism BioMed Central zapewnia otwarty dostęp do pełnego zapisu recenzji. Przez okres trzech miesięcy, począwszy od czerwca 2006 r., Nature eksperymentowało z publikowaniem preprintów do publicznego komentarza równolegle z tradycyjną recenzją (Campbell 2006), a Public Library of Science (PLoS) jest w trakcie uruchamiania nowego czasopisma, PLos One, które będzie publikować artykuły niemal natychmiast, z minimalnym przeglądem i pozwoli na publiczny komentarz.

Although te eksperymenty w peer review są tworzenie znacznej ilości dyskusji, większość czasopism naukowych nadal korzystać z tradycyjnych metod peer review w którym wybrana grupa ekspertów, których tożsamość jest zaślepiona od autora i społeczeństwa zapewnia informacje zwrotne do redaktora, który podejmuje ostateczną decyzję o publikacji. Chociaż będzie to prawdopodobnie powolny proces, wydaje się, że wkraczamy w erę, w której peer review będzie ewoluować, aby w większym stopniu wykorzystać elastyczność oferowaną przez Internet. Moim zdaniem jest to tylko jeden z aspektów znacznie większej transformacji wielowiekowego systemu czasopism naukowych, która zachodzi przynajmniej częściowo z powodu nieodłącznych różnic między dystrybucją papierową i elektroniczną oraz, bardziej ogólnie, elastyczności i efektywności w komunikacji oferowanej przez Internet.

Prawie trzynaście lat temu Ann Schaffner (1994) napisała bardzo wnikliwy artykuł omawiający przyszłość czasopism naukowych. Skupiła się na zróżnicowanych i złożonych rolach, jakie czasopisma odegrały w społecznościach naukowych i uczonych, próbując zrozumieć wpływ nowych technologii na te czasopisma. Jeśli przyjrzeć się debacie na temat tego, jak powinna być przeprowadzana wzajemna weryfikacja (jeśli w ogóle), argumenty często odzwierciedlają skupienie się piszącego lub mówiącego na konkretnej funkcji lub funkcjach, jakie czasopisma odgrywają w społecznościach naukowych. Wierzę, że możemy mieć bardziej przemyślaną dyskusję na temat roli peer review i wartości nowych trybów peer review, jeśli pójdziemy śladem Schaffnera, rozważając specyficzne role czasopism w społecznościach naukowych, gdy zastanawiamy się, jak proces peer review może najlepiej wykorzystać opcje oferowane przez komunikację elektroniczną.

Role czasopism w społecznościach naukowych

Schaffner (1994) zidentyfikował pięć odrębnych, choć nieco nakładających się, ról, jakie czasopisma odgrywają w społecznościach naukowych. Jak zauważa, prawdopodobnie można by je skategoryzować nieco inaczej, ale dla mnie jej schemat ma wiele sensu.

Budując zbiorową bazę wiedzy – Prawdopodobnie najważniejszą rolą, jaką odgrywają czasopisma, jest tworzenie naszego archiwum wiedzy. Większość ludzi zgodziłaby się, że czasopisma tworzą najbardziej wszechstronne, aktualne i autorytatywne archiwum informacji w danej dziedzinie naukowej. Oczywiście, dokładność i jakość materiału zawartego w tym archiwum ma kluczowe znaczenie. Peer review służy jako jeden z najważniejszych mechanizmów walidacji informacji zawartych w tych czasopismach.

Przejście od złożenia do publikacji recenzowanego artykułu zajmuje na ogół około osiemnastu miesięcy. Chociaż może to być zmniejszone do pewnego stopnia przez Web-based peer review i publikacji elektronicznej, peer-review i proces rewizji po prostu wymaga czasu. Ponadto, staranność i wysiłek, jakie trzeba włożyć w opracowanie manuskryptu nadającego się do publikacji, oznaczają, że od momentu przeprowadzenia badań do złożenia wyników do publikacji mogą minąć miesiące. Dodatkowo, manuskrypty często nie są akceptowane za pierwszym razem, gdy są składane do czasopisma i mogą być ponownie składane do kilku czasopism, zanim zostaną zaakceptowane do publikacji. Wynik netto jest to, że informacje rozpowszechniane przez recenzowanych czasopism jest często kilka lat old.

Z perspektywy naszego archiwum wiedzy, szybkość, w którym archiwum jest aktualizowana, podczas gdy nie jest trywialne, jest o wiele mniej obawy niż dokładność i jakość materiału. Myślę, że większość ludzi zgodziłaby się, że uzyskanie tego dobrze poprzez opiekę i wysiłek peer review i starannej korekty, edycji kopii i składu znacznie przewyższa potrzebę szybkiej publikacji, gdy postrzegamy te czasopisma jako nasze archiwum wiedzy.

Przekazywanie informacji – Komunikacja między uczonymi pracującymi w danej dziedzinie brzmi podobnie do budowania achiwum wiedzy. Istnieją jednak istotne różnice. Szybkość i interaktywność są w tej roli znacznie ważniejsze. Jednocześnie, wzajemna weryfikacja jest o wiele mniej ważna, ponieważ eksperci w danej dziedzinie są w stanie samodzielnie podejmować decyzje dotyczące wartości i dokładności rozpowszechnianych informacji. Niektórzy twierdzą, że bez peer review naukowcy byliby zalani informacjami (Editorial 2005). W dziedzinie fizyki nie wydaje się to być prawdą. Na dobrze znanym serwerze preprintów arXiv.org co miesiąc umieszczanych jest aż 5 000 preprintów, a dziesiątki tysięcy ludzi wchodzą na stronę każdego dnia, a system ten wydaje się działać bardzo dobrze, przynajmniej w tej dziedzinie, od ponad piętnastu lat.

Dzienniki prawdopodobnie odegrały znacznie bardziej centralną rolę w tego typu komunikacji wcześnie w ich historii. Z innymi bardziej efektywnymi środkami komunikacji dostępnymi dzisiaj, można by pomyśleć, że czasopisma będą miały dość ograniczoną rolę w komunikowaniu wyników badań wśród uczonych. Nie jest jednak jasne, że tak właśnie jest. Po pierwsze, badania nad nieformalną komunikacją wiedzy naukowej i inżynierskiej sugerują, że sposoby komunikacji różnią się znacznie w zależności od dziedziny (Faxon Institute 1991). Na przykład, archiwa preprintów, takie jak arXiv.org, zostały szybko przyjęte przez wiele dziedzin, ale są rzadko używane w innych dziedzinach, pomimo zgodnych prób jednostek, aby je wdrożyć. (Tak było w mojej dziedzinie badań edukacyjnych). Badania nad nieformalną komunikacją wśród naukowców sugerują również, że większość tego, co jest dyskutowane wśród badaczy, okazuje się być artykułami z czasopism (Schaffner 1994). Podczas gdy archiwa preprintów, listservy i dyskusje w wątkach prawdopodobnie zyskają na znaczeniu w komunikacji między naukowcami pracującymi w danej dziedzinie, czasopisma najwyraźniej zachowują znaczącą rolę w tego typu komunikacji.

Weryfikacja jakości badań – Czasopisma odgrywają również rolę w utrzymywaniu standardów społeczności w sposobie prowadzenia badań i stypendiów. Do pewnego stopnia odbywa się to w ten sposób, że czasopisma filtrują to, co jest publikowane, a tym samym rozpowszechniane. Efekty mogą być również bardziej subtelne. Prace doświadczonych naukowców rzadko otrzymują ostre recenzje. Nie znaczy to, że ich manuskrypty zawsze są publikowane, ale zazwyczaj mają oni zinternalizowane normy w danej dziedzinie i wiedzą, jak badania lub stypendium powinny być prowadzone i opisywane, i są o wiele mniej prawdopodobne niż nowicjusze, aby być karceni przez recenzentów.

Nie ma powszechnej zgody co do tego, że jest to całkowicie dobra rzecz. Niektórzy twierdzą, że to tłumi kreatywność i niepotrzebnie poddaje początkujących badaczy ostrej krytyce (Kumashiro 2005).

Dystrybucja nagród – Publikacja w recenzowanych czasopismach jest jednym z głównych sposobów oceny naukowców. Nie tylko ilość jest ważna, ale to, w jakich czasopismach się publikuje, jest równie ważne, jeśli nie ważniejsze. Korzenie tego zjawiska sięgają aż do powstania Philosophical Transactions of the Royal Society of London w połowie XVII w. Choć nie podejmowano tam decyzji dotyczących kadencji, ważną funkcją tego czasopisma było ustalenie, kto zasługuje na uznanie za określone odkrycia lub teorie. Według Guédona (2001), czasopismo to służyło niemal jak urząd patentowy dla pomysłów. Publikując w czasopiśmie, naukowcy lub filozofowie przyrody (jak ich wówczas nazywano) mogli ustanowić własność swojej własności intelektualnej. Współzawodnictwo między naukowcami i kontrowersje wokół zasług za odkrycia są problemem do dziś, a czasopisma nadal pełnią rolę dokumentującą ojcostwo własności intelektualnej. Ta rola wyraźnie rozszerzyła się jako bardziej ogólna miara osiągnięć, a wzajemna weryfikacja – słusznie lub nie – jest ważnym aspektem tej roli.

Budowanie społeczności naukowych – Czasopisma działają również jako środek wiążący społeczność naukową ze sobą na wiele sposobów. Znakiem rozpoznawczym dojrzewania danej dyscypliny jest założenie nowego czasopisma: w istocie wyznaczenie intelektualnego terytorium nowej dziedziny. Poza tym, artykuły redakcyjne, opiniotwórcze i listy do redakcji często służą jako forum do debaty na temat problemów w danej dyscyplinie. Czasami są one merytoryczne, a czasami obejmują pokrewne obszary, takie jak społeczne implikacje wyników badań, finansowanie lub kwestie szkoleniowe w danej dziedzinie. Czasopisma służą również jako forum dla wiadomości, takich jak nowe nominacje na główne stanowiska lub odejście znanego członka społeczności naukowej. Podczas gdy ta rola może być zmniejszona do pewnego stopnia z różnorodnością dostępnych opcji komunikacyjnych, czasopisma nadal odgrywają ważną rolę w tworzeniu i utrzymywaniu społeczności naukowych.

Peer Review w odniesieniu do ról czasopism

Ważność peer review wyraźnie różni się wśród różnych funkcji czasopism. Peer review jest ogólnie postrzegana jako istotna dla roli tworzenia archiwum wiedzy i dystrybucji nagród. Odgrywa również kluczową rolę w walidacji jakości badań w danej dziedzinie, ale, jak zauważa Kumashiro, może również utrudniać rozpowszechnianie nowych idei i metod. Peer review ma niewielką wartość i prawdopodobnie stanowi przeszkodę w ułatwianiu komunikacji między uczonymi w danej dziedzinie i nie jest adekwatna do roli budowania społeczności naukowych.

Wartość peer review opiera się na założeniu, że stanowi ona ważną miarę jakości manuskryptu i jego zgodności z normami obowiązującymi w danej dziedzinie. Jej wartość jest również związana z dostarczaniem informacji zwrotnej, dzięki której manuskrypt może być poprawiony poprzez rewizję. Te założenia są w dużej mierze brane za pewnik i rzadko kwestionowane, ale ich ważność jest otwarta do zakwestionowania.

Jefferson et al. (2002a) dokonali systematycznego przeglądu literatury na temat wpływu peer review w czasopismach biomedycznych. Znaleźli niewiele kontrolowanych badań, a większość z nich koncentrowała się na konkretnych praktykach redakcyjnych, takich jak zaślepienie lub stosowanie list kontrolnych w procesie recenzji. W kolejnym przeglądzie (2002b) autorzy zidentyfikowali dziesięć badań, które dotyczyły związku między recenzją a jakością artykułów. Tylko jedno z nich porównywało artykuły recenzowane z nierecenzowanymi, a jego konstrukcja była słaba. Pozostałe porównywały różne metody peer review lub zmianę jakości przed i po rewizji w oparciu o peer review. W każdym artykule stosowano oceny ekspertów oparte na innej skali ocen. Wydaje się, że żaden z instrumentów oceny nie został oceniony pod względem jakości psychometrycznej. Ogólny wniosek Jeffersona i wsp. jest taki, że istnieje bardzo mało naukowo uzasadnionych dowodów potwierdzających wartość peer review w zapewnianiu jakości manuskryptów – przynajmniej w naukach biomedycznych.

Istnieją również pewne dowody na to, że peer review niekoniecznie jest skuteczny w identyfikowaniu metodologicznych błędów w artykułach badawczych. Baxt et al. (1998) wysłali recenzentom fikcyjny manuskrypt z wyraźnymi wadami projektu i analizy, które wykluczały wyniki wspierające wnioski z badania, które zostało opisane. Na przykład, stwierdzono w nim losowy przydział do grupy leczonej/kontrolnej, ale procedura wyraźnie nie była losowa. 203 lekarzy medycyny ratunkowej, którzy wzięli udział w badaniu, było doświadczonymi recenzentami Annals of Emergency Medicine, dobrze znanego czasopisma w tej dziedzinie. Średnio recenzenci zidentyfikowali tylko 34% fatalnych wad w manuskrypcie, a 41% recenzentów wskazało, że manuskrypt powinien zostać przyjęty do publikacji. Istnieje również wiele badań wykazujących wysoki odsetek błędów metodologicznych w publikowanych badaniach medycznych (Pocock, Hughes, & Lee 1987; Gotzche 1989). Altman (2002) obwinia za to wiele przyczyn, w tym brak wiedzy statystycznej i wiedzy na temat projektowania badań wśród recenzentów. Podczas gdy te przykłady pochodzą z nauk biomedycznych, można by pomyśleć, nie wspominając o nadziei, że najbardziej solidne praktyki badawcze byłyby stosowane w tak krytycznej dziedzinie. W oparciu o moje doświadczenie jako naukowiec społeczny, błędy metodologiczne są powszechne w czasopismach nauk społecznych, jak również.

Efektywne wykorzystanie peer review

Czy brak dowodów potwierdzających skuteczność peer review i fakt, że wadliwe badania są często publikowane w rygorystycznie recenzowanych czasopismach sugeruje, że peer review nie ma wartości? Myślę, że nie. Pod wieloma względami peer review przypomina nasz system ławy przysięgłych: choć wadliwy, jest najlepszym, co mamy (Jefferson 2006). Moje uznanie dla tego procesu wzrosło w ciągu jedenastu lat, kiedy byłem redaktorem Medical Education Online (MEO), recenzowanego czasopisma o otwartym dostępie do edukacji medycznej. Wartość peer review nie polega na odfiltrowaniu słabych manuskryptów (choć pomocne jest wsparcie kilku recenzentów, gdy ma się do czynienia z rozzłoszczonym autorem); Zamiast tego, recenzja jest cennym środkiem podnoszenia jakości tego, co jest publikowane. Nieustannie zadziwia mnie czas, wysiłek i przemyślenia, jakie wielu recenzentów wkłada w proces recenzowania. Rezultatem częściej niż nie jest doskonała konstruktywna informacja zwrotna, którą większość autorów przyjmuje z zadowoleniem i wykorzystuje do poprawy swoich manuskryptów.

Innym faktem, który jest czasami pomijany jest to, że podczas gdy poszczególni recenzenci często nie dostrzegają specyficznych problemów w manuskrypcie, inny recenzent często wychwytuje problem. Im więcej recenzentów ocenia manuskrypt, tym większe prawdopodobieństwo, że błędy zostaną wychwycone, a problemy zidentyfikowane. Wykorzystanie Internetu do recenzowania drastycznie zmniejsza koszty i wysiłek związany z recenzowaniem oraz umożliwia zaangażowanie większej liczby recenzentów do każdego manuskryptu. Naszym celem w MEO jest, aby każdy manuskrypt był recenzowany przez czterech do sześciu konsultantów, a jeśli jest ich więcej, to nawet lepiej. Dzięki zastosowaniu dość otwartego procesu selekcji recenzentów udało nam się łatwo osiągnąć ten cel. Obecnie mamy około trzystu recenzentów, którzy zgłosili się na ochotnika do recenzowania manuskryptów i okazało się, że stosunkowo łatwo jest dodać do naszej puli recenzentów w razie potrzeby.

Aby recenzja peer review działała efektywnie, rola redaktora jest kluczowa. Podczas gdy większość recenzji dostarcza wartościowych informacji zwrotnych, istnieje duża zmienność pomiędzy recenzentami w poruszanych kwestiach, a informacje zwrotne są czasami sprzeczne (a raz na jakiś czas po prostu błędne). Ktoś musi nadać sens różnym recenzjom i dostarczyć spójne podsumowanie informacji zwrotnych, a jeśli manuskrypt wymaga korekty przed publikacją, musi być podany jasny zestaw wskazówek dla autora. Nie chodzi o to, że redaktor jest koniecznie mądrzejszy lub mniej podatny na uprzedzenia niż poszczególni recenzenci, po prostu ktoś musi przejąć odpowiedzialność, aby informacje zwrotne i wskazówki dla autora były spójne. W przeciwnym razie doprowadza to autorów do szału.

W MEO, recenzent dostarcza list zwrotny z decyzją o publikacji, podsumowaniem informacji zwrotnych i, jeśli to konieczne, spójnym zestawem problemów, które muszą być rozwiązane przed publikacją. Ponadto odsyłamy zarówno komentarze, jak i oceny od wszystkich recenzentów, z wyjątkiem komentarzy, które recenzent wskazał tylko dla redaktora. Wierzę, że autorzy doceniają otrzymanie wszystkich uwag, jak również jasnego zestawu wytycznych od redaktora, dotyczących rewizji ich manuskryptów. Każdemu recenzentowi wysyłamy również kopię zwrotną informacji zwrotnej, która jest wysyłana do autora. Z mojego doświadczenia wynika, że recenzenci niemal powszechnie doceniają zarówno poznanie ostatecznej dyspozycji manuskryptu, jak i zobaczenie, co inni recenzenci mieli do powiedzenia na jego temat.

Innowacje w peer review

Jak wspomniano, elastyczność i efektywność komunikacji przez Internet umożliwiła eksperymentowanie z wieloma różnymi modelami peer review. Jedną z innowacji, która jest najczęściej omawiana w literaturze, jest uczynienie procesu peer review bardziej przejrzystym. Tradycyjnie tożsamość recenzentów jest utrzymywana w tajemnicy, a w wielu przypadkach manuskrypty są maskowane, aby usunąć wszelkie informacje identyfikujące autorów i ich instytucje. Na najbardziej podstawowym poziomie open peer review polega na upublicznianiu tożsamości recenzentów lub ujawnianiu im tożsamości autorów, lub obu tych informacji w trakcie recenzji. Nie jest to oczywiście zależne od publikacji elektronicznej; dyskusja na temat zachowania poufności tożsamości recenzentów toczy się na długo przed tym, jak Internet stał się powszechnie dostępny. Kwestia ta została dość dobrze zbadana (Goldbeck-Wood 1999). Dowody sugerują, że anonimowość ma niewielki wpływ na jakość recenzji lub wskaźniki akceptacji, ale ujawnienie tożsamości recenzentów może zmniejszyć prawdopodobieństwo, że ktoś zgłosi się na ochotnika do recenzowania (van Rooyen et al. 1999).

Pomimo dowodów na to, że otwarcie procesu peer-review na publiczną kontrolę nie wydaje się wpływać na jakość w ten czy inny sposób, debata trwa nadal, skupiając się głównie na dodatkowych efektach ujawniania tożsamości recenzentów. Zwolennicy argumentowali, że jawność procesu recenzowania jest etycznie lepsza, a jej wpływ na proces jest niewielki lub żaden, i w rzeczywistości może zachęcać do większej kultury w procesie recenzowania (Godlee 2002; Morrison 2006). Główne obawy związane z otwartą recenzją koncentrują się na wprowadzeniu osobistych uprzedzeń i możliwości odwetu w bardzo małym świecie w obrębie określonych dziedzin. Szczególne obawy budzi wpływ na młodych badaczy, którzy są szczególnie podatni na zagrożenia. W niedawnej ankiecie przeprowadzonej wśród autorów i recenzentów Medical Education, czasopisma poczytnego w tej dziedzinie, respondenci zdecydowanie poparli zaślepienie zarówno autorów, jak i recenzentów (Regehr i Bordage 2006). Nie ma wyraźnego konsensusu co do tego, czy manuskrypty powinny być zaślepione, a argumenty po obu stronach wydają się przekonujące.

Although opening the peer-review process is not contingent on the Internet, the Internet can facilitate an even more transparent review processes. Wiele czasopism medycznych BioMed Central wykorzystuje całkowicie otwarty proces recenzji, w którym nie tylko tożsamość recenzentów i autorów jest publiczna, ale pełny zapis recenzji, w tym wszystkie opinie recenzentów i kolejne iteracje korespondencji w procesie rewizji, są publicznie dostępne wraz z opublikowanym manuskryptem. Complete disclosure of the review record would probably not be feasible with a paper journal for logistical reasons.

A more recent innovation that is contingent on the Internet has been to open the review process to anyone who wishes to comment on a paper. Jak wspomniano, Nature niedawno wdrożył otwarty proces przeglądu na podstawie prób równolegle do ich normalnego procesu przeglądu, a Public Library of Science będzie wdrożenie PLoS One, nowe czasopismo, które będzie korzystać z dwuetapowego procesu, w którym jeden redaktor akademicki wykonuje wstępny ekran, a następnie system dla publicznych komentarzy i dyskusji.

Jeszcze nie wiadomo, jak udane będą te publiczne systemy recenzowania. Istnieje szereg mniej znanych czasopism specjalistycznych, które wdrożyły systemy recenzowania oparte na komentarzach publicznych. Electronic Transactions on Artificial Intelligence (ETAI) oferuje hybrydowy system recenzji (Sandewall 2006). Manuskrypty, które pasują do zakresu czasopisma, są natychmiast umieszczane do publicznego komentowania przez trzy miesiące, a jeśli trwa dyskusja, okres ten może zostać przedłużony. Po okresie dyskusji autorzy mają możliwość poprawienia swoich manuskryptów w oparciu o uzyskane opinie, a następnie manuskrypt jest wysyłany do zewnętrznej, ślepej recenzji. Recenzenci podejmują decyzję o publikacji/odrzuceniu bez komentarza, ponieważ manuskrypt otrzymał już wiele uwag od społeczeństwa. W przypadku akceptacji, artykuły są zwykle publikowane w ciągu miesiąca.

Atmospheric Chemistry and Physics stosuje dwuetapowe podejście, które obejmuje komentarze publiczne (Koop i Poschl 2006). Po wstępnej selekcji, manuskrypty są publikowane jako „dokumenty dyskusyjne” do publicznego komentowania przez okres ośmiu tygodni. Dodatkowo, wyznaczeni recenzenci publikują swoje podpisane komentarze wraz z niezamówionymi komentarzami innych czytelników. Autorzy mają również możliwość ustosunkowania się do tych komentarzy. W drugim etapie manuskrypty są recenzowane z zastosowaniem tradycyjnych procedur recenzyjnych. Zaakceptowane artykuły są publikowane w głównym czasopiśmie. Wszystkie dokumenty dyskusyjne i komentarze są również utrzymywane na stałe na stronie internetowej.

Te innowacyjne systemy, które łączą komentarz publiczny z różnymi formami bardziej tradycyjnego przeglądu są intrygujące i mają rzeczywiste zasługi. Mają one potencjał, aby znacznie lepiej równoważyć różne role, jakie czasopisma odgrywają w społecznościach naukowych i uczonych. Szybka wstępna publikacja manuskryptów z mechanizmami publicznego komentarza i dyskusji służy ułatwieniu komunikacji między naukowcami. Jednocześnie, wykorzystanie tych publicznych komentarzy wraz z bardziej tradycyjną recenzją przed ostateczną publikacją zapewnia taki sam, a może nawet wyższy poziom kontroli jakości jak tradycyjna recenzja. Proces publicznego omawiania prac również dobrze pasuje do roli wspierania społeczności naukowych oraz upowszechniania i podtrzymywania standardów prowadzenia badań i stypendiów.

Z czasem zobaczymy, czy te nowe podejścia do wielowiekowego procesu peer-review dodają prawdziwą wartość. Ta nowa era publikacji elektronicznych jest wciąż w powijakach i musimy się jeszcze wiele nauczyć o tym, jak najlepiej wykorzystać nowe media i narzędzia komunikacji. Fakt, że nasz system publikacji naukowych pozostał w dużej mierze nienaruszony z niewielkimi zmianami przez ponad 340 lat dzięki ogromnemu postępowi nauki i technologii, jest świadectwem tego, jak dobrze się sprawdził. Naszym wyzwaniem w następnej dekadzie będzie dostosowanie systemu do tego nowego i bardzo odmiennego medium, zachowując te elementy, które nadal dobrze funkcjonują i znajdując sposoby na włączenie innowacyjnych podejść do komunikacji i oceny, które opierają się na możliwościach zapewnianych przez publikację elektroniczną.

David Solomon jest psychologiem edukacyjnym, który od dziewiętnastu lat pracuje w edukacji medycznej. Obecnie jest profesorem nadzwyczajnym w Departamencie Medycyny oraz Biurze Badań Edukacyjnych i Rozwoju w College of Human Medicine na Michigan State University. Jego badania dotyczyły głównie oceny osiągnięć, wyboru specjalności i kształcenia na odległość. W 1996 roku założył elektroniczne czasopismo „Medical Education Online”, które stało się uznanym czasopismem w tej dziedzinie. Jego innym głównym zainteresowaniem jest promowanie publikowania w otwartym dostępie. Można się z nim skontaktować pod adresem [email protected].

Altman, D. G. 2002 Niska jakość badań medycznych: Co mogą zrobić czasopisma? JAMA 287;21:2765-2767.

Baxt, W. G., J. F. Waeckerle, J. Berlin, and M. L. Callahm. 1989. Kto recenzuje recenzentów? Feasibility of using fictitious manuscript to evaluate peer reviewer performance. Annals of Emergency Medicine 32:310-317.

Bloom, T. 2006. Systems: Online frontiers of the peer-reviewed literature. W Nature. http://www.nature.com/nature/peerreview/debate/index.html.

Campbell, P. 2006. Nature Peer Review Trial and Debate. W Nature. http://www.nature.com/nature/peerreview/index.html.

Chang, A. 2006. Online journals challenge scientific peer review. Retrieved on November 19, 2006 from http://www.mercurynews.com/mld/mercurynews/news/breaking_news/15655422.htm.

Debata. 2006. „Peer Review” W Nature. http://www.nature.com/nature/peerreview/debate/index.html

Editorial. 2005. „Rewolucja w peer review?”. Nature Neuroscience 8; 4:397.

Faxon Institute. 1991. An Examination of Work-related Information Acquisition and Usage among Scientific, Medical and Technical Fields Westwood, Mass. Faxon Company.

Godlee, F. 2002. Making reviewers visible. Openness, accountability and credit. JAMA287; 21:2762-2765.

Goldbeck-Wood, S. 1999. Evidence on peer review: naukowa kontrola jakości czy zasłona dymna? BMJ 318:44-45 (2 stycznia). http://www.bmj.com/cgi/reprint/318/7175/44.

Gotzxche, P. C. 1989. Methodology and overt and hidden bias in reports of 196 double-blinded trials of non-steroidal anti-inflammatory drugs in rheumatoid arthritis. Controlled Clinical Trials, 10:3159.

Guédon, J. 2001. W długim cieniu Oldenburga: Bibliotekarze, naukowcy badawczy, wydawcy i kontrola publikacji naukowych. Prezentacja na spotkaniu Stowarzyszenia Bibliotek Naukowych (ARL) w maju 2001 r., w http://www.arl.org/arl/proceedings/138/guedon.html.

Jefferson, T., P. Alderson, E. Wager, and F. Davidoff. 2002a. Effects of editorial peer review. JAMA 5 czerwca, 287; 21:2784-2786.

Jefferson, T, E. Wager, i F. Davidoff. 2002b. Measuring quality of editorial peer review. JAMA June 5, 287; 21:2786-2790.

Jefferson, T. 2006. Jakość i wartość: Modele kontroli jakości badań naukowych. W Nature . http://www.nature.com/nature/peerreview/debate/nature05031.html.

Koop T., and U. Pöschl. 2006. An open, two-stage peer-review journal. W Nature . http://www.nature.com/nature/peerreview/debate/nature04988.html.

Kumashiro, K. K. 2005. Thinking Collaboratively about the Peer-Review Process for Journal-Article Publication. Harvard Educational Review 75; 3:257-287.

Pocock, S. J., M. D. Hughes, and R. J. Lee. 1987. Statistical problems in the reporting of clinical trials. Ankieta z trzech czasopism medycznych. New England Journal of Medicine 317:426-432.

Regehr, G., and G. Bordage. 2006. Zaślepić czy nie zaślepić? Co wolą autorzy i recenzenci. Medical Education 40:832-839.

Schafner, A. C. 1994. Przyszłość czasopism naukowych: Lessons from the past. Information Technology and Libraries 13:239-47.

Sandewall, E. 2006. Hybrydowy system peer review. In Nature. http://www.nature.com/nature/peerreview/debate/nature04994.html.

Smith, R. 1999 Opening up BMJ peer review. BMJ 1318:4-5 (2 stycznia). http://www.bmj.com/cgi/content/full/318/7175/4.

Van Rooyen S., F. Godlee, S. Evans, N. Black, and R. Smith. 1999. Effect of open peer review on quality of reviews and on reviewers’ recommendations: a randomized trial. BMJ 318:23-27 (2 stycznia). http://www.bmj.com/cgi/reprint/318/7175/23.

NOTES

1. Na przykład zobacz Open Journal Systems http://pkp.sfu.ca/?q=ojs.

2. Zobacz http://arxiv.org/todays_stats.

.