Abstract

Este artigo discute inovações recentes na forma como a revisão por pares é conduzida à luz das várias funções que as revistas desempenham nas comunidades acadêmicas.

Periódicos escolares já existem há mais de 340 anos. Embora a revisão por pares fosse menos comum entre as primeiras revistas, a maioria das revistas científicas e acadêmicas implementa hoje algum nível de revisão por pares. Apesar de sua longa história e firme implantação em comunidades acadêmicas, a revisão por pares tem sido cada vez mais escrutinada por acadêmicos (Debate 2006) e até mesmo pela imprensa leiga (Chang 2006). O debate parece ser em grande parte alimentado pelo crescente impacto da disseminação eletrônica e do uso da Internet na condução da revisão por pares. A Internet não só reduziu o custo e o esforço de conduzir a revisão pelos pares através de sistemas de gestão altamente automatizados baseados na Web, como também proporcionou uma grande flexibilidade na forma como a revisão pelos pares pode ser conduzida.

Muitos escritores têm defendido várias formas de revisão por pares “aberta”. Até certo ponto, esses apelos à mudança têm se concentrado em eliminar a tradição de cegar as identidades dos revisores. Outros têm defendido tornar público o registro completo da revisão por pares ou abrir o processo de revisão a qualquer pessoa que deseje fazer comentários. Houve mesmo discussões sobre o tratamento das publicações como documentos orgânicos que evoluem com o tempo, com uma série de versões que mudam para refletir novas informações e comentários adicionais (Bloom 2006).

Um número de periódicos altamente respeitados começou a experimentar modelos inovadores de revisão por pares. A revista British Medical Journal eliminou a cegueira em seu processo de revisão por pares já em 1999 (Smith 1999) e muitas das revistas da BioMed Central fornecem acesso aberto ao registro de revisão completo. Por um período de três meses a partir de junho de 2006, a Nature experimentou publicar pré-impressões para comentários públicos em paralelo com a tradicional revisão por pares (Campbell 2006) e a Public Library of Science (PLoS) está em processo de lançamento de uma nova revista, a PLos One, que publicará artigos quase imediatamente com o mínimo de triagem e permitirá comentários públicos.

Embora essas experiências de revisão por pares estejam criando uma quantidade significativa de discussão, a maioria das revistas acadêmicas continua a utilizar métodos tradicionais de revisão por pares, nos quais um grupo selecionado de especialistas cuja identidade é cega do autor e do público fornece feedback ao editor que toma uma decisão final de publicação. Embora seja provável que seja um processo lento, parece que estamos a entrar numa era em que a revisão pelos pares irá evoluir para tirar maior partido da flexibilidade oferecida pela Internet. Na minha opinião, este é apenas um aspecto de uma transformação muito maior do sistema secular de periódicos acadêmicos que está ocorrendo, pelo menos em parte, devido às diferenças inerentes entre a distribuição em papel e eletrônica e, mais geralmente, à flexibilidade e eficiência na comunicação oferecida pela Internet.

Almost treze anos atrás, Ann Schaffner (1994) escreveu um artigo muito perspicaz discutindo o futuro das revistas científicas. Ela se concentrou nos papéis variados e complexos que as revistas têm desempenhado nas comunidades científicas e acadêmicas na tentativa de entender o impacto das novas tecnologias sobre essas revistas. Se olharmos para o debate sobre como a revisão pelos pares deve ser feita (se for o caso), os argumentos muitas vezes refletem o foco do escritor ou orador em uma função ou funções específicas que as revistas desempenham nas comunidades acadêmicas. É minha convicção que podemos ter uma discussão mais ponderada sobre o papel da revisão por pares e o valor dos novos modos de revisão por pares se seguirmos o exemplo de Schaffner ao considerar os papéis específicos das revistas nas comunidades acadêmicas ao considerar como o processo de revisão por pares pode fazer melhor uso das opções oferecidas pela comunicação eletrônica.

The Roles of Journals in Scholarly Communities

Schaffner (1994) identificou cinco papéis distintos, embora um tanto sobrepostos, que as revistas desempenham nas comunidades acadêmicas. Como ela observa, elas provavelmente poderiam ser categorizadas de forma um pouco diferente, mas para mim seu esquema faz muito sentido.

Construir uma base de conhecimento coletiva – Provavelmente o papel mais importante que as revistas desempenham é formar nosso arquivo de conhecimento. A maioria das pessoas concordaria que as revistas formam o arquivo de informação mais abrangente, atualizado e autoritário em uma determinada área acadêmica. Obviamente, a precisão e a qualidade do material contido neste arquivo é de importância central. A revisão pelos pares serve como um dos mecanismos mais importantes para validar a informação contida nestas revistas.

Em geral, demora cerca de dezoito meses para que um artigo revisado por pares vá da submissão à publicação. Embora isto possa ser reduzido até certo ponto pela revisão por pares baseada na Web e publicação electrónica, o processo de revisão por pares e de revisão apenas leva tempo. Além disso, o cuidado e o esforço necessários para desenvolver um manuscrito publicável significa que pode levar meses entre o momento em que a pesquisa é conduzida e os resultados são até mesmo submetidos para publicação. Além disso, muitas vezes os manuscritos não são aceitos na primeira vez que são submetidos a uma revista e podem ser reapresentados a vários periódicos antes de serem aceitos para publicação. O resultado líquido é que as informações divulgadas através de periódicos revisados por pares geralmente têm vários anos.

Da perspectiva do nosso arquivo de conhecimentos, a velocidade na qual o arquivo é atualizado, embora não trivial, é muito menos preocupante do que a precisão e a qualidade do material. Acho que a maioria das pessoas concordaria que fazer tudo certo através do cuidado e esforço de revisão por pares e revisão cuidadosa, edição de cópias e composição tipográfica supera de longe a necessidade de publicação rápida ao ver essas revistas como nosso arquivo de conhecimento.

Comunicar informação – A comunicação entre estudiosos que trabalham em uma determinada área soa semelhante à construção de um acervo de conhecimento. No entanto, existem diferenças importantes. Velocidade e interatividade são muito mais importantes para este papel. Ao mesmo tempo, a revisão por pares é muito menos importante, pois os especialistas em uma área são perfeitamente capazes de tomar suas próprias decisões sobre o valor e precisão da informação que está sendo divulgada. Alguns argumentaram que sem a revisão pelos pares os estudiosos seriam inundados de informação (Editorial 2005). Este não parece ser o caso no campo da física. O conhecido servidor de pré-impressão arXiv.org tem até 5.000 pré-impressões depositadas por mês e dezenas de milhares de pessoas acessam o site a cada dia, e o sistema parece ter funcionado muito bem, pelo menos nesse campo por mais de quinze anos.

Jornais provavelmente desempenharam um papel muito mais central neste tipo de comunicação no início da sua história. Com outros meios de comunicação mais eficientes disponíveis hoje em dia, pode-se pensar que os periódicos teriam um papel bastante limitado na comunicação dos resultados das pesquisas entre os estudiosos. Não é claro que este seja o caso. Primeiro, a pesquisa sobre comunicação informal de ciência e conhecimento de engenharia sugere que os modos de comunicação variam substancialmente entre as áreas (Instituto Faxon 1991). Por exemplo, arquivos pré-impressos como o arXiv.org foram rapidamente abraçados por uma série de campos, mas raramente são usados em outros campos, apesar das tentativas concertadas dos indivíduos para implementá-los. (Este tem sido o caso no meu campo de pesquisa educacional.) A pesquisa sobre comunicação informal entre cientistas também sugere que muito do que é discutido entre os estudiosos acaba sendo artigos de periódicos (Schaffner 1994). Enquanto arquivos pré-impressos, listservs e discussões em linha são susceptíveis de crescer em importância para a comunicação entre os estudiosos que trabalham em uma área, as revistas parecem claramente estar mantendo um papel significativo neste tipo de comunicação.

Validar a qualidade da pesquisa – As revistas também desempenham um papel na manutenção dos padrões da comunidade na forma como a pesquisa e a bolsa de estudos são conduzidas. Até certo ponto, isto é feito como periódicos filtram o que é publicado e, portanto, divulgado. Os efeitos também podem ser mais sutis. O trabalho de estudiosos experientes raramente recebe críticas duras. Isso não quer dizer que eles sempre recebem seus manuscritos publicados, mas eles tendem a internalizar as normas do campo e sabem como a pesquisa ou bolsa de estudos deve ser conduzida e descrita, sendo muito menos provável que os novatos sejam castigados pelos revisores.

Não há um consenso universal de que isso seja inteiramente bom. Alguns têm argumentado que isso sufoca a criatividade e sujeita desnecessariamente os pesquisadores novatos a duras críticas (Kumashiro 2005).

Distribuir recompensas – A publicação em revistas revistas revisadas por pares é uma das principais formas de avaliação dos estudiosos. Não só a quantidade é importante, mas em quais revistas se publica é igualmente, se não mais importante. As raízes disto remontam à formação das Transações Filosóficas da Royal Society of London em meados do século XVII. Embora as decisões de posse não estivessem envolvidas, uma função importante daquela revista era estabelecer quem merecia crédito por descobertas ou teorias específicas. De acordo com Guédon (2001), a revista serviu quase como um escritório de patentes de idéias. Ao publicar na revista, os cientistas ou filósofos naturais (como eram chamados na época) podiam estabelecer a propriedade de sua propriedade intelectual. A competição entre cientistas e a controvérsia sobre o crédito de descobertas ainda hoje é um tema, e as revistas ainda cumprem o papel de documentar a paternidade da propriedade intelectual. Esse papel se expandiu claramente como uma medida mais geral de realização, e a revisão pelos pares – correta ou incorretamente – é um aspecto importante desse papel.

Construindo comunidades científicas – Os periódicos também atuam como um meio de amarrar uma comunidade acadêmica de várias maneiras. Uma marca registrada da chegada da idade de uma disciplina é o estabelecimento de uma nova revista: em essência, vigiando o território intelectual do novo campo. Além disso, editoriais, artigos de opinião e cartas ao editor servem muitas vezes como um fórum para debater as questões da disciplina. Às vezes são substantivos e às vezes se estendem a áreas relacionadas, como as implicações sociais das descobertas, financiamento ou questões de treinamento dentro da área. Os periódicos também servem geralmente como um fórum para notícias como novas nomeações para cargos importantes ou a morte de um membro conhecido da comunidade acadêmica. Embora este papel possa estar diminuindo até certo ponto com a variedade de opções de comunicação disponíveis, as revistas continuam a desempenhar um papel importante na formação e manutenção das comunidades acadêmicas.

Peer Review in Relation to the Roles of Journals

A relevância da revisão por pares varia claramente entre as diferentes funções das revistas. A revisão por pares é geralmente vista como vital para as funções de formar um arquivo de conhecimento e distribuir recompensas. Ela também desempenha um papel fundamental na validação da qualidade da pesquisa em um campo, mas, como observado por Kumashiro, também pode dificultar a disseminação de novas idéias e métodos. A revisão por pares é de pouco valor e provavelmente um obstáculo para facilitar a comunicação entre os estudiosos de um campo e não é relevante para o papel de construção de comunidades científicas.

O valor da revisão por pares é baseado no pressuposto de que ela fornece uma medida válida da qualidade de um manuscrito e sua aderência às normas do campo. O seu valor também está ligado ao fornecimento de feedback para que um manuscrito possa ser melhorado através da revisão. Estas suposições são em grande parte tidas como certas e raramente contestadas, mas a sua validade é questionável.

Jefferson et al. (2002a) realizaram uma revisão sistemática da literatura sobre o efeito da revisão por pares em periódicos biomédicos. Eles encontraram poucos estudos controlados, e a maioria deles foi focada em práticas editoriais específicas, como cegamento ou uso de listas de verificação no processo de revisão. Em uma revisão posterior (2002b) os autores identificaram dez estudos que analisaram a relação entre a revisão por pares e a qualidade dos artigos. Apenas um comparou artigos revisados por pares com artigos não revisados por pares, e teve um desenho de estudo fraco. Os demais compararam vários métodos de revisão por pares ou a mudança na qualidade antes e depois da revisão com base na revisão por pares. Cada artigo utilizou classificações de especialistas com base em uma escala de classificação diferente. Nenhum dos instrumentos de avaliação parecia ter sido avaliado quanto à qualidade psicométrica. A conclusão geral de Jefferson et al. é que há muito pouca evidência cientificamente sólida apoiando o valor da revisão por pares para garantir a qualidade dos manuscritos – pelo menos nas ciências biomédicas.

Há também algumas evidências de que a revisão por pares não é necessariamente bem sucedida na identificação de falhas metodológicas em artigos de pesquisa. Baxt et al. (1998) enviaram aos revisores um manuscrito fictício com falhas claras de design e análise que impediram que os resultados apoiassem as conclusões do estudo que foi descrito. Por exemplo, ele afirmou que havia atribuição aleatória a grupos de tratamento/controle, mas o procedimento claramente não foi aleatório. Os 203 médicos de emergência que participaram do estudo foram revisores experientes para Annals of Emergency Medicine, uma revista muito respeitada na área. Em média, os revisores identificaram apenas 34% das falhas fatais no manuscrito, e 41% dos revisores indicaram que o manuscrito deveria ser aceito para publicação. Há também uma multiplicidade de estudos demonstrando a alta taxa de erros metodológicos em pesquisas médicas publicadas (Pocock, Hughes, & Lee 1987; Gotzche 1989). Altman (2002) culpa esta situação por uma variedade de causas, incluindo a falta de conhecimentos estatísticos e de desenho de pesquisa entre os revisores. Embora estes exemplos venham das ciências biomédicas, seria de pensar, para não mencionar a esperança, que as mais sólidas práticas de pesquisa seriam usadas em um campo tão crítico. Com base na minha experiência como cientista social, os erros metodológicos são comuns também nas revistas de ciências sociais.

O uso efetivo da revisão por pares

A falta de evidências validando a eficácia da revisão por pares e o fato de que a pesquisa com falhas é freqüentemente publicada em revistas rigorosamente revisadas por pares sugerem que a revisão por pares carece de valor? Eu acho que não. Em muitos aspectos, a revisão por pares é paralela ao nosso sistema de júri: embora com falhas, é a melhor que temos (Jefferson 2006). Minha apreciação pelo processo cresceu ao longo dos onze anos em que fui editor da Medical Education Online (MEO), uma revista de acesso aberto revisada por pares em educação médica. O valor da revisão por pares não é tanto como um meio de filtrar manuscritos pobres (embora seja útil ter o apoio de vários revisores quando confrontado com um autor irado); Em vez disso, a revisão pelos pares é valiosa como meio de melhorar a qualidade do que é publicado. Estou continuamente espantado com o tempo, o esforço e o pensamento que muitos revisores colocam no processo de revisão. O resultado, na maioria das vezes, é um excelente feedback construtivo que a maioria dos autores acolhe e utiliza para melhorar os seus manuscritos.

Outro fato que às vezes é negligenciado é que enquanto revisores individuais muitas vezes perdem questões específicas em um manuscrito, outro revisor frequentemente pega o problema. Quanto mais revisores avaliarem um manuscrito, mais provável que os erros sejam detectados e os problemas identificados. Usar a Internet para conduzir revisões reduz drasticamente o custo e o esforço envolvido na revisão pelos pares e torna viável incluir um maior número de revisores por manuscrito. Nosso objetivo no MEO é ter de quatro a seis consultores revisando cada manuscrito, e se houver mais, melhor ainda. Ao usar um processo bastante aberto para selecionar os revisores, achamos que é fácil atingir esse objetivo. Atualmente temos aproximadamente trezentos revisores que se voluntariaram para revisar os manuscritos e acharam relativamente fácil acrescentar ao nosso grupo de revisão, conforme necessário.

Para que a revisão por pares funcione eficazmente, o papel de um editor é crucial. Enquanto a maioria das revisões fornece um feedback valioso, há uma grande variabilidade entre os revisores nas questões abordadas, e o feedback é ocasionalmente contraditório (e de vez em quando simplesmente errado). Alguém precisa fazer sentido a partir das várias revisões e fornecer um resumo coerente do feedback, e se o manuscrito precisar de revisão antes da publicação, um conjunto claro de orientações para o autor deve ser dado. Não é que o editor seja necessariamente mais sábio ou menos propenso a enviesamentos do que os revisores individuais, é apenas que alguém tem que se encarregar para que o feedback e as orientações para o autor sejam coerentes. Caso contrário, isso leva os autores à loucura.

No MEO, o editor de revisão fornece uma carta de feedback com a decisão de publicação, um resumo do feedback e, se apropriado, um conjunto coerente de questões que devem ser abordadas antes da publicação. Além disso, enviamos de volta tanto os comentários como as avaliações de todos os revisores, com exceção dos comentários que o revisor especificou apenas para o editor. Acredito que os autores apreciam receber todo o feedback, assim como um conjunto claro de orientações do editor para a revisão de seus manuscritos. Também enviamos cópias de carbono do feedback que é enviado ao autor para cada revisor. A minha experiência tem sido que os revisores quase universalmente apreciam tanto o aprendizado da disposição final de um manuscrito quanto o fato de ver o que os outros revisores têm a dizer sobre ele.

Inovações na Revisão por Pares

Como observado, a flexibilidade e eficiência da comunicação via Internet tornou viável experimentar uma variedade de modelos diferentes de revisão por pares. A única inovação que tem sido mais discutida na literatura é tornar o processo de revisão por pares mais transparente. Tradicionalmente as identidades dos revisores são mantidas em sigilo, e em muitos casos os manuscritos são mascarados para remover qualquer informação de identificação relativa aos autores e suas instituições. No nível mais básico, a revisão aberta por pares tem consistido em tornar pública a identidade dos revisores ou tornar a identidade dos autores conhecida dos revisores, ou de ambos, durante a revisão. Isto, naturalmente, não depende de publicação eletrônica; a revisão e o debate sobre como manter a identidade dos revisores em sigilo remonta muito antes de a Internet se tornar amplamente disponível. Esta questão foi bastante bem pesquisada (Goldbeck-Wood 1999). As evidências sugerem que o anonimato tem pouco impacto na qualidade da revisão ou nas taxas de aceitação, mas revelar a identidade dos revisores pode diminuir a probabilidade de alguém se voluntariar para revisar (van Rooyen et al. 1999).

Apesar das evidências de que a abertura do processo de revisão pelos pares ao escrutínio público não parece afetar a qualidade de uma forma ou de outra, o debate tem continuado, focando principalmente nos efeitos auxiliares da revelação da identidade dos revisores. Os proponentes têm argumentado que a abertura do processo de revisão é eticamente superior com pouco ou nenhum impacto no processo e, na verdade, pode encorajar mais civilidade no processo de revisão (Godlee 2002; Morrison 2006). As principais preocupações com a abertura da revisão pelos pares centram-se na introdução de preconceitos pessoais e no potencial de retribuição no que tende a ser um mundo muito pequeno dentro de campos específicos. Há uma preocupação particular com o impacto sobre os jovens investigadores, que são particularmente vulneráveis. Em uma pesquisa recente com autores e revisores para Educação Médica, uma revista amplamente lida na área, os entrevistados apoiaram fortemente a cegueira tanto dos autores quanto dos revisores (Regehr e Bordage 2006). Não há um consenso claro sobre se os manuscritos devem ser cegados, e os argumentos de ambos os lados parecem persuasivos.

Embora a abertura do processo de revisão por pares não seja contingente à Internet, a Internet pode facilitar um processo de revisão ainda mais transparente. Muitas das revistas da BioMed Central Medical utilizam um processo de revisão completamente aberto, no qual não só as identidades dos revisores e autores são públicas, mas o registro completo da revisão, incluindo todo o feedback dos revisores e as iterações subsequentes da correspondência no processo de revisão, é disponibilizado publicamente com o manuscrito publicado. A divulgação completa do registro de revisão provavelmente não seria viável com uma revista em papel por razões logísticas.

Uma inovação mais recente que está dependente da Internet tem sido abrir o processo de revisão para qualquer pessoa que deseje comentar um artigo. Como observado, a Nature implementou recentemente um processo aberto de revisão em caráter experimental em paralelo ao seu processo normal de revisão, e a Biblioteca Pública de Ciências estará implementando o PLoS One, uma nova revista que utilizará um processo em duas etapas, em que um único editor acadêmico realiza uma tela inicial seguida por um sistema para comentários e discussão pública.

Resta saber qual será o sucesso desses sistemas de revisão pública. Há uma série de revistas especializadas menos conhecidas que implementaram sistemas de revisão baseados em comentários públicos. Electronic Transactions on Artificial Intelligence (ETAI) fornece um sistema híbrido de revisão por pares (Sandewall 2006). Manuscritos que se encaixam no escopo da revista são imediatamente publicados para comentários públicos por três meses, e se houver uma discussão contínua, o período pode ser estendido. Após o período de discussão, os autores têm a oportunidade de revisar seus manuscritos com base no feedback e, em seguida, o manuscrito é enviado para revisão cega externa. Os revisores, no entanto, apenas fornecem uma decisão de publicação/rejeição sem comentários, uma vez que o manuscrito já recebeu comentários extensos do público. Se aceito, os artigos são geralmente publicados dentro de um mês.

Atmospheric Chemistry and Physics usa uma abordagem em duas fases que inclui comentários do público (Koop e Poschl 2006). Após uma pré-triagem, os manuscritos são publicados como “artigos de discussão” para comentários do público por um período de oito semanas. Além disso, os revisores designados publicam seus comentários assinados junto com os comentários não solicitados de outros leitores. Os autores também estão autorizados a responder aos comentários. Em uma segunda etapa, os manuscritos são revisados usando os procedimentos tradicionais de revisão. Os artigos aceitos são publicados na revista principal. Todos os artigos de discussão e comentários também são mantidos permanentemente no site.

Estes sistemas inovadores que combinam comentários públicos com várias formas de revisão mais tradicionais são intrigantes e têm um verdadeiro mérito. Eles têm o potencial de fazer um trabalho significativamente melhor para equilibrar os vários papéis que as revistas desempenham nas comunidades científica e acadêmica. A rápida publicação inicial de manuscritos com mecanismos de comentário e discussão pública serve o papel de facilitar a comunicação entre os estudiosos. Ao mesmo tempo, o uso deste comentário público juntamente com uma revisão por pares mais tradicional antes da publicação final proporciona o mesmo ou até mesmo um nível mais elevado de controle de qualidade que a revisão por pares tradicional. O processo de discussão pública de trabalhos também se enquadra bem nos papéis de fomentar comunidades científicas e disseminar e manter padrões de condução de pesquisa e bolsas de estudos.

Todos os anos, veremos se estas novas abordagens do processo secular de revisão por pares acrescentam um valor real. Esta nova era da publicação eletrônica ainda está na sua infância e temos muito a aprender sobre a melhor forma de utilizar os novos meios e ferramentas de comunicação. O fato de que nosso sistema de publicação acadêmica permaneceu em grande parte intacto com apenas mudanças modestas por mais de 340 anos através de enormes avanços na ciência e na tecnologia é uma prova de quão bem ele tem funcionado. O nosso desafio na próxima década será adaptar o sistema a este novo e muito diferente meio, mantendo os componentes que continuam a funcionar bem e encontrando formas de incorporar abordagens inovadoras à comunicação e avaliação que se baseiem nas capacidades oferecidas pela publicação electrónica.

David Solomon é um psicólogo educacional que trabalha em educação médica há dezenove anos. Atualmente é Professor Associado do Departamento de Medicina e do Escritório de Pesquisa e Desenvolvimento Educacional da Faculdade de Medicina Humana da Michigan State University. Sua pesquisa tem sido principalmente nas áreas de avaliação de desempenho, escolha de especialidade e ensino à distância. Em 1996 ele iniciou uma revista eletrônica, Medical Education Online, que cresceu e se tornou uma revista bem estabelecida na área. O seu outro grande interesse é promover a publicação de acesso aberto. Ele pode ser contatado em [email protected].

Altman, D. G. 2002 Pesquisa médica de má qualidade: O que as revistas podem fazer? JAMA 287;21:2765-2767.

Baxt, W. G., J. F. Waeckerle, J. Berlin, e M. L. Callahm. 1989. Quem revê os revisores? Viabilidade de usar manuscritos fictícios para avaliar o desempenho dos revisores. Annals of Emergency Medicine 32:310-317.

Bloom, T. 2006. Sistemas: Fronteiras on-line da literatura revisada por pares. Na Natureza. http://www.nature.com/nature/peerreview/debate/index.html.

Campbell, P. 2006. Nature Peer Review Trial and Debate. Na Natureza. http://www.nature.com/nature/peerreview/index.html.

Chang, A. 2006. Revistas online desafiam a revisão científica por pares. Recuperado em 19 de Novembro de 2006 de http://www.mercurynews.com/mld/mercurynews/news/breaking_news/15655422.htm.

Debate. 2006. “Peer Review” Na Natureza. http://www.nature.com/nature/peerreview/debate/index.html

Editorial. 2005. “Revisão por pares revolucionária?”. Nature Neuroscience 8; 4:397.

Instituto Faxon. 1991. An Examination of Work-related Information Acquisition and Usage among Scientific, Medical and Technical Fields Westwood, Mass. Faxon Company.

Godlee, F. 2002. Tornando os revisores visíveis. Abertura, responsabilidade e crédito. JAMA287; 21:2762-2765.

Goldbeck-Wood, S. 1999. Evidência sobre revisão por pares: controle de qualidade científica ou cortina de fumaça? BMJ 318:44-45 (2 de Janeiro). http://www.bmj.com/cgi/reprint/318/7175/44.

Gotzxche, P. C. 1989. Metodologia e viés oculto e evidente nos relatórios de 196 ensaios duplo-cego de anti-inflamatórios não esteróides na artrite reumatóide. Ensaios clínicos controlados, 10:3159.

Guédon, J. 2001. Na longa sombra de Oldenburg: Bibliotecários, cientistas pesquisadores, editores e o controle da publicação científica. Apresentação na reunião de maio de 2001 da Association of Research Libraries (ARL), em http://www.arl.org/arl/proceedings/138/guedon.html.

Jefferson, T., P. Alderson, E. Wager, e F. Davidoff. 2002a. Efeitos da revisão editorial por pares. JAMA 5 de junho de 287; 21:2784-2786.

Jefferson, T, E. Wager, e F. Davidoff. 2002b. Medindo a qualidade da revisão editorial por pares. JAMA 5 de junho de 287; 21:2786-2790.

Jefferson, T. 2006. Qualidade e valor: Modelos de controle de qualidade para pesquisa científica. Na Natureza . http://www.nature.com/nature/peerreview/debate/nature05031.html.

Koop T., e U. Pöschl. 2006. Uma revista aberta, de duas fases de revisão por pares. Na Natureza . http://www.nature.com/nature/peerreview/debate/nature04988.html.

Kumashiro, K. K. 2005. Thinking Collaboratively about the Peer-Review Process for Journal-Article Publication. Harvard Educational Review 75; 3:257-287.

Pocock, S. J., M. D. Hughes, e R. J. Lee. 1987. Statistical problems in the reporting of clinical trials. Um levantamento de três periódicos médicos. New England Journal of Medicine 317:426-432.

Regehr, G., e G. Bordage. 2006. Cegar ou não cegar? O que os autores e revisores preferem. Educação Médica 40:832-839.

Schafner, A. C. 1994. O futuro dos periódicos científicos: Lições do passado. Tecnologia da Informação e Bibliotecas 13:239-47.

Sandewall, E. 2006. Um sistema híbrido de revisão por pares. In Nature. http://www.nature.com/nature/peerreview/debate/nature04994.html.

Smith, R. 1999 Abrindo BMJ revisão por pares. BMJ 1318:4-5 (2 de janeiro). http://www.bmj.com/cgi/content/full/318/7175/4.

Van Rooyen S., F. Godlee, S. Evans, N. Black, e R. Smith. 1999. Effect of open peer review on quality of reviews and on reviewers’ recommendations: a randomized trial. BMJ 318:23-27 (2 de janeiro). http://www.bmj.com/cgi/reprint/318/7175/23.

NOTES

1. Por exemplo veja Open Journal Systems http://pkp.sfu.ca/?q=ojs.

2. Ver http://arxiv.org/todays_stats.

.