Abstract

Este artículo analiza las recientes innovaciones en la forma de realizar la revisión por pares a la luz de las diversas funciones que cumplen las revistas en las comunidades académicas.

Las revistas académicas existen desde hace más de 340 años. Si bien la revisión por pares era menos común entre las primeras revistas, la mayoría de las revistas científicas y académicas implementan algún nivel de revisión por pares en la actualidad. A pesar de su larga historia y de su firme establecimiento en las comunidades académicas, la revisión por pares ha sido objeto de un creciente escrutinio por parte de los académicos (Debate 2006) e incluso de la prensa no especializada (Chang 2006). El debate parece estar alimentado en gran medida por el creciente impacto de la difusión electrónica y el uso de Internet en la realización de la revisión por pares. Internet no sólo ha reducido el coste y el esfuerzo de llevar a cabo la revisión por pares a través de sistemas de gestión altamente automatizados basados en la web, sino que ha proporcionado una gran flexibilidad en la forma de llevar a cabo la revisión por pares.

Muchos escritores han defendido varias formas de revisión por pares «abierta». Hasta cierto punto, estos llamamientos al cambio se han centrado en la eliminación de la tradición de ocultar la identidad de los revisores. Otros han defendido que se haga público el registro completo de la revisión por pares o que se abra el proceso de revisión a cualquier persona que desee hacer comentarios. Incluso se ha debatido la posibilidad de tratar las publicaciones como documentos orgánicos que evolucionan con el tiempo con una serie de versiones que cambian para reflejar nueva información y comentarios adicionales (Bloom 2006).

Varias revistas muy respetadas han empezado a experimentar con modelos innovadores de revisión por pares. El British Medical Journal eliminó el cegamiento en su proceso de revisión por pares ya en 1999 (Smith 1999) y muchas de las revistas de BioMed Central proporcionan acceso abierto al registro de revisión completo. Durante un período de tres meses a partir de junio de 2006, Nature experimentó con la publicación de preprints para que el público los comentara en paralelo a la revisión por pares tradicional (Campbell 2006) y la Public Library of Science (PLoS) está en proceso de lanzar una nueva revista, PLos One, que publicará artículos casi inmediatamente con una selección mínima y permitirá el comentario del público.

Aunque estos experimentos en la revisión por pares están creando una cantidad significativa de discusión, la mayoría de las revistas académicas siguen utilizando los métodos tradicionales de revisión por pares en los que un grupo seleccionado de expertos cuya identidad está oculta para el autor y el público proporciona información al editor que toma la decisión final de publicación. Aunque es probable que sea un proceso lento, parece que estamos entrando en una era en la que la revisión por pares evolucionará para aprovechar mejor la flexibilidad que ofrece Internet. En mi opinión, éste es sólo un aspecto de una transformación mucho más amplia del sistema de revistas académicas centenarias que se está produciendo, al menos en parte, debido a las diferencias inherentes entre la distribución en papel y la electrónica y, más en general, a la flexibilidad y la eficiencia en la comunicación que ofrece Internet.

Hace casi trece años, Ann Schaffner (1994) escribió un artículo muy perspicaz sobre el futuro de las revistas científicas. Se centró en las variadas y complejas funciones que las revistas han desempeñado en las comunidades científicas y académicas para tratar de entender el impacto de las nuevas tecnologías en estas revistas. Si se observa el debate sobre cómo debe hacerse la revisión por pares (si es que se hace), los argumentos a menudo reflejan el enfoque del escritor o del orador en una función o funciones específicas que las revistas desempeñan en las comunidades académicas. Creo que podemos tener una discusión más reflexiva sobre el papel de la revisión por pares y el valor de los nuevos modos de revisión por pares si seguimos el ejemplo de Schaffner al considerar las funciones específicas de las revistas en las comunidades académicas al considerar cómo el proceso de revisión por pares puede hacer el mejor uso de las opciones ofrecidas por la comunicación electrónica.

Las funciones de las revistas en las comunidades académicas

Schaffner (1994) identificó cinco funciones distintas, aunque algo superpuestas, que las revistas desempeñan en las comunidades académicas. Como ella señala, probablemente podrían clasificarse de forma diferente, pero para mí su esquema tiene mucho sentido.

Creación de una base de conocimiento colectiva – Probablemente el papel más importante que desempeñan las revistas es el de formar nuestro archivo de conocimiento. La mayoría de las personas estarían de acuerdo en que las revistas constituyen el archivo de información más completo, actualizado y autorizado en un campo académico determinado. Obviamente, la exactitud y la calidad del material contenido en este archivo es de vital importancia. La revisión por pares es uno de los mecanismos más importantes para validar la información contenida en estas revistas.

Por lo general, un artículo revisado por pares tarda unos dieciocho meses en pasar de la presentación a la publicación. Aunque esto puede reducirse en cierta medida gracias a la revisión por pares basada en la web y a la publicación electrónica, el proceso de revisión por pares y el proceso de revisión simplemente llevan tiempo. Además, el cuidado y el esfuerzo que requiere la elaboración de un manuscrito publicable significa que pueden pasar meses desde que se realiza la investigación hasta que se presentan los resultados para su publicación. Además, los manuscritos no suelen ser aceptados la primera vez que se presentan a una revista y pueden volver a presentarse a varias revistas antes de ser aceptados para su publicación. El resultado neto es que la información que se difunde a través de las revistas revisadas por pares suele tener varios años de antigüedad.

Desde el punto de vista de nuestro archivo de conocimientos, la velocidad con la que se actualiza el archivo, aunque no es trivial, es una preocupación mucho menor que la precisión y la calidad del material. Creo que la mayoría de la gente estaría de acuerdo en que conseguirlo mediante el cuidado y el esfuerzo de la revisión por pares y la revisión cuidadosa, la edición de copias y la composición tipográfica es mucho más importante que la necesidad de una publicación rápida cuando se ven estas revistas como nuestro archivo de conocimiento.

Comunicación de la información – La comunicación entre los académicos que trabajan en un campo particular suena similar a la construcción de un archivo de conocimiento. Sin embargo, existen importantes diferencias. La velocidad y la interactividad son mucho más importantes para esta función. Al mismo tiempo, la revisión por pares es mucho menos importante, ya que los expertos en un campo son perfectamente capaces de tomar sus propias decisiones sobre el valor y la exactitud de la información que se difunde. Algunos han argumentado que sin la revisión por pares los académicos estarían inundados de información (Editorial 2005). Este no parece ser el caso en el campo de la física. El conocido servidor de preimpresos arXiv.org tiene hasta 5.000 preimpresos depositados cada mes y decenas de miles de personas acceden al sitio cada día, y el sistema parece haber funcionado muy bien, al menos en ese campo, durante más de quince años.

Las revistas probablemente desempeñaron un papel mucho más importante en este tipo de comunicación al principio de su historia. Con otros medios de comunicación más eficientes disponibles hoy en día, uno podría pensar que las revistas tendrían un papel bastante limitado en la comunicación de los resultados de la investigación entre los académicos. No está claro que sea así. En primer lugar, la investigación sobre la comunicación informal de los conocimientos de ciencia e ingeniería sugiere que los modos de comunicación varían sustancialmente entre los distintos campos (Faxon Institute 1991). Por ejemplo, los archivos de preimpresiones, como arXiv.org, fueron adoptados rápidamente por una serie de campos, pero rara vez se utilizan en otros campos, a pesar de los intentos concertados de los individuos para implementarlos. (Este ha sido el caso en mi campo de investigación educativa). La investigación sobre la comunicación informal entre los científicos también sugiere que gran parte de lo que se discute entre los académicos resulta ser artículos de revistas (Schaffner 1994). Si bien es probable que los archivos de preimpresos, las listas de correo electrónico y los debates en línea adquieran mayor importancia para la comunicación entre los académicos que trabajan en un campo, las revistas parecen conservar claramente un papel importante en este tipo de comunicación.

Validación de la calidad de la investigación – Las revistas también desempeñan un papel en el mantenimiento de las normas de la comunidad en la forma en que se lleva a cabo la investigación y la erudición. Hasta cierto punto, esto se hace porque las revistas filtran lo que se publica y, por tanto, se difunde. Los efectos también pueden ser más sutiles. El trabajo de los académicos experimentados rara vez recibe críticas severas. Esto no quiere decir que siempre consigan publicar sus manuscritos, pero tienden a haber interiorizado las normas del campo y saben cómo debe realizarse y describirse la investigación o la erudición, y son mucho menos propensos que los novatos a ser reprendidos por los revisores.

No existe un acuerdo universal de que esto sea totalmente positivo. Algunos han argumentado que esto ahoga la creatividad y somete innecesariamente a los investigadores noveles a duras críticas (Kumashiro 2005).

Distribución de recompensas – La publicación en revistas revisadas por pares es una de las principales formas de evaluar a los académicos. No sólo es importante la cantidad, sino que las revistas en las que se publica son igualmente importantes, si no más. Las raíces de este fenómeno se remontan a la creación de las Transacciones Filosóficas de la Real Sociedad de Londres a mediados del siglo XVII. Según Guédon (2001), la revista servía casi como una oficina de patentes para las ideas. Al publicar en la revista, los científicos o los filósofos naturales (como se les llamaba en aquella época) podían establecer la titularidad de su propiedad intelectual. La competencia entre científicos y la controversia sobre el crédito de los descubrimientos sigue siendo un problema hoy en día, y las revistas siguen cumpliendo la función de documentar la paternidad de la propiedad intelectual. Este papel se ha ampliado claramente como una medida más general de los logros, y la revisión por pares -con razón o sin ella- es un aspecto importante de este papel.

Construcción de comunidades científicas – Las revistas también actúan como un medio para unir a una comunidad académica de varias maneras. Una de las señas de identidad de la mayoría de edad de una disciplina es la creación de una nueva revista: en esencia, la delimitación del territorio intelectual del nuevo campo. Además, los editoriales, los artículos de opinión y las cartas al director suelen servir de foro para debatir los problemas de la disciplina. A veces son de fondo y otras se extienden a áreas relacionadas, como las implicaciones sociales de los hallazgos, la financiación o las cuestiones de formación dentro del campo. Las revistas también suelen servir de foro para noticias como los nuevos nombramientos en puestos importantes o el fallecimiento de un miembro conocido de la comunidad académica. Aunque esta función puede estar disminuyendo en cierta medida con la variedad de opciones de comunicación disponibles, las revistas siguen desempeñando un papel importante en la formación y el mantenimiento de las comunidades académicas.

La revisión por pares en relación con las funciones de las revistas

La relevancia de la revisión por pares varía claramente entre las diferentes funciones de las revistas. Por lo general, la revisión por pares se considera vital para las funciones de formar un archivo de conocimientos y distribuir recompensas. También desempeña un papel clave en la validación de la calidad de la investigación en un campo, pero, como señala Kumashiro, también puede obstaculizar la difusión de nuevas ideas y métodos. La revisión por pares tiene poco valor y probablemente sea un obstáculo para facilitar la comunicación entre los académicos de un campo y no es relevante para la función de construir comunidades científicas.

El valor de la revisión por pares se basa en la suposición de que proporciona una medida válida de la calidad de un manuscrito y su adhesión a las normas del campo. Su valor también está ligado a la aportación de comentarios para que un manuscrito pueda mejorarse mediante su revisión. Estas suposiciones se dan por sentadas y rara vez se cuestionan, pero su validez está abierta a la duda.

Jefferson et al. (2002a) realizaron una revisión sistemática de la literatura sobre el efecto de la revisión por pares en las revistas biomédicas. Encontraron pocos estudios controlados, y la mayoría de ellos se centraban en prácticas editoriales específicas, como el cegamiento o el uso de listas de comprobación en el proceso de revisión. En otra revisión (2002b), los autores identificaron diez estudios que analizaban la relación entre la revisión por pares y la calidad de los artículos. Sólo uno comparaba artículos revisados por pares con artículos no revisados por pares, y tenía un diseño de estudio débil. El resto comparó varios métodos de revisión por pares o el cambio en la calidad antes y después de la revisión basada en la revisión por pares. Cada artículo utilizó calificaciones de expertos basadas en una escala de calificación diferente. Ninguno de los instrumentos de calificación parecía haber sido evaluado en cuanto a su calidad psicométrica. La conclusión general de Jefferson et al. es que hay muy pocas pruebas científicamente sólidas que apoyen el valor de la revisión por pares para garantizar la calidad de los manuscritos, al menos en las ciencias biomédicas.

También hay algunas pruebas de que la revisión por pares no es necesariamente exitosa en la identificación de defectos metodológicos en los artículos de investigación. Baxt et al. (1998) enviaron a los revisores un manuscrito ficticio con claros defectos de diseño y análisis que impedían que los resultados apoyaran las conclusiones del estudio descrito. Por ejemplo, afirmaba que había una asignación aleatoria a los grupos de tratamiento/control, pero el procedimiento no era claramente aleatorio. Los 203 médicos de urgencias que participaron en el estudio eran revisores experimentados de Annals of Emergency Medicine, una revista muy respetada en este campo. En promedio, los revisores identificaron sólo el 34% de los defectos fatales en el manuscrito, y el 41% de los revisores indicaron que el manuscrito debía ser aceptado para su publicación. También hay una multitud de estudios que demuestran la alta tasa de errores metodológicos en la investigación médica publicada (Pocock, Hughes, & Lee 1987; Gotzche 1989). Altman (2002) lo achaca a diversas causas, entre ellas la falta de conocimientos estadísticos y de diseño de la investigación entre los revisores. Aunque estos ejemplos proceden de las ciencias biomédicas, cabría pensar, por no decir esperar, que en un campo tan crítico se utilizarían las prácticas de investigación más sólidas. Basándome en mi experiencia como científico social, los errores metodológicos también son comunes en las revistas de ciencias sociales.

Uso eficaz de la revisión por pares

¿La falta de pruebas que validen la eficacia de la revisión por pares y el hecho de que a menudo se publique investigación defectuosa en revistas rigurosamente revisadas por pares sugiere que la revisión por pares carece de valor? Yo creo que no. En muchos sentidos, la revisión por pares es paralela a nuestro sistema de jurados: aunque defectuosa, es la mejor que tenemos (Jefferson 2006). Mi aprecio por el proceso ha crecido a lo largo de los once años que he sido editor de Medical Education Online (MEO), una revista de acceso abierto revisada por pares en educación médica. El valor de la revisión por pares no es tanto un medio para filtrar los manuscritos pobres (aunque es útil tener el respaldo de varios revisores cuando se enfrenta a un autor iracundo); En cambio, la revisión por pares es valiosa como medio para mejorar la calidad de lo que se publica. No deja de sorprenderme el tiempo, el esfuerzo y la reflexión que muchos revisores dedican al proceso de revisión. El resultado suele ser una excelente retroalimentación constructiva que la mayoría de los autores agradecen y utilizan para mejorar sus manuscritos.

Otro hecho que a veces se pasa por alto es que mientras los revisores individuales a menudo pasan por alto problemas específicos en un manuscrito, otro revisor a menudo capta el problema. Cuantos más revisores evalúen un manuscrito, más probable será que se detecten los errores y se identifiquen los problemas. El uso de Internet para llevar a cabo las revisiones reduce drásticamente el coste y el esfuerzo que supone la revisión por pares y hace posible incluir un mayor número de revisores por manuscrito. Nuestro objetivo en MEO es que cada manuscrito sea revisado por entre cuatro y seis consultores, y si son más, aún mejor. Al utilizar un proceso bastante abierto para la selección de revisores, nos ha resultado fácil cumplir este objetivo. En la actualidad tenemos aproximadamente trescientos revisores que se han ofrecido para revisar manuscritos y nos ha resultado relativamente fácil añadir a nuestro grupo de revisores según sea necesario.

Para que la revisión por pares funcione eficazmente, el papel de un editor es crucial. Aunque la mayoría de las revisiones proporcionan valiosos comentarios, hay una gran variabilidad entre los revisores en los temas tratados, y los comentarios son ocasionalmente contradictorios (y de vez en cuando simplemente erróneos). Es necesario que alguien dé sentido a las distintas revisiones y proporcione un resumen coherente de los comentarios, y si el manuscrito necesita ser revisado antes de su publicación, debe darse una serie de indicaciones claras al autor. No es que el editor sea necesariamente más sabio o menos propenso a los prejuicios que los revisores individuales, sino que alguien tiene que hacerse cargo para que los comentarios y las instrucciones al autor sean coherentes. De lo contrario, los autores se vuelven locos.

En MEO, el editor de la revisión proporciona una carta de retroalimentación con la decisión de publicación, un resumen de la retroalimentación y, si es apropiado, un conjunto coherente de cuestiones que deben ser abordadas antes de la publicación. Además, devolvemos tanto los comentarios como las valoraciones de todos los revisores, a excepción de los comentarios que el revisor haya especificado sólo para el editor. Creo que los autores aprecian recibir todos los comentarios, así como un conjunto claro de directrices del editor para revisar sus manuscritos. También enviamos a cada revisor copias en papel carbón de los comentarios que se envían al autor. Según mi experiencia, los revisores aprecian casi universalmente tanto conocer la disposición final de un manuscrito como ver lo que los otros revisores tenían que decir sobre él.

Innovaciones en la revisión por pares

Como se ha señalado, la flexibilidad y eficiencia de la comunicación a través de Internet ha hecho posible experimentar con una variedad de modelos diferentes de revisión por pares. La innovación que más se ha discutido en la literatura es la de hacer más transparente el proceso de revisión por pares. Tradicionalmente, las identidades de los revisores son confidenciales y, en muchos casos, los manuscritos se enmascaran para eliminar cualquier información identificativa de los autores y sus instituciones. En el nivel más básico, la revisión por pares abierta ha consistido en hacer pública la identidad de los revisores o en dar a conocer la identidad de los autores a los revisores, o ambas cosas, durante la revisión. Esto, por supuesto, no depende de la publicación electrónica; la revisión y el debate sobre la confidencialidad de la identidad de los revisores se remonta a mucho antes de que Internet estuviera ampliamente disponible. Esta cuestión se ha investigado bastante bien (Goldbeck-Wood 1999). La evidencia sugiere que el anonimato tiene poco impacto en la calidad de la revisión o en las tasas de aceptación, pero revelar la identidad de los revisores puede disminuir la probabilidad de que alguien se ofrezca a revisar (van Rooyen et al. 1999).

A pesar de la evidencia de que la apertura del proceso de revisión por pares al escrutinio público no parece afectar a la calidad de una manera u otra, el debate ha continuado, centrándose principalmente en los efectos secundarios de la revelación de la identidad de los revisores. Los defensores han argumentado que la apertura del proceso de revisión es éticamente superior, con poco o ningún impacto en el proceso y que, de hecho, puede fomentar un mayor civismo en el proceso de revisión (Godlee 2002; Morrison 2006). Las principales preocupaciones sobre la revisión por pares abierta se centran en la introducción de prejuicios personales y el potencial de retribución en lo que tiende a ser un mundo muy pequeño dentro de campos específicos. Preocupa especialmente el impacto sobre los jóvenes investigadores, que son especialmente vulnerables. En una encuesta reciente realizada a autores y revisores de Medical Education, una revista muy leída en este campo, los encuestados apoyaron firmemente el cegamiento de autores y revisores (Regehr y Bordage 2006). No existe un consenso claro sobre la conveniencia de cegar los manuscritos, y los argumentos de ambas partes parecen convincentes.

Aunque la apertura del proceso de revisión por pares no depende de Internet, ésta puede facilitar un proceso de revisión aún más transparente. Muchas de las revistas médicas de BioMed Central utilizan un proceso de revisión completamente abierto en el que no sólo son públicas las identidades de los revisores y de los autores, sino que el registro completo de la revisión, incluyendo todos los comentarios de los revisores y las subsiguientes iteraciones de correspondencia en el proceso de revisión, se pone a disposición del público con el manuscrito publicado. La divulgación completa del registro de revisión probablemente no sería factible con una revista en papel por razones logísticas.

Una innovación más reciente que depende de Internet ha sido abrir el proceso de revisión a cualquiera que desee comentar un artículo. Como se ha señalado, Nature ha puesto en marcha recientemente un proceso de revisión abierta a modo de prueba en paralelo a su proceso de revisión normal, y la Public Library of Science pondrá en marcha PLoS One, una nueva revista que utilizará un proceso de dos fases en el que un único editor académico realiza una criba inicial, seguida de un sistema de comentarios y debate público.

Queda por ver el éxito de estos sistemas de revisión pública. Hay una serie de revistas especializadas menos conocidas que han implementado sistemas de revisión basados en comentarios públicos. Electronic Transactions on Artificial Intelligence (ETAI) ofrece un sistema híbrido de revisión por pares (Sandewall 2006). Los manuscritos que encajan en el ámbito de la revista se publican inmediatamente para que el público los comente durante tres meses, y si hay una discusión continua el periodo puede ampliarse. Tras el periodo de discusión, los autores tienen la oportunidad de revisar sus manuscritos en función de los comentarios recibidos, y luego el manuscrito se envía a una revisión externa ciega. Sin embargo, los revisores se limitan a tomar una decisión de publicación o rechazo sin comentarios, ya que el manuscrito ya ha recibido numerosos comentarios del público. Si se aceptan, los artículos suelen publicarse en el plazo de un mes.

Atmospheric Chemistry and Physics utiliza un enfoque de dos fases que incluye los comentarios del público (Koop y Poschl 2006). Después de una preselección, los manuscritos se publican como «documentos de discusión» para que el público los comente durante un período de ocho semanas. Además, los revisores designados publican sus comentarios firmados junto con los comentarios no solicitados de otros lectores. Los autores también pueden responder a los comentarios. En una segunda fase, los manuscritos se revisan siguiendo los procedimientos de revisión tradicionales. Los artículos aceptados se publican en la revista principal. Todos los artículos de discusión y los comentarios también se mantienen permanentemente en el sitio.

Estos sistemas innovadores que combinan los comentarios públicos con varias formas de revisión más tradicionales son intrigantes y tienen un mérito real. Tienen el potencial de hacer un trabajo significativamente mejor para equilibrar las diversas funciones que las revistas desempeñan en las comunidades científicas y académicas. La rápida publicación inicial de los manuscritos con mecanismos para el comentario y la discusión públicos cumple la función de facilitar la comunicación entre los académicos. Al mismo tiempo, el uso de este comentario público junto con la revisión por pares más tradicional antes de la publicación final proporciona el mismo o incluso un mayor nivel de control de calidad que la revisión por pares tradicional. El proceso de discusión pública de los artículos también encaja bien con las funciones de fomento de las comunidades científicas y de difusión y mantenimiento de las normas para llevar a cabo la investigación y la erudición.

Con el tiempo, veremos si estos nuevos enfoques del centenario proceso de revisión por pares añaden un valor real. Esta nueva era de la publicación electrónica está todavía en sus inicios y tenemos mucho que aprender sobre la mejor manera de hacer uso de los nuevos medios y herramientas de comunicación. El hecho de que nuestro sistema de publicación académica haya permanecido prácticamente intacto, con sólo modestos cambios, durante más de 340 años a través de los enormes avances de la ciencia y la tecnología es un testimonio de lo bien que ha funcionado. Nuestro reto en la próxima década será adaptar el sistema a este nuevo y muy diferente medio, manteniendo los componentes que siguen funcionando bien y encontrando formas de incorporar enfoques innovadores de comunicación y evaluación que se basen en las capacidades proporcionadas por la publicación electrónica.

David Solomon es un psicólogo educativo que ha trabajado en la educación médica durante diecinueve años. Actualmente es profesor asociado en el Departamento de Medicina y en la Oficina de Investigación y Desarrollo Educativo del Colegio de Medicina Humana de la Universidad Estatal de Michigan. Sus investigaciones se han centrado principalmente en los ámbitos de la evaluación del rendimiento, la elección de la especialidad y el aprendizaje a distancia. En 1996 creó una revista electrónica, Medical Education Online, que se ha convertido en una revista consolidada en este campo. Su otro gran interés es promover la publicación de acceso abierto. Se puede contactar con él en [email protected].

Altman, D. G. 2002 Investigación médica de baja calidad: ¿Qué pueden hacer las revistas? JAMA 287;21:2765-2767.

Baxt, W. G., J. F. Waeckerle, J. Berlin y M. L. Callahm. 1989. ¿Quién revisa a los revisores? Feasibility of using fictitious manuscript to evaluate peer reviewer performance. Annals of Emergency Medicine 32:310-317.

Bloom, T. 2006. Systems: Fronteras en línea de la literatura revisada por pares. En Nature. http://www.nature.com/nature/peerreview/debate/index.html.

Campbell, P. 2006. Nature Peer Review Trial and Debate. En Nature. http://www.nature.com/nature/peerreview/index.html.

Chang, A. 2006. Online journals challenge scientific peer review. Recuperado el 19 de noviembre de 2006 de http://www.mercurynews.com/mld/mercurynews/news/breaking_news/15655422.htm.

Debate. 2006. «Peer Review» En Nature. http://www.nature.com/nature/peerreview/debate/index.html

Editorial. 2005. «¿Revolucionada la revisión por pares?». Nature Neuroscience 8; 4:397.

Faxon Institute. 1991. An Examination of Work-related Information Acquisition and Usage among Scientific, Medical and Technical Fields Westwood, Mass. Faxon Company.

Godlee, F. 2002. Making reviewers visible. Apertura, responsabilidad y crédito. JAMA287; 21:2762-2765.

Goldbeck-Wood, S. 1999. Evidence on peer review: scientific quality control or smokescreen? BMJ 318:44-45 (2 de enero). http://www.bmj.com/cgi/reprint/318/7175/44.

Gotzxche, P. C. 1989. Methodology and overt and hidden bias in reports of 196 double-blinded trials of non-steroidal anti-inflammatory drugs in rheumatoid arthritis. Controlled Clinical Trials, 10:3159.

Guédon, J. 2001. A la larga sombra de Oldenburg: Bibliotecarios, investigadores, editores y el control de la publicación científica. Presentación en la reunión de mayo de 2001 de la Asociación de Bibliotecas de Investigación (ARL), en http://www.arl.org/arl/proceedings/138/guedon.html.

Jefferson, T., P. Alderson, E. Wager, y F. Davidoff. 2002a. Efectos de la revisión editorial por pares. JAMA June 5, 287; 21:2784-2786.

Jefferson, T, E. Wager, and F. Davidoff. 2002b. Medición de la calidad de la revisión por pares editorial. JAMA June 5, 287; 21:2786-2790.

Jefferson, T. 2006. Calidad y valor: Modelos de control de calidad para la investigación científica. En Nature . http://www.nature.com/nature/peerreview/debate/nature05031.html.

Koop T., y U. Pöschl. 2006. An open, two-stage peer-review journal. En Nature . http://www.nature.com/nature/peerreview/debate/nature04988.html.

Kumashiro, K. K. 2005. Thinking Collaboratively about the Peer-Review Process for Journal-Article Publication. Harvard Educational Review 75; 3:257-287.

Pocock, S. J., M. D. Hughes y R. J. Lee. 1987. Statistical problems in the reporting of clinical trials. A survey of three medical journals. New England Journal of Medicine 317:426-432.

Regehr, G., y G. Bordage. 2006. ¿Ciego o no ciego? Lo que prefieren los autores y los revisores. Medical Education 40:832-839.

Schafner, A. C. 1994. El futuro de las revistas científicas: Lessons from the past. Information Technology and Libraries 13:239-47.

Sandewall, E. 2006. Un sistema híbrido de revisión por pares. En Nature. http://www.nature.com/nature/peerreview/debate/nature04994.html.

Smith, R. 1999 Opening up BMJ peer review. BMJ 1318:4-5 (2 de enero). http://www.bmj.com/cgi/content/full/318/7175/4.

Van Rooyen S., F. Godlee, S. Evans, N. Black y R. Smith. 1999. Effect of open peer review on quality of reviews and on reviewers’ recommendations: a randomized trial. BMJ 318:23-27 (2 de enero). http://www.bmj.com/cgi/reprint/318/7175/23.

NOTA

1. Por ejemplo, véase Open Journal Systems http://pkp.sfu.ca/?q=ojs.

2. Véase http://arxiv.org/todays_stats.