Disambiguating post-publication peer review. Tony Ross-Hellauer 2016-09-14 scholarly communication en OpenAire blog

Ver completo

Interesante reflexión de Tony Ross en torno a la revisión post publicación en favor de una ciencia más abierta. El autor considera que la revisión abierta implica todo el ciclo de la publicación y diferencia dos procesos: PPR1, Apertura de los manuscritos antes de revisión y  PPR2 o revisión posterior a la publicación. 

La revisión por pares puede tener dos sentidos, uno específico y el otro más general. «Peer Review» es una práctica editorial bien definida íntimamente ligado al proceso de publicación para el aseguramiento de la calidad de los artículos de investigación y otros productos de investigación. Tradicionalmente la revisión comienza cuando un editor envía un manuscrito a los colaboradores expertos en un tema determinado y termina cuando el editor acepta un manuscrito para su publicación. Pero «revisión por pares» representa sólo la crítica y la evaluación de las ideas, teorías y descubrimientos por parte de los que tienen una visión experta en un tema y no por ejemplo de los lectores o de otros colegas próximos.

Sin embargo el proceso de evaluación de la calidad y retroalimentación de la publicación se da en todas las etapas. Antes de presentar los manuscritos: cuando se muestran las ideas iniciales a otros colegas, la reacción de expertos cuando se exponen esas ideas en conferencias o mediante comentarios privados cuando se muestra el primer proyecto de manuscritos a los colegas de confianza. Y continúa después de la aparición del artículo en una revista, a través de una multitud de canales, por medio de los cuales los lectores pueden aportar alguna nueva visión, incluyendo las secciones de comentarios en los sitios web de revistas, canales y plataformas dedicadas a ofrecer comentarios posteriores a la publicación, blogs y redes sociales, y por supuesto futuras investigaciones que citan y comentan los resultados.

La  diferencia entre  “Post-publication peer review” (PPPR) y «peer review”(pr) es, por lo tanto temporal: la primera incluye todo el proceso (o por lo menos comienza a partir de la formación inicial de ideas, teorías e hipótesis); mientras que la última es un proceso bien definido que se produce en ese momento existente entre la creación del manuscrito y la publicación del artículo.

La revisión post publicación (PPPR) trata de tender un puente sobre esta desconexión, para incorporar elementos de la «peer review» en el proceso posterior a la publicación con el objetivo de abrir la investigación a un escrutinio más amplio, ampliando de esta manera esta orden temporal estándar de revisión por pares clásico (presentación, examen, publicación). Sin embargo, el término se utiliza para destacar las dos maneras distintas sobre como se puede llevar a cabo este proceso; es decir, la apertura de los manuscritos al público antes o en sincronía con la revisión por pares y la evaluación continua de la versión final publicada.

Tipo PPPR 1: Comentarios abiertos al manuscrito antes de la revisión

Repositorios de versiones preliminares como arXiv.org y bioRxiv.org, repositorios institucionales, u otros repositorios como Zenodo.org o Figshare.com y algunos repositorios alojados por el editor (como PeerJ Preprints) permiten a los autores depositar sus manuscritos inmediatamente para que estén disponibles para todos. Esto puede ser usado como un complemento a un proceso de la publicación más tradicional, para verter comentarios sobre la versión previa a la publicación (preprint) y posteriormente incorporando algunas de estos a la nueva redacción del manuscrito que posteriormente será revisado por los expertos para su publicación en una revista. El nuevo módulo recientemente desarrollado por Open Scholar en asociación con OpenAIRE, es un software de código abierto con plug-in que añade funcionalidades de revisión por pares a los repositorios que utilizan el software DSpace. Otro modelo innovador en este sentido es el de Science Open, que genera metadatos desde los servidores de preprints, los contextualiza añadiendo altmetrics y otras informaciones relacionales antes del proceso de revisión por pares.

En otros casos los manuscritos son sometidos a la revisión por parte de los editores de la forma habitual, para ponerlos inmediatamente en línea a disposición de las personas  (por lo general después de un rápido examen preliminar  o «comprobación de validez») antes del inicio del proceso de revisión por pares. Este enfoque fue iniciado por la revista Electronic Transactions in Artificial Intelligence (ETAI), donde se utilizó un proceso de revisión en dos etapas en 1997. En primer lugar, los manuscritos se pusieron a disposición en línea para su discusión por parte de la comunidad, antes de ser objeto de la tradicional revisión por pares anónimos. Atmospheric Chemistry and Physics utiliza un sistema similar de múltiples etapas de revisión por pares, a través de los manuscritos que se ponen a disposición de inmediato como «documentos de trabajo» para poder recibir los comentarios de la comunidad y la revisión por pares. Otros ejemplos destacados son F1000Research y Semantic Web Journal .

Los beneficios que se pueden obtener a partir de los manuscritos antes de la revisión abierta tiene que ver con que los investigadores puedan hacer valer su prioridad en la comunicación de los resultados, sin que sea necesario esperar a que el proceso de revisión y publicación – a veces aparentemente sin fin –  haya sido completado.. Por otra parte, al depositar la investigación con anterioridad se aumenta la visibilidad, permite la participación abierta en la revisión por pares (donde el comentario está abierto a todos),lo que también favorece un aumento de la calidad del manuscrito inicial.

Tipo PPPR 2: Comentarios abiertos a la revision final

Si el propósito de la revisión por pares es ayudar en la selección y mejora de manuscritos para su publicación, entonces, en alguna manera parece ilógico sugerir que la revisión por pares puede continuar una vez que el registro de la versión final se hace público. No obstante, en un sentido literal, incluso la versión puede seguir experimentando un proceso de mejora perpetuamente.

Al igual que con la mayoría de las áreas de la comunicación, Internet se ha expandido el rango de acción sobre la versión final para que los lectores puedan enriquecer con sus comentarios los trabajos científicos. Antes de la era Internet, las únicas vías formales, eran las cartas al director de los lectores de la revistas. Actualmente las revistas digitales proporcionan la posibilidad de hacer comentarios. En una investigación al efecto, Walker y Rocha da Silva encontraron que de los 53 lugares de publicación revisados, 24  ofrecían la posibilidad de hacer comentarios sobre los artículos publicados – aunque éstos eran por lo general poco utilizados (Walker y Rocha da Silva, 2015). Sin embargo, en la actualidad los usuarios pueden «publicar» sus pensamientos en cualquier lugar en la Web – a través de redes sociales académicas como Mendeley, ResearchGate y Academia.edu, o generales como Twitter, o en sus propios blogs. La reputación de una obra, por tanto, sufre una evolución continua, siempre y cuando se mantenga el tema de discusión.

Las mejoras basadas en los comentarios se dan de manera más evidente en el caso de los llamadas  publicaciones «vivas» como The Living, un grupo que recoge críticas a tres revistas disciplinarias en los campos de la relatividad, la física solar y astrofísica computacional, publicación que invita a la revisión de artículos, que permiten a los autores actualizar regularmente sus artículos para incorporar los últimos avances en el campo. Pero incluso si se prevé que la versión publicada puede ser la versión final, queda abierta la posibilidad futura de retracción o corrección. Además en el momento actual, estos cambios también son son retroalimentados por los medios sociales, como en el caso de #arseniclife, donde los usuarios hacen criticas sobre fallas en la metodología de un documento.

Una influencia importante aquí ha sido el Pubpeer, una  plataforma independiente que se enorgullece de ser «una plataforma de revisión por pares post-publicación». A este respecto PubPeer comenta que la «revisión por pares posterior a la publicación supera ampliamente  la revisión más cuidadosa de la mejor revista.  La ciencia es ahora capaz de autocorregirse de manera instantánea. Después de la publicación de la revisión por pares está aquí para quedarse » (PubPeer, 2014).

Los comentarios prepublicación y postpublicación son fenómenos distintos. Los manuscritos abiertos a la revisión preliminar ayudan a establecer prioridades y obtener conclusiones antes de tiempo.la revisión postpublicación,  por otra parte, ayuda a que los artículos publicados actúa como un organismo de control final para asegurar que los resultados erróneos puedan ser corregidos.

Aunque ambos procesos se agrupen bajo el término revisión post publicación (PPPR) es probablemente un elemento de confusión sobre el significado del término «publicación». ¿Cuándo podemos decir que un manuscrito digital es»publico»? ¿Cuando se hizo por primera vez «público»? O ¿Cuándo aparece una (presunta) versión «final», después de la revisión por pares, la edición del texto y el sello de goma de la marca de la revista en que se ha publicado?

El lenguaje de la ciencia es una herencia del mundo de la impresión analógica que se muestra insuficiente en el contexto actual. Como en una ocasión comentó Cameron Neylon en  #weneedbetterwordsforthis, la publicación es un proceso y no un evento. Pero tal vez ha llegado el momento para el reconocimiento de que una «publicación» sea también un proceso. En este último punto de vista, el término «revisión por pares posterior a la publicación» es un término equivoco, no sólo porque es ambiguo al confundir dos fenómenos distintos, sino más bien porque realmente no tiene sentido hablar de cualquiera post o pre-publicación en tales condiciones. Lo que llamamos «publicaciones» no son artefactos fijos , ya que permanecen en un continuo estado de devenir, al igual que las ideas iniciales florecen y la investigación toma forma, como argumentos, y los resultados de investigación encuentran un lugar en la conversación científica de la humanidad.

Boldt, A., 2011. Extending ArXiv.org to achieve open peer review and publishing. J. Sch. Publ. 42, 238–242.

Gowers, T., 2015. Discrete Analysis — an arXiv overlay journal. Gowerss Weblog.

Open Scholar, 2016. Open access repositories start to offer overlay peer review services [WWW Document]. Open Sch. CIC. URL http://www.openscholar.org.uk/institutional-repositories-start-to-offer-peer-review-services/ (accessed 8.25.16).

Perakakis, P., Taylor, M., Mazza, M., Trachana, V., 2010.Natural selection of academic papers.Scientometrics 85, 553–559. doi:10.1007/s11192-010-0253-1

Pöschl, U., 2012. Multi-stage open peer review: scientific evaluation integrating the strengths of traditional peer review with the virtues of transparency and self-regulation. Front. Comput.Neurosci.6, 33. doi:10.3389/fncom.2012.00033

PubPeer, 2014. Science self-corrects – instantly. PubPeer Online J. Club.

Sandewall, E., 2012. Maintaining Live Discussion in Two-Stage Open Peer Review. Front. Comput.Neurosci. 6. doi:10.3389/fncom.2012.00009

Walker, R., Rocha da Silva, P., 2015. Emerging trends in peer review – a survey. Front. Neurosci. 9. doi:10.3389/fnins.2015.00169