Archivo de la etiqueta: Revisión científica

Cómo sobrevivir a una revisión por pares

0727916866

Wager, E., F. Godlee, et al. (2002). [e-Book] How to Survive Peer Review. London, BMJ.

Texto completo

La revisión por pares es ineludible si se quiere conseguir publicar una investigación en una revista o presentar una conferencia, o si se desea desarrollar una carrera académica o clínica y/o obtener financiación para una investigación. En algún momento dado, cuando ya una persona es una autoridad en un tema es probable que se le solicite para revisar una propuesta de publicación o para formar parte del comité científico de una revista, ya que probablemente se espera que como experto se realice esta tarea adecuadamente ya que anteriormente el investigador ha pasado por el mismo proceso en diferentes ocasiones.

Este libro tiene como objetivo explicar lo suficiente acerca de la revisión por pares para que se pueda sobrevivir y beneficiarse de ella, y para ser un crítico competente. Está diseñado para ser un manual práctico, basado en la evidencia y la experiencia, pero no cargado de notas y referencias. Sería el equivalente de un libro práctico de frases que permite pedir una cerveza, obtener direcciones de un hotel, y disfrutar de sus vacaciones sin llegar a ser un experto en la literatura o de la lingüística.

Revisión científica: las tuercas y los tornillos

nuts-and-bolts

Wilson, J. et al.  [e-Book] Peer Review: The nuts and bolts. London: Sense About Science, 2014

Texto completo

 
La revisión por pares es el sistema utilizado para evaluar la calidad de la investigación científica antes de su publicación. Los investigadores independientes en el mismo campo escrutan trabajos de investigación para otorgarles autoridad, validez, importancia y originalidad y de este modo ayudar a los editores a evaluar si los trabajos de investigación deben ser publicados en su revista. Este libro es una guía para conocer los aspectos más relevantes y problemáticos de la revision científica destinada a los investigadores que inician su carrera académica y desean publicar.
 

¿Estamos en el final de la publicación científica?: acceso abierto y nuevas tecnologías de la comunicación científica

historia-imprenta

Parinov, S. and V. Antonova «End of Publication? Open Access and a New Scholarly Communication Technology”.» ArXiv (2016).

Texto completo

En este momento, los desarrolladores de sistemas de información están experimentando con nuevas herramientas para el uso de los productos de investigación que facilitan el acceso abierto a la investigación. Estas herramientas permiten a los investigadores registrar la investigación y ponerla fácilmente al alcance de otros investigadores. Si los documentos son compartidas por sus creadores públicamente, estas acciones pueden dar lugar a una comunicación científica directa entre los creadores y los receptores de la investigación. Esta comunicación directa es más inmediata, ya que tiene lugar mientras que los investigadores están manipulando y la organización los resultados de la investigación, por ejemplo, como manuscritos. Por lo tanto, los investigadores están comunicando su investigación antes de que los manuscritos se convierten en publicaciones tradicionales.

29140550991_ea86680c1e_o_d

En este trabajo se discute cómo esta comunicación previa a la publicación puede afectar a la práctica de la investigación, lo cual puede tener consecuencias importantes sobre los comportamientos de la comunidad investigadora, ya que puede dar lugar a «el final de la publicación» como un instrumento de comunicación; el mayor nivel de transparencia en la investigación, los cambios en el movimiento de acceso abierto, la revisión interpares y de evaluación de la investigación post publicación están propiciando un nuevo escenario para la comunicación y la reapropiación de los sistemas de comunicación por parte de los investigadores y de las instituciones. En el artículo se analiza a fondo los aspectos económicos de la comunicación previa a la publicación, y se propone una serie de experimentos con herramientas nuevas y ya existentes en la actualidad, que pueden ayudar con la exploración de la publicación final y  los posibles impactos en la comunidad de investigación.

Manual AAUP sobre las mejores prácticas en la revisión por pares

27600956316_4a0118e22b_n_d

Best Practices in Peer Review : AAUP Manual. The Association of American University Presses (AAUP) 2016

Texto completo

El manual fue elaborado por los comités editoriales de AAUP a través de un proceso de consenso de dos años de AAUP entre 2014-15 y 2015-16 presidido por Mary Francis. El manual articula un conjunto de prácticas que comprenden un riguroso proceso de revisión por pares para monografías científicas. “Best Practices in Peer Review” servirá como un recurso básico para la comunidad  AAUP, proporcionando una guía para los nuevos editores en el campo, y para los nuevos programas de publicación académica, así como un punto de referencia para los estudiosos, autores y universidades.

Guía F1000Research para la apertura de las publicaciones científicas

open_science_white_paper_twitter_800x320

Amsen, E. (2015). [e-Book] Guide to open science publishing, F1000Research, 2015

Texto completo

¿Cuál es la historia de un acceso abierto? ¿Cómo puedo comprometerme con la ciencia abierta? ¿Dónde debemos compartir nuestros datos? ¿Cuáles son los beneficios de la revisión por pares? ¿Cómo se hace la revisión por pares  posterior a la publicación?  Para responder a estas y otras preguntas clave, F1000Research ha preparado esta guía para la apertura de las publicaciones científicas. Los primeros cuatro capítulos se centran en los principios usos de F1000Research, y el último capítulo se refiere a otras áreas de la ciencia abierta. Se trata de un recurso útil para los investigadores, estudiantes y otras personas interesadas en la naturaleza de la investigación y publicación abierta.

F1000Research es una plataforma de publicación de la ciencia abierta original que ofrece la posibilidad de publicación inmediata en acceso abierto, transparente y un sistema de revisión por pares posterior a la publicación. Además de ofrecer la posibilidad de depositar y compartir todos los datos subyacentes utilizados en el desarrollo de la investigación. F1000Research no sólo recopila los resultados finales de la investigación, también acepta documentos relativos a casos clínicos, posters, presentaciones, protocolos, repeticiones y resultados nulos o negativos. Todos los artículos se benefician de un arbitraje transparente, la inclusión de todos los datos de origen y la asignación de un número de identificaión persistente (DOI)

27019850921_7120351ab4_b_d

Proceso de publicación y revisión post-publicación en F1000Research

 

La revisión tradicional de los artículos de investigación por pares anónimos pre-publicación puede causar importantes retrasos que afectan a cuando se hacen visibles los nuevos resultados de una investigación. F1000Research utiliza un proceso dirigido por el autor, facilitando la publicación de todos los documentos relacionados con la investigación científica en un plazo de pocos días, a través de un sistema de revisión post-publicación, centrado en la solidez científica en lugar de en la novedad o en el impacto.

Más allá del acceso abierto: visiones para la evaluación abierta de trabajos científicos

26095684230_519d3d97d2_n_d

Kriegeskorte, N. and D. Deca (2012). [e-Book]  Beyond open access: visions for open evaluation of scientific papers by post-publication peer review, Frontiers, 2012.

Texto completo

Un sistema de publicación científica tiene que proporcionar dos servicios básicos: acceso y evaluación. El sistema de publicación tradicional restringe el acceso a los documentos, exigiendo el pago, y que restringe la evaluación de trabajos basándose en tan sólo 2-4 revisiones por pares y manteniendo en secreto las críticas. Como resultado, el sistema actual adolece de una falta de calidad y transparencia del proceso de evaluación de revisión por pares, y la indicación de la nueva calidad del documento es el prestigio de la revista apareció. El acceso abierto es ahora ampliamente aceptado como deseable y está lentamente comenzando a convertirse en una realidad. Sin embargo, el segundo elemento esencial, la evaluación, ha recibido menos atención. El planteamiento de una «evaluación abierta» como un proceso continuo posterior a la publicación de la revisión por pares promete hacer frente a los problemas del sistema actual. Sin embargo, no está claro cómo debe realizarse exactamente.

El sistema de evaluación dirige la atención de la comunidad científica y, por lo tanto, el curso mismo de la ciencia. Para mejor o peor, los documentos más visibles determinan la dirección de la financiación y las decisiones de la política científica. La evaluación, por lo tanto, está en el corazón de todo el esfuerzo de la ciencia. A medida que el número de publicaciones científicas aumenta, la evaluación y selección sólo ganarán importancia. Un gran desafío de nuestro tiempo, por lo tanto, es diseñar el futuro sistema, mediante el cual se evalúen los documentos y se decidir cuáles merecen una gran atención. Hasta ahora los científicos han dejado el diseño del proceso de evaluación en manos de las revistas y editoriales. Sin embargo, el mecanismo de gestión de la ciencia debe ser diseñado por los científicos.

Las ciencias cognitivas y computacionales están mejor preparados para asumir esta tarea, lo que implicará consideraciones sociales y psicológicas, diseño de software y modelización de la red de artículos científicos y sus interrelaciones. La investigación en este tema Frontiers in Neurociencia Computacional recoge las visiones de un futuro sistema de evaluación abierta. Debido a que abundan los elementos críticos sobre el sistema actual, estos trabajos se centrarán en ideas constructivas y diseños integrales para sistemas de evaluación abiertas. Las decisiones de diseño incluyen: ¿Deben los comentarios y valoraciones ser enteramente transparentes, o se deben mantener en secreto algunos aspectos? En caso de que otros datos, tales como descargas se incluirán en la evaluación? ¿Cómo puede la objetividad científica fortalecerse en el sistema futuro? ¿En casos el sistema debe incluir comentarios y valoraciones firmadas y autenticadas? ¿Al tratarse de un sistema de evaluación continua supondrá que los documentos se evalúen más profundamente? ¿Cómo podemos llevar la ciencia y la estadística para el proceso de evaluación? ¿Cómo debe presentarse la información de la evaluación de cada documento? (por ejemplo, las evaluaciones compartidas) ¿En casos los diferentes individuos y organizaciones serán capaces de definir sus propias fórmulas de evaluación (por ejemplo, clasificaciones de ponderación de acuerdo con diferentes criterios)? ¿Cómo podemos hacer una transición eficiente hacia el futuro sistema?

Módulo de Revisiones Abiertas para Repositorios Institucionales

 

oprm_logo

Open Peer Review module

Módulo de Revisiones Abiertas para Repositorios Institucionales que ha sido desarrollado gracias al apoyo de OpenAire y a la participación de un consorcio de 6 miembros.

 

El uso de la jerarquía de la revista para la evaluación de la reputación de los trabajos de investigación y sus autores, ha contribuido a un entorno competitivo que está teniendo un efecto perjudicial sobre la fiabilidad científica.Repositorios de acceso abierto administrados por universidades u organizaciones de investigación son una valiosa infraestructura que podrían apoyar la transición a un sistema de evaluación y comunicación académica más colaborativa y eficiente.

Open Scholar ha coordinado un consorcio de seis socios para desarrollar el primer módulo de Revisión Abierta (OPRM) para repositorios institucionales. El módulo integra un servicio de revisión por pares de superposición, junto con un sistema de reputación transparente, en la parte superior de los repositorios institucionales. Se proporciona libremente como software de código abierto: https://github.com/arvoConsultores/Open-Peer-Review-Module/wiki

El OPRM permite un número ilimitado de los colaboradores para evaluar cualquier trabajo de investigación (preprints, artículos publicados, presentaciones, conferencias, set de datos, capítulos de libros y libros, documentos de trabajo, informes, etc.). Los revisores o bien pueden ser invitados a través del sistema (por ejemplo, tras la solicitud de un autor) o pueden ser voluntarios para revisar cualquier objeto del repositorio. En ambos casos, los colaboradores reciben los datos de la solicitud de opinión por correo electrónico y se les pide que ofrezcan sus informes en un plazo determinado. Una vez completado este proceso, la revisión genera un nuevo elemento en el repositorio, que está vinculada a los trabajos de investigación original y se convierte en abiertamente accesible y citable.

De este modo cualquier investigador puede convertirse en un revisor en el sistema, tanto si está afiliado a la entidad del repositorio o no.

Los avances en la revisión por pares

upvoye-620x342

Los avances en la revisión por pares

ScienceOpen 1 de febrero de, el año 2016 Autor: Jon Tennant

Ver original

No es demasiado difícil percibir que las prácticas y actitudes en relación con lo que se ha denominado “ciencia abierta” están evolucionando, lo que a su vez conlleva que el sistema de evaluación científica se equipare a estas nuevas prácticas. Aunque estamos más familiarizados con el debate sobre la mejor manera de aplicar el libre acceso a los artículos de investigación y los datos; las discusiones con respecto a la estructura, la gestión y el proceso de revisión por pares son, quizás, aunque de forma más matizada equiparables en importancia a aquellas.

La revisión por pares es de enorme importancia para la gestión del contenido del registro científico publicado y para la evolución de las carreras académicas de los científicos que lo producen. Se percibe como el estándar de oro de la publicación académica, y para muchos determina si la investigación puede considerarse científicamente válida. En consecuencia, la revisión por pares es un componente vital en el núcleo del proceso de comunicación de la investigación, con repercusiones en la estructura misma de la ciencia, que opera en gran medida a través de un sistema de recompensas e incentivos basados ​​en la publicación.

A pesar de esta clara importancia de la revisión por pares, cada vez hay más pruebas de que los errores son cada vez más frecuentes en el proceso. Estos van desde errores de de mantenimiento simples basados ​​en las diferencias de opinión sobre el impacto percibido de la investigación o el rechazo de lo que hasta ahora era una de las piezas seminales de investigación, o cuando un trabajo fraudulento o incorrecto no poder ser detectado y pasa a formar parte del registro científico permanente. Los intentos para reproducir la forma en la revisión por pares demuestran que la revisión por pares generalmente es adecuada para la detección de un trabajo de calidad, pero a menudo no reconoce la investigación más impactante. Muchos consideran, además, el modelo tradicional de revisión por pares como innecesario, ya que causa retrasos en la publicación y comunicación de la investigación novedosa. Además, algunos consideran la tradicional revisión por pares como un proceso profundamente viciado que opera dentro de un sistema cerrado y opaco en el que es imposible rastrear la discusión y los cambios realizados en la investigación original a lo largo del proceso, así como el proceso de decisión que lleva a su publicación. Esto significa que la revisión por pares a menudo se ve como perjudicial para la investigación, proporcionando un mecanismo de cierre para proteger el status quo y suprimir la investigación que se considera radical o innovadora.

image description

El actual sistema de comunicación de la investigación y la evaluación

A la luz de esto, ha habido un creciente impulso hacia la «revisión por pares abierta ‘, con lo cual el proceso se hace más transparente a través de diversos medios. Un artículo publicado en el British Medical Journal afirmó que la revisión por pares es «lenta, cara, malgasta el tiempo académico, es altamente subjetiva, propensa al sesgo, inclinada al uso indebido en la detección de graves defectos, y casi inútil en la detección del fraude». A pesar de todos estos problemas potenciales la revisión por pares en su forma actual que se ha mantenido a lo largo del tiempo, y aún continuará teniendo una gran influencia en la investigación, si bien hay que decir estamos presenciando el comienzo de una transformación del modelo tradicional.

El modelo tradicional de revisión por pares se basa en un sistema de evaluación previa de la publicación. Se ha dicho que el «modelo puede haber llegado a su fin social con el cambio tecnológico», y ya hay un debate encendido en torno a los nuevos modelos de revisión por pares, apareciendo nuevas plataformas para adecuarlo a los nuevos modelos de la era digital.

image description

Un sistema de potencial futuro para la evaluación científica

Estas discusiones en torno a la revisión por pares en general se pueden clasificar en cuatro categorías principales:

1. La manera en que los árbitros reciben reconocimiento por su trabajo y, en caso afirmativo, en qué forma;
2. Debe considerar que estos informes se hagan de manera pública o cerrada;
3. Los pares deben permanecer en el anonimato o firmar sus informes;
4. la revisión por pares debe hacerse antes o después del proceso de publicación.

 

Ver además otros post relacionados

 

 

El libro blanco de la revisión por pares

 

peer-review-in-2015

Peer review in 2015: a global view: Taking peer review’s pulse with today’s researchers, 2015. [e-Book] London, Taylor & Francis Group, 2015

Texto completo

Suplemento

.

El libro blanco, “La revisión por pares en 2015: Una visión global” fue publicado el pasado viernes por Taylor & Francis. En él, los lectores encontrarán un resumen de una encuesta en línea a seis grupos de enfoque. El documento va acompañado de un suplemento que recoge las preguntas formuladas en la encuesta y sus resultados. El libro aborda algunas de las cuestiones esenciales que nos estamos planteando hoy en día en torno a la revisión científica ¿Cual piensan los investigadores de hoy en día qué es el propósito de la revisión por pares, y cuáles son sus expectativas actuales? ¿Que importancia tienen las cuestiones éticas en la revisión por pares? ¿Cómo es el proceso de revisar un documento? ¿Qué validez tiene o sigue teniendo este proceso? Sin dudas se trata de uno de los estudios de investigación más serios sobre la revisión por pares en los últimos años.

Las altas tasa de rechazo de artículos por parte de una revista no garantiza un buen posicionamiento de impacto

0808peerreview

Selecting for impact: new data debunks old beliefs por Pascal Rocha da Silva in el blog Frontiers OA Posted on December 21, 2015

http://blog.frontiersin.org/2015/12/21/4782/

Una de las creencias más asentadas de la publicación académica es que las revistas que buscan un alto factor de impacto deben ser altamente selectivas, aceptando sólo los documentos que se prevee que pueden ser muy importante y novedosos, y que por lo tanto probablemente vayan a atraer a un gran número de citas. Según el estudio que aquí se analiza esta afirmación no es del todo cierta; ya que en un estudio de 570 revistas no se econtró ninguna correlación aparente entre el índice de rechazo y el factor de impacto obtenido

En la medición de la calidad de revistas científicas hay algunos mitos que tienen una base poco cierta, es el caso de la creencia de que el rechazo masivo de trabajos de investigación publicados por revistas científicas favorece tener un alto factor de impacto (FI) parece no ser tan cierta.  Esto tiene que ver con que las consideradas mejores revistas rechazan entre el 90 a 95% de los manuscritos que reciben, lo que obliga a los autores de estos artículos a que tengan que volver a presentarlos en otras revistas de factor de impacto más moderado, en las que pueden encontrar mayor receptividad. Desgraciadamente la mayoría de los 20.000 o más revistas científicas de todo el mundo editorial académico siguen su ejemplo.

El análisis encontró que casi no hay correlación entre el factor de impacto de una revista – una polémica medida del número de citas que recibe un título – y la proporción de originales que rechaza. Para ello Pascal Rocha da Silva, editor de una revista de acceso abierto, trazó los factores de impacto de 570 revistas en relación con las tasas de rechazo, para determinar que no había «absolutamente ninguna correlación» entre ambos parámetros. Ya que algunas revistas que rechazaron más de nueve de cada 10 trabajos tenían un factor de impacto muy por debajo de la media, mientras que otras que aceptaron la mayoría de las comunicaciones tenían mejores puntuaciones. Aunque también se encontró que un pequeño grupo de revistas con los factores de impacto más altos si tenían una tasa de rechazo de más del 90 por ciento (Nature, Science,… )

En el gráfico de abajo se trazan los factores de impacto de 570 revistas seleccionadas aleatoriamente indexadas en el Journal Citation Reports en 2014 (Thomson Reuters, 2015), versus sus tasas de rechazo.

rejection-rate

El autor considera que una tasa de rechazo de hasta el 30 por ciento es justificable, pero más allá de esta cifra estima que se están rechazando artículos de calidad con la finalidad de diseñar altos índices de impacto que finalmente no tienen que ver con el factor de impacto obtenido por la publicación. Pero también es importante destacar que  hay una gama de revistas con factor de impacto entre 5 y 10 (es decir, moderado) que tienen muy bajas tasas de rechazo. En el caso de las revistas más selectivas, con tasas de rechazo de más del 60 por ciento, se comprobó que un mayor número de rechazos se correlacionan débilmente con un mejor factor de impacto.

En 2013, organizaciones como el Wellcome Trust y el Consejo de Financiación de Educación Superior para Inglaterra se inscribieron para la Declaración de San Francisco de Evaluación de la Investigación (DORA), que opta por que los factores de impacto sean desechados como base para las decisiones de financiación, de nombramientos y ascensos. La Declaración de San Francisco sobre Evaluación de la Investigación (DORA), impulsada por la Sociedad Americana de Biología Celular (BCSV), junto con un grupo de directores y editores de revistas científicas, reconoce la necesidad de mejorar la forma en que se evalúan los resultados de la investigación científica.