Kriegeskorte, N. and D. Deca (2012). [e-Book] Beyond open access: visions for open evaluation of scientific papers by post-publication peer review, Frontiers, 2012.
Un sistema de publicación científica tiene que proporcionar dos servicios básicos: acceso y evaluación. El sistema de publicación tradicional restringe el acceso a los documentos, exigiendo el pago, y que restringe la evaluación de trabajos basándose en tan sólo 2-4 revisiones por pares y manteniendo en secreto las críticas. Como resultado, el sistema actual adolece de una falta de calidad y transparencia del proceso de evaluación de revisión por pares, y la indicación de la nueva calidad del documento es el prestigio de la revista apareció. El acceso abierto es ahora ampliamente aceptado como deseable y está lentamente comenzando a convertirse en una realidad. Sin embargo, el segundo elemento esencial, la evaluación, ha recibido menos atención. El planteamiento de una «evaluación abierta» como un proceso continuo posterior a la publicación de la revisión por pares promete hacer frente a los problemas del sistema actual. Sin embargo, no está claro cómo debe realizarse exactamente.
El sistema de evaluación dirige la atención de la comunidad científica y, por lo tanto, el curso mismo de la ciencia. Para mejor o peor, los documentos más visibles determinan la dirección de la financiación y las decisiones de la política científica. La evaluación, por lo tanto, está en el corazón de todo el esfuerzo de la ciencia. A medida que el número de publicaciones científicas aumenta, la evaluación y selección sólo ganarán importancia. Un gran desafío de nuestro tiempo, por lo tanto, es diseñar el futuro sistema, mediante el cual se evalúen los documentos y se decidir cuáles merecen una gran atención. Hasta ahora los científicos han dejado el diseño del proceso de evaluación en manos de las revistas y editoriales. Sin embargo, el mecanismo de gestión de la ciencia debe ser diseñado por los científicos.
Las ciencias cognitivas y computacionales están mejor preparados para asumir esta tarea, lo que implicará consideraciones sociales y psicológicas, diseño de software y modelización de la red de artículos científicos y sus interrelaciones. La investigación en este tema Frontiers in Neurociencia Computacional recoge las visiones de un futuro sistema de evaluación abierta. Debido a que abundan los elementos críticos sobre el sistema actual, estos trabajos se centrarán en ideas constructivas y diseños integrales para sistemas de evaluación abiertas. Las decisiones de diseño incluyen: ¿Deben los comentarios y valoraciones ser enteramente transparentes, o se deben mantener en secreto algunos aspectos? En caso de que otros datos, tales como descargas se incluirán en la evaluación? ¿Cómo puede la objetividad científica fortalecerse en el sistema futuro? ¿En casos el sistema debe incluir comentarios y valoraciones firmadas y autenticadas? ¿Al tratarse de un sistema de evaluación continua supondrá que los documentos se evalúen más profundamente? ¿Cómo podemos llevar la ciencia y la estadística para el proceso de evaluación? ¿Cómo debe presentarse la información de la evaluación de cada documento? (por ejemplo, las evaluaciones compartidas) ¿En casos los diferentes individuos y organizaciones serán capaces de definir sus propias fórmulas de evaluación (por ejemplo, clasificaciones de ponderación de acuerdo con diferentes criterios)? ¿Cómo podemos hacer una transición eficiente hacia el futuro sistema?
Universo Abierto 