Archivo de la etiqueta: Evaluación

Necesitamos un conjunto de métricas más amplio y transparente para evaluar la publicación científica.

d41586-019-01643-3_16747904

Paul Wouters, Cassidy, R. Sugimoto, Vincent Larivière, Marie E. McVeigh, Bernd Pulverer, Sarah de Rijcke, Ludo Waltman. Rethinking impact factors: better ways to judge a journal We need a broader, more-transparent suite of metrics to improve science publishing, Nature, 28 may 2019

Texto completo

El factor de impacto de la revista ha dominado durante mucho tiempo la evaluación de la publicación académica. Basado en la indexación de citas, y concebido hace más de cuatro décadas, es improbable que los creadores del factor de impacto anticiparan su adopción generalizada y su longevidad, ni su supuesto mal uso. Sin embargo, los tiempos parecen estar dispuestos a cambiar esta lógica. En un artículo reciente en Nature, Paul Wouters y otros coautores insisten en que la publicación académica necesita un «conjunto más amplio y transparente» de indicadores de revistas, y exploran cómo podría ser.

Como destacan los autores, para determinar cuál es la mejor manera de juzgar una revista, es fundamental considerar la pregunta «¿Para qué sirve una revista? Identifican las funciones clave de las revistas como registrar, curar, evaluar, difundir y archivar la investigación y señalan que el factor de impacto sólo puede captar aspectos limitados de éstas. Si bien todas las funciones de la revista deben ser evaluadas, los autores advierten que «tener más indicadores no equivale a tener mejores indicadores». Proponen que la próxima generación de indicadores de revistas se diseñe e implemente de manera responsable para cumplir con los siguientes criterios:

  • Justificado: El indicador debe tener un papel menor y explícitamente definido en la evaluación de la investigación.
  • Contextualizado: Deberán comunicarse tanto las estadísticas numéricas como las distribuciones estadísticas, teniendo en cuenta las diferencias interdisciplinarias.
  • Informado: Debería haber una formación sobre los indicadores, facilitada por expertos.
  • Responsable: Consideración de la posible influencia de los indicadores en el comportamiento de los investigadores o de las partes interesadas.

Entonces, ¿quién debería gestionar la próxima generación de indicadores de las revistas? Los autores sugieren la creación de una organización de gobierno inclusiva. La organización debe hacer recomendaciones sobre el uso de indicadores, educar a las partes interesadas sobre las buenas prácticas y proporcionar orientación sobre la publicación de acceso abierto y el intercambio de datos. El lanzamiento de este órgano rector está previsto en un taller que se celebrará en 2020; y se invita a todas las partes interesadas a que se pongan en contacto con los autores para que se sumen a la iniciativa.

 

Fundación DOAB: hacia un sello de calidad para libros académicos en acceso abierto

 

d7rjc6uxoaa8na2

 

La publicación científica ha experimentado una revolución durante con el desarrollo del acceso abierto, que permite a todo el mundo consultar artículos o libros académicos de forma gratuita. Pero en este entorno de libertad, los lectores y bibliotecarios deben poder orientarse hacia libros de calidad, certificados por la comunidad científica. Europa también está creando una fundación para etiquetar los libros académicos de acceso abierto y revisados por pares, la Fondation DOAB auspiciada bajo el impulso del CNRS, la Universidad de Aix-Marseille y la fundación holandesa OAPEN.

Hoy en día, es imposible pensar en la difusión del conocimiento científico sin plantear la cuestión del acceso abierto: una práctica de publicación que ofrece a todos la posibilidad de consultar gratuitamente producciones académicas compartidas en archivos abiertos o plataformas de publicación. Sin embargo, la multiplicación de iniciativas en este campo requiere establecer mecanismos de valoración de la calidad. ¿Cómo podemos garantizar la calidad y la pertinencia del contenido científico en un entorno cada vez más abierto?

Para responder al desafío del acceso abierto certificado y reconocido por los actores europeos, OpenEdition (CNRS/Aix-Marseille Université/EHESS/Université d’Avignon et des pays de Vaucluse) y la fundación holandesa Open access publishing in european network (OAPEN), han continuado su cooperación desde 2015 creando una fundación dedicada a esta misión.

Fondation Directory of open access books (DOAB), establece criterios de calidad con las partes interesadas de la investigación europea para certificar la calidad de los libros académicos disponibles en acceso abierto. Proporciona a los lectores y bibliotecarios una herramienta para identificar publicaciones abiertas reconocidas por la comunidad científica.

Antes de convertirse en una fundación, DOAB es un proyecto lanzado por OAPEN en 2012. Este directorio contiene ahora 17.000 libros de investigación académica de acceso abierto escritos en varios idiomas. Esta nueva autonomía en forma de fundación permitirá a la DOAB expandir su actividad en Europa y en todo el mundo, al tiempo que se garantiza que se tenga en cuenta la variedad de prácticas académicas en los diferentes países europeos.

Con el tiempo, DOAB se unirá al catálogo de servicios ofrecidos por la infraestructura OPERAS – acceso abierto en el espacio europeo de investigación a través de la comunicación académica – de la que OpenEdition y OAPEN son miembros fundadores junto con otros siete socios europeos.

La creación de la Fundación DOAB es una de las acciones incluidas en el plan científico abierto nacional presentado por el Ministro de Educación Superior, Investigación e Innovación Frédérique Vidal en 2018.

¿Publicar o Perecer? Decisiones de publicación del profesorado y el proceso de acreditación académica

 

publishorperish-01

Publish or perish? Faculty publishing decisions and the RPT process. By Meredith T. Niles, Lesley Schimanski, Erin McKiernan, and Juan Pablo Alperin – with Alice Fleerackers. En Scholarly Communications Lab JULY 30, 2019

Ver original

A medida que los puestos de profesor titular se vuelven cada vez más competitivos, la presión para publicar -especialmente en revistas de «alto impacto»- nunca ha sido mayor. Como resultado, muchos de los académicos de hoy en día creen que es necesario contar con un sólido historial de publicaciones para el proceso acreditación académica. Para algunos, publicar se ha convertido en sinónimo de éxito profesional.

Sin embargo, se sabe poco acerca de las percepciones de los académicos sobre el proceso de acreditación y cómo influyen en sus decisiones editoriales. ¿Qué resultados de investigación creen los profesores que se valoran en las decisiones de acreditacion? ¿Cómo afectan estas creencias dónde y qué publican?

Para averiguarlo, los autores llevaron a cabo una encuesta a los profesores de 55 instituciones académicas de Estados Unidos y Canadá, preguntándoles sobre sus propias prioridades de publicación y las de sus colegas, así como la importancia de sus percepciones en la revisión, promoción y permanencia en el cargo (acreditación).

 

¿Dónde publicar?

Cuando se trata de decidir dónde publicar su trabajo, los investigadores informaron que valoraban a la audiencia de la revista por encima de los demás factores. Los tres factores principales que identificaron fueron:

  1. Si la revista era leída por el público al que querían llegar
  2. El prestigio general de la revista
  3. Si la revista era leída regularmente por sus colegas

Por supuesto, otros factores, como el factor de impacto de la revista (JIF) o las tarifas asociadas a la publicación, seguían siendo importantes para muchos profesores, pero en menor medida que los lectores.

figure-1

Se vieron algunas diferencias demográficas significativas entre los profesores en sus prioridades de publicación. Por ejemplo, los encuestados no titulares -que están bajo mayor presión para desempeñarse que los profesores titulares- conceden mayor importancia al Factor de Impacto (JIF). Los profesores más jóvenes también fueron más dados a priorizar factores como la frecuencia de las citas de las revistas y el prestigio de las mismas, en comparación con los colegas establecidos.

Sin embargo, a la hora de evaluar las prioridades editoriales de los demás, el profesorado respondió de forma muy diferente. Creían que sus colegas tienden más a valorar factores como el prestigio de la revista y el Factor de Impacto a la hora de decidir dónde publicar su trabajo. También creen que sus colegas tienen menos probabilidades de tomar decisiones basadas en el número de lectores de la revista o que esté en acceso abierto.

figure-2

 

¿Qué consideran que es lo más importante en el proceso de acreditación?

Los investigadores identificaron los siguientes tres factores como los más importantes para las decisiones de acreditación:

  1. Número total de publicaciones
  2. Número de publicaciones por año
  3. Reconocimiento de nombres de revistas

Encontrando una notable disociación entre sus propias prioridades editoriales y lo que consideraban que beneficiaría a sus carreras.

figure-3

Una vez más, hubo importantes diferencias demográficas entre el profesorado, ya que los encuestados de mayor edad y con permanencia en el cargo -los más propensos a formar parte de los comités de acreditación científica – son menos dados a valorar el prestigio de las revistas y los indicadores de publicación, en comparación con los encuestados no titulares.

Finalmente, se estudio cómo las percepciones de los académicos sobre el proceso de acreditación científica afectaban sus propias prioridades de publicación a través de una serie de modelos. En resumen, se encontró que estas percepciones de lo que es valorado por el proceso de acreditación son más dadas a predecir las decisiones de publicación que la edad, el género o la historia de la publicación.

Conclusión

En conjunto, estos resultados ofrecen un panorama complejo de las presiones que enfrentan los profesores a la hora de decidir dónde publicar sus trabajos. Por un lado, la mayoría de los académicos valoran el número de lectores de una revista por encima de sus métricas de citación. Sin embargo, este valor está en desacuerdo con los factores que creen que les ayudarán a tener éxito en el proceso de acreditación -la cantidad de publicaciones y la reputación de la revista-, aunque el profesorado titular y los que a menudo forman parte de los comités de acreditación no valoran estos factores como algo muy importante. A esto se suman los desajustes entre las propias prioridades editoriales del profesorado y la forma en que perciben las de sus colegas. Tales desacuerdos ponen de relieve caminos claros para la discusión en el ámbito académico sobre lo que las comunidades valoran más.

 

 

Estudio internacional del panorama mundial de sistemas de investigación e innovación

 stmkhkls

International Landscape Study Of Research And Innovation Systems”. Research England, 2019

Texto completo

 Report Annex – Country Profiles

 

Este informe presenta los resultados del «International Landscape Study of Research and Innovation Systems», encargado por Research England y realizado por Technopolis.

Technopolis ha estudiado los sistemas institucionales de evaluación y financiación de organizaciones que realizan investigación en 20 países activos en investigación, con tres preguntas principales: ¿qué mecanismos de evaluación de la investigación se están utilizando? ¿Cuáles son las relaciones entre evaluación y financiación? ¿Cómo se desarrollan y evalúan los enfoques?

 

 

El impacto de la Alfabetización Informacional en el éxito del estudiante: una investigación y análisis multiinstitucional

 

dreamstimemedium_37387933-640x360

Joni Blake, Melissa Bowles-Terry, N. Shirlene Pearson, Zoltan Szentkiralyi. The Impact of Information Literacy Instruction on Student Success: A Multi-Institutional Investigation and Analysis. Greater Western Library Alliance (GWLA), 2018

Texto completo

 

El grupo de trabajo de Resultados de Aprendizaje del Estudiante de la GWLA analizó los datos de más de 42.000 estudiantes de primer año de primer año y más de 1.700 cursos distintos de 12 instituciones de investigación para determinar el impacto(s) de la formación sobre conocimientos básicos de información integrados en el plan de estudios de los cursos sobre varias medidas de éxito de los estudiantes.

Los hallazgos clave incluyen:

  • Las tasas de retención estudiantil son más altas para aquellos estudiantes cuyos cursos incluyen un componente de instrucción de información.
  • El promedio del calificaciones del primer año para los estudiantes cuyos cursos incluían instrucción sobre conocimientos básicos de información fue más alto que el de los estudiantes cuyos cursos no lo incluían.
  • Los estudiantes expuestos a interacciones de la alfabetización por parte de la biblioteca completaron exitosamente 1.8 horas de créditos más por año que sus compañeros que no participaron en cursos que contenían formación de alfabetización en información.
  • Este es el primer año de lo que esperamos que sea un análisis longitudinal de varios años para determinar si estos avances son sostenidos y se basan en la formación adicional de conocimientos transversales sobre la información en cursos de nivel superior, y el impacto que esto podría tener en las tasas de graduación.

En los años venideros también se examinará qué métodos de enseñanza muestran sistemáticamente los mayores beneficios para los estudiantes, de modo que las instituciones puedan adaptar sus programas de instrucción para maximizar el éxito de sus estudiantes. El grupo de trabajo está compilando actualmente el segundo año de datos, que se compartirán cuando estén terminados.

 

 

 

La gestión de revistas: mérito de transferencia universal. Justo y necesario

 

Ready To Get Published

Repiso, Rafael; Torres-Salinas, Daniel; Aguaded, Ignacio (2019). “La gestión de revistas: mérito de transferencia universal. Justo y necesario”. Anuario ThinkEPI, v. 13, e13e03.
https://doi.org/10.3145/thinkepi.2019.e13e03

Texto completo

 

Se analiza la pertinencia de la gestión editorial en el contexto de los sexenios de transferencia, concretamente la participación de los académicos en la edición de revistas científicas como mérito de transferencia, y lo hace desde dos perspectivas; justicia y necesidad. En la primera parte se aborda si la edición científica debe ser considerada  como mérito de transferencia, mientras que en la segunda parte se reflexiona en torno a la necesidad de reconocimiento por parte del sector. Se llega a la conclusión de que la gestión de revistas científicas es un mérito de transferencia que cumple todos los requisitos para ser considerado como tal en la actual convocatoria.

 

¿Qué es y qué implicaciones tiene las revistas incluidas en Emerging Sources Citation Index (ESCI) para la acreditación científica?

logo_esci

Emerging Sources Citation Index (ESCI)

 

Emerging Sources Citation Index (ESCI) es una base de datos de revistas que se puede consultar también desde  Web of Science, que se creo en el año 2015 con el objetivo de indizar las revistas que están en proceso de evaluación para integrarse en la Web of Knowledge (WoS), o revistas que aunque tienen una calidad científica acreditada en su disciplina, nunca llegarán a integrarse en WoS debido a que su área de conocimiento es muy limitado y nunca alcanzaran a tener un Factor de Impacto suficientemente alto. Según el editor, el índice incluye «publicaciones revisadas por pares de importancia regional y en campos científicos emergentes que cumplen con los criterios para su indexación en Web of Science»

A estas revistas se les exige una serie de requisitos previos como que sean revistas revisadas por pares, que hagan prácticas de publicación éticas, que contenidos sea de interés para su comunidad científica, que cumplan con los requisitos técnicos, que incluyan información bibliográfica en inglés y que preferentemente estén en formato electrónico.

Las revistas indexadas en el ESCI aunque no reciben factor de impacto, si son revistas citantes; es decir, que las citas de ESCI  se incluyen en el número de citas recogidas por Journal Citation Reports (JCR), contribuyendo de este modo a los factores de impacto de las revistas indexadas en JCR. Por lo tanto, los artículos en revistas indexadas por ESCI se incluyen en el cálculo del índice h de un autor y en los análisis realizados en datos de Web of Science o productos relacionados, como InCites.

El hecho de que una revista sea incluida en esta base de datos es considerado por algunas agencias de acreditación como un indicio de calidad de la revistas como por ejemplo en el caso de los sexenios del CNEAI, y en los procesos de acreditación científica de la Aneca, al mismo nivel que las revistas de WoS y como un indicador válido para la acreditación científica en Ciencias Sociales y Humanidades. (Fuiente; UNED)

ESCI cumple con las prioridades de Clarivate Analytics para ampliar la cobertura de la base de datos dando visibilidad y transparencia a las revistas que han solicitado ser incluidas en Web of Knowledge.

Según Clarivate Analytics, el total de revistas incluidas en ESCI es de 6.300. El 45% de las revistas son Europeas y un 8% son españolas, con un total de 535 revistas españolas en total, de las cuales 459 en Ciencias Sociales y Humanidades. (Fuente: Fundación Española para la Ciencia y la Tecnología)

 

Evaluación y visibilidad de la Investigación científica

 

dewgueyvaae9qw7

Alonso-Arévalo, J. Evaluación y visibilidad de la investigación científica. En; Pozo-Cabrera, E., Alonso-Arévalo, J., Gadea, W., Fenger, N., Ledesma-Ayora, M. Epistemología, acceso abierto e impacto de la investigación científica. Cuenca, Ecuador: Universidad Católica de Cuenca, 2016. ISBN 978-9942-972-27-09-5

Texto completo

Ver presentación

 

La universidad se encuentra inmersa en un proceso de cambio y renovación pedagógica sin precedentes. En las últimas décadas la mayoría de los países han puesto en marcha mecanismos que les permitan evaluar el impacto académico de la investigación científica, creando agencias nacionales y regionales de investigación, intentando introducir una cultura de evaluación de la calidad para crear y validar el conocimiento, que conlleve una optimización de estas instituciones a través del apoyo a la competitividad de la investigación en aras de crear un sistemas de desarrollo de la ciencia como un bien público. El objetivo de las agencias de calidad científica es contribuir a la mejora de la calidad del sistema de educación superior mediante la evaluación, certificación y acreditación de enseñanzas, profesorado e instituciones contribuyendo al establecimiento de un sistema de mejora constante de la calidad. Las agencias desarrollan diferentes programas evaluación de títulos, planes de estudio, programas, sellos de calidad y acreditación del profesorado. Este último evalúa la actividad docente e investigadora y la formación académica de los solicitantes para el acceso a las figuras de profesor universitario (Profesores Titulares de Universidad y Catedráticos de Universidad).

 

 

 

Research Interest Score: el nuevo indicador bibliométrico que mide la influencia de las publicaciones de un autor en ResearchGate

 

9f59698c-e156-4f33-9520-405cb7f4d9c6_researchgate_56f72ad6_490x330

Delgado López-Cózar, E. and E. Orduña-Malea «Research interest score: el nuevo indicador bibliométrico que mide la influencia de las publicaciones de un autor en ResearchGate.» vol., n. (2019). pp.: https://doi.org/10.13140/RG.2.2.16342.50249

 

La red social académica ResearchGate, más allá de proporcionar distintas prestaciones orientadas a favorecer la interacción y conectividad entre investigadores,ofrece a sus usuarios un amplio abanico de métricas tanto a nivel de ítem (documentos, proyectos y preguntas/respuestas) como de autor que, calculados sobre la base de más de 118 millones de documentos y 15 millones de usuarios actuales, les sitúa como un claro actor dentro del sector de las Altmetrics. La plataforma ha lanzado recientemente (febrero 2019) un nuevo indicador (Research interest score) basado en medir la influencia de un documento y un autor a partir de la integración sintética de distintas métricas, tanto tradicionales (citas recibidas) como altmétricas (Lecturas y Recomendaciones). El objetivo de este trabajo es describir el funcionamiento de este nuevo indicador así como sus principales ventajas e inconvenientes. Finalmente,a fin de conocer mejor las propiedades de la nueva métrica, se han planteado dos estudios empíricos. En el primero,a partir de una muestra de autores en el sector de la Biblioteconomía y Documentación en España (n=190), se comprueba empíricamente que este indicador correlaciona de forma elevada tanto con las citas recibidas como con el RG Scoree Índice H. En el segundo, a partir de una muestra de 30 artículos publicados en una revista de Documentación y Comunicación, se ha comparado el nuevo indicador con 34 métricas proporcionadas por Web of Science, Scopus, Dimensions, Plum Analytics, Mendeley y Altmetric.com, a fin de averiguar en qué medida ofrece algo singular.Los resultados sugieren que el indicador correlaciona con las citas debido a su fórmula de su cálculo (subjetiva y no justificada estadísticamente), lo que le hace correlacionar a su vez con todos los indicadores igualmente basados en esta métrica, generando dudas acerca de su actual necesidad,aunque abriendo puertas hacia un futuro de nuevos indicadores centrados en las interacciones online de los investigadores(especialmente Visualizaciones y Recomendaciones)

El efecto de la publicación de informes sobre el comportamiento de los revisores científicos en cinco revistas académicas

 

peer-review-or-think-outside-the-box-1

Bravo, G., F. Grimaldo, et al. «The effect of publishing peer review reports on referee behavior in five scholarly journals.» Nature Communications vol. 10, n. 1 (2019). pp. 322. https://doi.org/10.1038/s41467-018-08250-2

Texto completo

 

Para aumentar la transparencia en la ciencia, algunas revistas académicas están publicando informes sobre la revisión por pares. Sin embargo, no está claro cómo afecta esta práctica al proceso de revisión. Aquí, se analiza el efecto de la publicación de informes de revisión por pares sobre el comportamiento de los revisores en cinco revistas académicas involucradas en un estudio piloto en Elsevier. Para ello se recogieron datos de 9.220 propuestas de artículos para publicar y 18.525 revisiones entre 2010 a 2017, y se analizaron los cambios tanto antes como durante la prueba piloto y se encontró que la publicación de los informes no comprometía significativamente la voluntad de los revisores, ni siquiera comportó un cambio en las recomendaciones o en el tiempo de respuesta. Los académicos más jóvenes y no académicos estaban más dispuestos a aceptar la revisión y ofrecieron recomendaciones más positivas y objetivas. Los árbitros masculinos tendieron a escribir informes más constructivos durante la prueba piloto. Sólo el 8,1% de los revisores aceptaron revelar su identidad en el informe que se publicó. Estos resultados sugieren que la revisión abierta por pares no compromete el proceso, al menos cuando los revisores tienden a proteger su anonimato.