Archivo de la etiqueta: Evaluación de calidad

El número de artículos indexados ha aumentado un 47% mientras que el número de científicos no ha crecido

Mark A. Hanson, Pablo Gómez Barreiro, Paolo Crosetto, Dan Brockington; The strain on scientific publishing. Quantitative Science Studies 2024; doi: https://doi.org/10.1162/qss_a_00327

Se analiza el creciente volumen de publicaciones científicas, un fenómeno que ha generado una sobrecarga en la comunidad científica. Desde 2016, el número de artículos indexados ha aumentado aproximadamente un 47%, mientras que el número de científicos no ha crecido a la misma velocidad, lo que ha incrementado significativamente la carga de trabajo por investigador.



La publicación académica enfrenta un problema: el número de artículos revisados por pares ha crecido exponencialmente en los últimos años, mientras que el número de investigadores capacitados para evaluarlos no ha aumentado al mismo ritmo. Esto ha generado dificultades para encontrar revisores cualificados y ha sobrecargado a los científicos con la cantidad de artículos publicados. Parte de este crecimiento se debe a iniciativas inclusivas que fomentan la participación de investigadores de regiones como el Sur Global. Si bien estas iniciativas son positivas, el crecimiento excesivo amenaza con comprometer la rigurosidad científica.

Los autores presentan cinco métricas basadas en datos que muestran el crecimiento de las editoriales, los tiempos de procesamiento y las conductas de citación. Observan que algunas editoriales han impulsado este crecimiento mediante la publicación de «números especiales» con tiempos de revisión más cortos, lo que responde a la presión de «publicar o perecer» a la que se enfrentan los investigadores para obtener financiamiento. Además, han notado una inflación de los factores de impacto de las revistas, lo cual distorsiona las señales de calidad científica. Los autores concluyen que este crecimiento exponencial no es sostenible.

Algunos hallazgos importantes incluyen:

Inflación del factor de impacto: Se ha observado una inflación en el factor de impacto, particularmente en las revistas de MDPI y Hindawi, debido a una alta tasa de autocitación y citación entre revistas del mismo editor. MDPI muestra una tasa de autocitación significativamente mayor que otras editoriales, lo que ha contribuido al aumento de su factor de impacto.

Contribución desigual de las editoriales al crecimiento: Entre 2016 y 2022, MDPI, Elsevier, Frontiers, Springer y Wiley han sido responsables de más del 70% del aumento en la cantidad de artículos publicados. Mientras Elsevier y Springer distribuyen sus publicaciones a través de un gran número de revistas, MDPI y Frontiers concentran el aumento en un número más pequeño de revistas, resultando en una mayor cantidad de artículos por revista.

Aumento en el uso de «special issues»: Editoriales como Hindawi, Frontiers y MDPI han incrementado drásticamente la proporción de artículos publicados a través de «special issues» desde 2016. Este modelo ha generado preocupación por la posibilidad de que se priorice la cantidad sobre la calidad, ya que los artículos en estas ediciones suelen ser revisados por editores invitados, en lugar del cuerpo editorial regular.

Disminución en los tiempos de procesamiento: MDPI, Frontiers y Hindawi han reducido significativamente los tiempos de procesamiento de artículos, con MDPI registrando tiempos mucho menores en comparación con otros editores (37 días en promedio). Además, estos editores han mostrado una homogeneización en los tiempos de revisión, lo que podría indicar una revisión menos rigurosa.

Tasas de rechazo dependientes del editor: Los datos sugieren que las tasas de rechazo varían significativamente según el editor, sin una correlación clara con el crecimiento en el número de artículos o el tamaño de las revistas. En particular, MDPI ha mostrado una disminución en sus tasas de rechazo a medida que ha aumentado el uso de «special issues».

Comprender el impacto económico, gubernamental, social y medioambiental de los datos abiertos.

Publications Office of the European Union, Carsaniga, G., Dogger, J., Regeczi, D., The use case observatory : a 3-year monitoring of 30 reuse cases to understand the economic, governmental, social and environmental impact of open data. Volume I, Publications Office of the European Union, 2023, https://data.europa.eu/doi/10.2830/57907

El observatorio de casos de uso es un proyecto de investigación que realiza un seguimiento de 30 casos de reutilización a lo largo de 3 años -de 2022 a 2025- para evaluar cómo se crea impacto con los datos abiertos, compartir los retos y logros de los casos de reutilización de datos abiertos y contribuir al debate sobre la metodología de evaluación del impacto de los datos abiertos. Este informe es el primero de tres volúmenes.

El segundo y el tercer informe se publicarán en 2024 y 2025. Para cada uno de los casos de reutilización incluidos en este informe, se realizaron entrevistas con sus promotores y se agruparon en cuatro dimensiones de impacto principales: económica, gubernamental, social y medioambiental. Las entrevistas sobre casos de reutilización con impacto económico muestran cómo se utilizan los datos abiertos para ayudar a las empresas a identificar licitaciones públicas prometedoras y a solicitar puestos de trabajo y otras oportunidades profesionales. Los casos de reutilización con impacto gubernamental demuestran que los datos abiertos pueden aumentar la transparencia de los procesos políticos y fortalecer la democracia.

Como parte del ámbito del impacto social, los casos de reutilización de este informe utilizan los datos abiertos para mejorar la salud pública e incentivar una sociedad más inclusiva.

Por último, varios casos de reutilización crean un impacto medioambiental mediante el control de la calidad del aire y el apoyo a la conservación de los bosques. Estimar el impacto de los casos de reutilización es un reto complejo. La medición de los beneficios precisos para la economía, el gobierno, la sociedad o el medio ambiente requiere una cantidad sustancial de investigación. La mayoría de los casos de reutilización miden su impacto con estadísticas web. Sin embargo, el número de visitantes únicos o el número de visualizaciones de una página web sólo sirven como estimación aproximada del impacto que se crea a través de los datos abiertos. Además, la imposibilidad de compartir información precisa sobre los ingresos o el número de clientes de las pequeñas y medianas empresas puede dificultar la estimación del impacto de los casos de reutilización de datos abiertos, ya que los competidores podrían utilizar esa información en su beneficio.

Sexenios de investigación CNEAI 2021: ¿Dónde encontrar evidencias de impacto de la investigación

Sexenios de investigación CNEAI 2021: ¿Dónde encontrar evidencias de impacto de la investigación

VIDEO

PRESENTACION PPS

Un sexenio es un tramo de investigación reconocido al profesorado universitario por los méritos de su actividad investigadora, labor realizada a través de un programa de la ANECA, que se convoca y puede solicitar cada mes de diciembre de cada año. Se denomina así porque los solicitantes han de someter a evaluación una selección de los trabajos científicos publicados durante un período de seis años. La finalidad es el fomento, mediante la asignación de un complemento económico, del trabajo investigador de los docentes de las universidades españolas. Se orienta sobre como encontrar evidencias de impacto y productividad investigadora para la presentación de sexenios de investigación.

¿Sabemos comunicar el valor de la biblioteca en la era digital? Planeta Biblioteca 2021/01/27.

¿Sabemos comunicar el valor de la biblioteca en la era digital? Planeta Biblioteca 2021/01/27.

ESCUCHAR EL PROGRAMA

Ir a descargar

Presentación PPS

Vídeo

Las bibliotecas del siglo XXI están adaptando sus funciones y necesidades a las nuevas demandas de la sociedad en la que vivimos. El papel de las bibliotecas está ampliándose para seguir siendo instituciones relevantes en un nuevo ecosistema en constante cambio, El reto de la comunicación con los responsables de la adopción de decisiones se ha convertido en algo vital para las bibliotecas: se trata de mostrar a las autoridades una estrategia de desarrollo que contribuya a construir una imagen institucional sólida. Así, la biblioteca necesita saber comunicar su valor en la era digital a través de una estrategia de comunicación sólida que permita mostrar la importancia que este servicio tiene para su comunidad, pero también saber adecuarse a las nuevas necesidades de su entorno y proporcionar servicios de valor añadido más allá del libro. De este modo las bibliotecas están diseñando planes y espacios para empoderar a sus comunidades con servicios innovadores que se han ido adaptando progresivamente a esta nueva situación.

¿Cuándo dejarán de influir los títulos de las revistas científicas en la calidad percibida de un artículo?

When Will Science Journal Titles No Longer Influence a Paper’s Perceived Quality? Science The Wire. 16/01/2021 GRIGORI GUITCHOUNTS

Ver original

En noviembre, Springer Nature, una de las editoriales de revistas científicas más grandes del mundo, hizo un anuncio que llamó la atención : más de 30 de sus revistas más prestigiosas, incluida la emblemática Nature, ahora permitirán a los autores pagar una tarifa de 11.390 dólares para que sus documentos estén disponibles gratuitamente para que cualquiera pueda leerlos en línea.

Esta medida, de una empresa que publica más de 3.000 títulos académicos, ha sido aclamada como un paso histórico y una victoria para un movimiento de acceso abierto que busca suplantar el modelo tradicional de publicación académica basado en suscripción. Y a primera vista, la opción de acceso abierto de Springer Nature parece ser un avance positivo. La mayoría de los artículos científicos son de pago, accesibles solo para lectores e instituciones que pueden pagar las costosas tarifas. (Las personas pueden suscribirse a Nature por 199 dólares por año o pagar 8,99 dólares por artículo, pero los sistemas universitarios pueden pagar hasta 11 millones al año por una suscripción a una de las líneas de revistas de las grandes editoriales).

Hacer que los descubrimientos sean accesibles para cualquier persona con conexión a Internet nivelará el campo de juego para las personas que carecen de afiliación universitaria y para las escuelas que no pueden pagar las costosas tarifas de suscripción a la biblioteca.

Pero el anuncio de Springer Nature también expone un profundo problema estructural en la publicación científica. La tarifa de autor, conocida como cargo por procesamiento de artículos (APC), es varias veces más alta que lo que cobran otras editoriales; probablemente estará fuera del alcance de los investigadores que trabajan fuera de las principales instituciones del mundo. Visto desde esa perspectiva, el movimiento de Springer Nature hacia el acceso abierto parece menos un paso hacia la equidad y más como una corporación que se aprovecha de un panorama desigual de financiamiento científico para aumentar sus ganancias.

Springer Nature sostiene que el alto APC, una tarifa que, en teoría, está diseñada para cubrir los costos de producción para que los lectores no tengan que hacerlo, está garantizada por la selectividad y la calidad editorial de sus revistas. Las revistas como Nature deben manejar y revisar muchos artículos que finalmente son rechazados, explicó un portavoz en noviembre, pero recopilan APCs solo de los artículos que se publican. Como resultado, los costos operativos por artículo publicado son más altos para las revistas de primer nivel que para las revistas menos selectivas, argumenta la compañía.

Dejando de lado ese “impuesto al prestigio”, sin embargo, parece claro que Springer Nature y otras editoriales con fines de lucro a menudo cobran APCs más altos que las editoriales sin fines de lucro reconocidas. Examinando una muestra de datos de sitios web de editores y el  Directorio de revistas de acceso abierto (DOAJ), las mayores organizaciones con fines de lucro,  Springer Nature,  Elsevier y Wiley, cobran un APC promedio de 2660 dólares. Mientras que algunas organizaciones sin fines de lucro como eLife y PLOS cobran casi tanto como sus contrapartes con fines de lucro, un análisis de datos del DOAJ muestra que después de eliminar las grandes editoriales comerciales, las revistas de acceso abierto restantes, publicadas principalmente por fundaciones sin fines de lucro, sociedades académicas y universidades, conbraron solo 715 dólares de promedio en 2018.

Es difícil imaginar, incluso aceptando el razonamiento de Springer Nature, que el costo de producir un artículo académico podría ser mucho más alto para los editores con fines de lucro. Parece más probable que el recargo adicional sea, al menos en parte, el resultado de la búsqueda de ganancias por parte de las empresas que buscan maximizar sus resultados finales.

Si bien las empresas son libres de buscar ganancias, correspondería a los científicos que escriben estos artículos gastar su dinero de manera más inteligente. De hecho, la estructura de incentivos a la publicación en el mundo académico es en sí misma parte del problema. En lugar de evaluar a los científicos sobre la calidad y el impacto de sus descubrimientos, los organismos de financiación y los comités de contratación a menudo toman un atajo, escaneando CV en busca de artículos publicados en revistas ostentosas como Nature , Science  y Cell. Los científicos luchan por publicar en estas revistas, que se han convertido en los guardianes científicos de facto.

Pero no se equivoque: al cobrar una tarifa de más de 11.000 doláres, o, en un esquema piloto alternativo anunciado al mismo tiempo, un pago inicial no reembolsable de 2.600 solo para que el artículo sea evaluado por editores y revisado por pares, Springer Nature promete hacer un daño irreparable al sistema de publicación científica ya paralizado. Solo las universidades más ricas de los países más ricos podrán pagar estas facturas.

Como resultado, la gama de investigadores capaces de publicar artículos de acceso abierto en las principales revistas de Springer Nature será reducida. La torre de marfil, ya llena de desigualdades, solo crecerá más dividida. Los «ricos» podrán publicar abiertamente en revistas ampliamente leídas y citadas, lo que a su vez les permitirá obtener los codiciados fondos de investigación y puestos académicos. Los «desposeídos» aún pueden optar por publicar en Nature , pero su trabajo permanecerá oculto para gran parte del mundo, detrás de una barrera de pago. Los ricos se harán más ricos.

Quizás la mayor ironía de la publicación académica es que los impuestos públicos financian muchos de los mismos experimentos a los que el público no puede acceder libremente. Para trasladar esto al mundo de las revistas, es como si al leer este artículo tuvieras que pagar no solo por una suscripción a este medio, sino también por el reportaje original que hice para escribir el artículo. Y si, por alguna razón, el medio decidiera no cobrarle, en su lugar, me pasarían esos cargos a mí. El modelo tiene tan poco sentido en los medios de comunicación como en la publicación científica.

Puede que sea necesario algo tan obviamente equivocado como la nueva política de acceso abierto de Springer Nature para catalizar un cambio hacia un sistema más equitativo. Pero ha llegado el momento de construir una nueva cultura científica en la que los títulos de las revistas ya no sean un factor principal en la calidad percibida de un artículo. Esta es una visión brillante, pero solo puede funcionar si todos los científicos están de acuerdo en jugar con nuevas reglas.

Mientras editores con fines de lucro como Springer Nature y Elsevier, cuyo margen de beneficio de la empresa matriz ha superado el 30% en cada uno de los últimos cinco años, sigan ofreciendo un prestigio percibido, los científicos seguirán cayendo en la trampa. La presión para publicar hallazgos interesantes en las principales revistas puede ser uno de los factores de la actual crisis de reproducibilidad. Si estas tendencias no se controlan, la ciencia se convertirá en una empresa cada vez más equivocada.

En EE. UU., el cambio sistémico que necesita la ciencia podría ser ayudado por una acción legislativa o ejecutiva, que la administración podría encabezar. Algunos financiadores científicos privados ya están presionando a los investigadores para que pongan los artículos a disposición gratuita tan pronto como se publiquen. (Los Institutos Nacionales de Salud ahora requieren que los documentos que financia estén disponibles gratuitamente dentro de un año después de su publicación). Sin embargo, la política de acceso abierto de Springer Nature deja claro que tanto los donantes privados como públicos deben ir más allá y requieren que los beneficiarios de las subvenciones publiquen en revistas sin fines de lucro. La elección de Joseph R. Biden y Kamala Harris me da la esperanza de que ese cambio sea posible .

Mejores prácticas en la evaluación de repositorios de acceso abierto

COAR Community Framework for Best Practices in Repositories.COAR, 2020

Texto completo

El propósito del marco es ayudar a los gestores de repositorios a evaluar y mejorar sus operaciones actuales sobre la base de un conjunto de buenas prácticas aplicables y viables.

En la actualidad, existen varios marcos y criterios de evaluación que se elaboraron para ayudar a los depositarios a evaluar determinadas facetas de sus operaciones (como el descubrimiento, el acceso, la reutilización, la integridad, la garantía de calidad, la preservación, la privacidad y la sostenibilidad), pero esos criterios están repartidos entre distintas organizaciones y a menudo sólo son pertinentes para una región o un tipo de depósito.

El objetivo de esta labor era reunir los criterios pertinentes en un marco global y multidimensional para evaluar las prácticas óptimas que pueden adoptarse y utilizarse en diferentes tipos de repositorios (de publicaciones, institucionales, de datos, etc.) y en diferentes contextos geográficos y temáticos.

Encuesta sobre las implementaciones de REA en 13 instituciones de educación superior

 

banner_2

 

McGreal, R. (2019). A Survey of OER Implementations in 13 Higher Education InstitutionsThe International Review of Research in Open and Distributed Learning , 20 (5), 141-145. https://doi.org/10.19173/irrodl.v20i5.4577

Texto completo

 

Las instituciones en muchas jurisdicciones están en proceso de implementar Recursos Educativos Abiertos (REA). Este breve documento se basa en un informe encargado por Contact North / Contact Nord como parte de su serie Pockets of Innovation para comprender mejor el impacto de las implementaciones de REA en diversas instituciones.

La investigación analiza 13 implementaciones diferentes de REA en el nivel postsecundario: tres colegios comunitarios y una universidad. Cuatro están en los Estados Unidos; tres universidades y un colegio en Canadá; y cinco universidades internacionales: en África, Oriente Medio, América del Sur y el sudeste asiático.

El formato de la investigación siguió un modelo estándar de investigación de cinco puntos:

  1. Oportunidad:  ¿Por qué decidieron implementar REA?
  2. Innovación:  ¿qué hicieron?
  3. Beneficios:  ¿Cuáles fueron los resultados de la intervención?
  4. Desafíos:  ¿Cuáles fueron los problemas en la implementación?
  5. Potencial:  ¿Cómo ven el futuro del proyecto?

Los datos recopilados consistieron en investigar documentos relevantes y solicitar opiniones de los participantes principales en las implementaciones de REA. Toda la información se tomó directamente de entrevistas telefónicas o mediante el estudio de la documentación disponible en artículos o en sitios web. El único consenso encontrado entre las diferentes implementaciones fue sobre el ahorro de costos que REA proporcionó a los estudiantes y / o la administración, con ningún otro punto generalmente acordado en las cinco áreas de investigación. Además, no hubo otros puntos de consenso entre las instituciones de Canadá, Estados Unidos y las cinco instituciones internacionales.

El ahorro de costos para los estudiantes fue el único consenso acordado (12/13 instituciones). El único caso atípico fue una institución (Universidad de Athabasca en Canadá) que incluyó los costos del material del curso en la matrícula. Esta institución informó sobre ahorros significativos para la institución. Otras siete instituciones también informaron ahorros de costos superiores a los de los estudiantes.

Evaluación de Museos para Todos

 

mfa-evaluation-cover

Cohn,Sarah. Museums for All Evaluation. Washington, D.C.: IMLS, 2019

Texto completo

 

Esta evaluación del programa reunió información de las organizaciones participantes de los «Museums for All» sobre cómo su participación en la iniciativa influyó en sus programas de acceso, procesos internos, alianzas y visitantes.

Evaluación de un repositorio de materiales de autoaprendizaje

 

basic-remote-workflow

 

Carmen Touza Garma. «Evaluación de un repositorio de materiales de autoaprendizaje«. En: Experiencias pedagógicas e innovación educativa Aportaciones desde la praxis docente e investigadora. Barcelona: Ocraedro, 2018. págs. 2804-2813

Texto completo

Carmen Touza Garma en «Experiencias pedagógicas e innovación educativa: Aportaciones desde la praxis docente e investigadora.»

 

Criterios para evaluar diccionarios electrónicos

descarga (3)

H., B. L. and B. T. J.D. «Establishing evaluation criteria for e-dictionaries.» Library Hi Tech vol. 36, n. 1 (2018).  pp. 152-166.

Texto completo

El objetivo de este trabajo es identificar los criterios para evaluar diccionarios electrónicos. Las tecnologías de la información se pueden utilizar para mejorar los diccionarios electrónicos, pero si no se hace con cuidado, se pueden desarrollar herramientas de información que impidan adecuado nivel de usabilidad   y que proporcionen información irrelevante. Se necesitan criterios según los cuales los diccionarios electrónicos puedan desarrollarse y evaluarse para garantizar herramientas que faciliten su uso y proporcionen información relevante

Para ello, se llevó a cabo una revisión de la literatura para identificar tendencias en lexicografía y tecnologías de la información. Se consideraron estudios de usabilidad previos para identificar problemas clave de usabilidad. La información se sintetizó para identificar un conjunto de criterios. Los diccionarios electrónicos deben evaluarse en función de su contenido, arquitectura de la información, navegación, acceso (búsqueda y navegación), ayuda, personalización y uso de otras tecnologías innovadoras.

Se identificaron un amplio conjunto de criterios que pueden utilizarse para evaluar los diccionarios en formato digital y guiar a los lexicógrafos en el desarrollo de estos productos.