Archivo de la etiqueta: Impacto

A medida que los investigadores publican en revistas menos prestigiosas, surgen nuevas medidas de calidad

36189958_s

As Scholars Are Driven to Less Prestigious Journals, New Measures of Quality Emerge. By Lindsay Ellis en The Chronicle of Higher Education February 18, 2019

Ver original

 

A medida que más estudiosos publican en revistas de acceso abierto menos reconocidas, se buscan otras formas de medir el impacto de sus investigaciones. Una medida potencial de alcance es la medición de los datos de las interaciones en línea: publicaciones en Twitter, enlaces a blogs y otras métricas de varios tipos (Altmetrics).

HuMetricsHSS, un proyecto de humanidades y ciencias sociales que hace un seguimiento de los indicadores en esos campos, incluye como otra de esas métricas la «apertura», que incluye la «transparencia, la franqueza y la rendición de cuentas» de un investigador, además de la práctica de hacer que la investigación de un investigador tenga acceso abierto en todas las etapas.

Estos esfuerzos buscan cambiar las normas establecidas desde hace mucho tiempo. Los investigadores en sus primeras etapas de la carrera académica, alentados por los incentivos de permanencia y promoción, sienten la presión de publicar en revistas académicas de prestigio. Los miembros de las agencias de investigación encargados de evaluar el impacto de la investigación de un solicitante pueden no ser capaces de evaluar su contenido si no tienen la especialidad adecuada, por lo que el nombre de una revista de suscripción bien conocida puede servir como un indicador de calidad. Philip N. Cohen, profesor de sociología en la Universidad de Maryland en College Park. dice que las estructuras y los requisitos desarrollados por la agencias y universidades están obligando a investigadores y a los departamentos a «adaptarse a esta norma y a comprenderla».

Cohen, ha estado siguiendo este impulso. Pero incluso ese enfoque más holístico todavía tiene deficiencias, dice. «Se está buscando una medida que funcione en todas las disciplinas o en diferentes contextos. Todo el mundo está buscando una forma alternativa».

Hasta ahora, pocas instituciones han tomado esa táctica. Sólo el 5 por ciento de las instituciones mencionaron el término «acceso abierto» en los documentos de acreditación, promoción y tenencia, según una investigación realizada en 2018 por académicos de la Universidad Simon Fraser, la Universidad Estatal de Arizona, la Universidad de Vermont y la Universidad Nacional Autónoma de México.

 

 

¿Las altmetrías pueden proporcionar información sobre la calidad y el impacto temprano de la investigación?

 

asi24122-fig-0004-m

Wooldridge, J. and M. B. King «Altmetric scores: An early indicator of research impact.» Journal of the Association for Information Science and Technology vol. 70, n. 3 (2019). pp. 271-282. https://onlinelibrary.wiley.com/doi/abs/10.1002/asi.24122

Texto completo

 

En este artículo analiza si las métricas de atención en línea que describen la investigación pueden proporcionar información sobre la calidad de la investigación y el impacto social que no se encuentra sólo en los datos de citas.

El enfoque consiste en establecer un modelo tradicional en el que la verdadera calidad o el impacto de un departamento universitario es determinado por un panel de expertos, pero una métrica de citación se considera un indicador aproximado razonable. Sin embargo, el modelo asume que la información contenida en las puntuaciones proporcionadas por un panel de expertos excede la contenida en una métrica de citación (HEFCE, 2015).

Por último, se amplia este modelo incluyendo datos altmétricos para ver si añade información sobre el rendimiento de un departamento que no pueda deducirse sólo de las citas. Se encontró que la presencia de datos altmétricos para la investigación de apoyo citada está altamente correlacionada con las puntuaciones de la revisión por pares para el impacto social. Por el contrario, no se observó tal conexión con la evaluación de la calidad de la investigación. Por lo que, estos hallazgos sugieren que los datos altmétricos podrían ser útiles como ayuda para evaluar el impacto.

El futuro de la edición académica y la comunicación académica

dyvyoylw0aaolxf

 

Future of scholarly publishing and scholarly communication: Report of the Expert Group to the European Commission. Brussels: European Commission, 2019

Texto completo

El informe propone una visión para el futuro de la comunicación académica; examina el sistema actual -con sus fortalezas y debilidades- y sus principales actores. Examina las funciones de los investigadores, las instituciones de investigación, los financiadores y los encargados de formular políticas, los editores y otros proveedores de servicios, así como los ciudadanos, y presenta recomendaciones dirigidas a cada uno de ellos.

El informe sitúa a los investigadores y sus necesidades en el centro de la comunicación académica del futuro, y considera que el conocimiento y la comprensión creados por los investigadores son bienes públicos. Los desarrollos actuales, posibilitados principalmente por la tecnología, han dado lugar a una ampliación de los tipos de actores involucrados en la comunicación académica y, en algunos casos, a la desagregación de los roles tradicionales en el sistema.

El informe considera que la evaluación de la investigación es una piedra angular de la comunicación académica que afecta a todos los agentes implicados. Los investigadores, las comunidades y todas las organizaciones, en particular los financiadores, tienen la posibilidad de mejorar el actual sistema de comunicación académica y publicación: deberían empezar por introducir cambios en el sistema de evaluación de la investigación. La colaboración entre los agentes es esencial para un cambio positivo y para permitir la innovación en la comunicación académica y el sistema editorial en el futuro.

Mesa Altmetrics de la la II Reunión de Servicios de Evaluacion Cientíca de Universidades, Córdoba 2019

Jaltmetrics_q320

II Reunión de los Servicios de Evaluación en las Universidades celebrada en la Universidad de Córdoba el 31 de Enero – 1 de Febrero de 2019.

Mesa Altmetrics

Daniel Torres-Salina “La evaluación del libro científico desde la perspectiva de las nuevas métricas» Experiencias y retos de las unidades de evaluación científica.
https://zenodo.org/record/2554945#.XFQieE_Dvtk.twitter

Nicolás Robinson. ‘Altmétricas aplicadas a nivel institucional’
https://t.co/LkorzB7fnh?amp=1

Julio Alonso Arévalo. “Altmetrics: medición del impacto social de la investigación y de la reputación digital del investigador https://www.slideshare.net/JulioAlonso35/altmetrics-la-integracin-del-impacto-cientfico-y-el-impacto-social-de-la-investigacin

E2437E8A-A9AE-4EFF-B3BF-F09EDAD976D3

¿Pueden las revisiones de Amazon.com ayudar a evaluar el impacto de los libros?

amazonscreen

Mike Thelwall, Kayvan Kousha. “Can Amazon.com Reviews Help to Assess the Wider Impacts of Books”. Journal of the Association for Information Science and Technology 67(3) · August 2014

Texto completo

Aunque los recuentos de citas se utilizan a menudo para evaluar el impacto en la investigación de las publicaciones académicas, son problemáticos para los libros que buscan un impacto educativo o cultural. Para llenar este vacío, este artículo evalúa si una serie de métricas simples derivadas de las revisiones de Amazon.com de libros académicos podrían dar evidencia de sus impactos. Basado en un conjunto de 2.739 monografías académicas de 2008 y un conjunto de 1.305 libros más vendidos en 15 categorías de materias académicas de Amazon.com, la existencia de correlaciones significativas pero bajas o moderadas entre las citas y el número de reseñas, combinadas con otras evidencias, sugiere que las reseñas de libros en línea tienden a reflejar la mayor popularidad de un libro en lugar de su impacto académico, aunque existen diferencias disciplinarias sustanciales. Por lo tanto, se recomiendan las métricas basadas en revisiones en línea para la evaluación de libros que apuntan a un público amplio dentro o fuera de la academia, cuando es importante captar los impactos más amplios de las actividades educativas o culturales y cuando no pueden ser manipulados antes de la evaluación.

Libitaciones, Worldcat, impacto cultural y reputación

dscf8620
Libcitations, worldcat, cultural impact, and fame

Howard D. White, Alesia A. Zuccala

Journal of the Association for Information Science and Technology, Vol. 69, No. 12, December 2018

JASIST. Pages: 1502-1512 | First Published: 05 August 2018

Texto completo

 

Así como se pueden contar las citas de un libro, también se pueden contar el número de bibliotecas de un consorcio que lo tiene. Estos recuentos de existencias por título se pueden obtener del catálogo colectivo del consorcio, como WorldCat de OCLC. Los bibliotecarios que buscan servir bien a sus usuarios deben estar atentos a los diversos tipos de indicadores de los libros. El resultado en WorldCat es un indicador de la atención que reciben determinados libros. Cuanto más alto sea el número (o percentil) de un título, más famoso será, ya sea absolutamente o dentro de una clase de disciplina. El grado de disponibilidad de un libro en bibliotecas también indica el impacto cultural, lo que aporta más evidencias sobre su impacto. Utilizando los datos de WorldCat, se ilustra los grados de impacto alto, medio y bajo con 170 títulos publicados durante 1990-1995 o 2001-2006 y que abarcan las 10 clases principales de Dewey. Utilizamos sus recuentos de libcitación total o sus recuentos de miembros de la Asociación de Bibliotecas de Investigación (ACRL), o ambos, a partir de finales de 2011. Este análisis de su impacto se basa en el reconocimiento de sus autores, la medida en que ellos y sus autores están cubiertos por Wikipedia, y si tienen versiones de películas o de televisión. Las escalas ordinales basadas en la cobertura de Wikipedia y en los recuentos de libcitación están asociadas de manera muy significativa.

 

Calidad de revistas científicas. Variables, indicadores y acciones para su diagnóstico

46927499331_1c63295d59_o_d

 

Paz-Enrique, Luis Ernesto and Jalil-Vélez, Nadya Judafeet and García-Salmon, Luis Alberto and Mera-Leones, Rosa Marina and Mawyin Ceballos, Francisco Antonio . Calidad de revistas científicas. Variables, indicadores y acciones para su diagnóstico. Editorial Feijóo, 2018.

Texto completo

El presente texto constituye una referencia de consulta obligatoria para lectores, académicos e investigadores que trabajan en el campo de la publicación o están relacionados con publicaciones seriadas y científicas. El lector podrá encontrar contenidos como la bibliometría y el método bibliométrico, obsolescencia bibliográfica, endogamia editorial, estudios de vigilancia científica y otros aspectos que determinan la calidad de las revistas científicas. El texto presenta estudios sobre dos revistas científicas universitarias cubanas: Centro Azúcar y Centro Agrícola como una forma de validar los aspectos relativos alrededor de variables e indicadores que determinan la calidad de las revistas científicas. El lector especializado podrá encontrar las claves para poder ubicar, visualizar y obtener un impacto potencial en proyectos de mejora de publicaciones seriadas y publicaciones científicas. El texto es una necesidad para editores y equipos editoriales que deseen posicionar sus publicaciones en bases de datos de alto impacto a nivel internacional.

 

MIAR: Matriz de Información para el Análisis de Revistas

 

 

miar

MIAR: Matriz de Información para el Análisis de Revistas

http://miar.ub.edu/

MIAR recolecta datos para la identificación y análisis de más de 44.000 revistas científicas procedentes de 117 bases de datos.

Si se introduce en la casilla de búsqueda cualquier ISSN el sistema localizará en qué bases de datos de las contempladas en la matriz está indizada la revista, esté recogida o no con ficha propia en MIAR, y calculará su ICDS (sin contar el Índice de Pervivencia si no forma parte de MIAR).

MIAR es COLABORATIVA. Editores, autores y lectores pueden sugerir nuevas revistas,informar de errores, aportar notícias del sector o compartir la información en las redes sociales. Los editores pueden aportar información de valor añadido sobre sus revistas siempre que pueda ser contrastada con una fuente pública en Internet.

MIAR es INTEGRADORA. Además de mostrar la visibilidad en bases de datos, MIAR ofrece información de la presencia de la revista en repertorios de evaluación como por ejemplo el Sello de Calidad FECYT, Scimago Journal Rank, o CARHUS+, así como la política de acceso abierto recogida en el color ROMEO.

MIAR es TRANSPARENTE y está ACTUALIZADA. En todos los casos la información se procesa a partir del listado público que ofrecen las fuentes y puede ser contrastada directamente con el original. Nuestros agentes de software verifican los listados cada 15 días a fin de mantener actualizado el sistema con las últimas incorporaciones. El algoritmo de cálculo del ICDS es público y se muestra en cada ficha de revista.

 

El ICDS (Índice Compuesto de Difusión Secundaria)

04-miar

El ICDS (Índice Compuesto de Difusión Secundaria) es un indicador que muestra la visibilidad de la revista en diferentes bases de datos científicas de alcance internacional, o en su defecto en repertorios de evaluación de publicaciones periódicas. Un ICDS elevado significa que la revista está presente en diferentes fuentes de información de relevancia internacional. Para el cálculo del ICDS se establecen los siguientes criterios.

  • Si la revista aparece en los índices de citas de Web of Science Core Collections (AHCI, SCIE, SSCI o ESCI) o en Scopus se asigna una puntación de 3,5.
  • Si la revista aparece en en los índices clásicos de Web of Science (AHCI, SCIE o SSCI) y también en Scopus se asigna una puntación de +1.
  • Si la revista aparece en una base de datos de indización y resumen (especializada o multidisciplinar) o en DOAJ se asigna una puntuación de +3.
  • Si está incluida en dos o más bases de datos especializadas o multidisciplinares se asigna un total de 5 puntos (3+2).
  • Si no aparece en ninguna base de datos de indización pero sí en el catálogo Latindex (no confundir con el directorio Latindex) o en un repertorio de evaluación (CARHUS Plus, ERIHPlus y sello de calidad FECYT) se asigna una puntuación de 2,5.
  • Si aparece únicamente en la base española de sumarios DIALNET se asignan 0,4 puntos.
  • Para finalizar, el cálculo se completa con el índice de pervivencia de la revista, que se calcula en base al logaritmo del total de años de vida del título desde el inicio de su publicación, considerando un máximo de 30 años en el cálculo.

MIAR indica en el registro de cada revista cómo se ha obtenido su ICDS y asimismo detalla en qué grupo de bases de datos, o repertorios aparece.

Editada por la Facultat de Biblioteconomia i Documentació Universitat de Barcelona

La actividad científica del CSIC a través de indicadores bibliométricos (Web of Science, 2013-2017)

39871145203_2c51836e87_o_d

María Bordons, María ; Morillo, Fernanda ; Moreno-Solano, Luz ; Aparicio, Javier
González-Albo, Borja  “La actividad científica del CSIC a través de indicadores bibliométricos (Web of Science, 2013-2017). Madrid: CSIC, 2019

Texto completo

 

Análisis de la producción científica del CSIC durante el periodo 2013-2017 a través de la base de datos Web of Science (WoS). Se proporcionan series temporales de indicadores cuantitativos, indicadores semicualitativos e indicadores de colaboración de la producción científica del CSIC para el quinquenio 2013-2017, así como indicadores relativos con respecto a los resultados obtenidos por el conjunto de la producción científica española, incluyen citas relativas al mundo y porcentaje de artículos altamente citados respecto al mundo. Además de indicadores de uso y de utilización del acceso abierto para la publicación de los resultados de investigación. Estos indicadores se muestran tanto para el CSIC en su conjunto, como para cada una de las áreas científico-técnicas en las que se articula su investigación, y para los centros e institutos que lo componen.

La producción científica del CSIC (centros propios, centros mixtos y unidades asociadas) en la base de datos Web of Science (WoS) ascendió a 57.339 documentos en el periodo 2013-2017, lo que representa el 16% de las publicaciones españolas. La producción pasó de 11.697 documentos en 2013 (16% de la producción española) a 11.075 en 2017 (15%), lo que supone una ligera tendencia descendente (descenso medio anual de -1%). No obstante, comparado con los estudios previos, se observa un ligero aumento en la productividad de los investigadores (número de publicaciones por investigador), ya que se ha producido una reducción del personal investigador, tanto funcionario como contratado.

• Predominan los artículos científicos (88%) – que incluyen artículos originales y proceedings papers – y las revisiones (4,5%); así como las publicaciones escritas en inglés (98%), con una pequeña contribución de documentos en español (2%).

• La distribución geográfica de la producción muestra una importante concentración en Madrid (36%), donde se sitúan gran parte de los centros del CSIC. Destaca a continuación la actividad de Cataluña (19%), Andalucía (18%) y la Comunidad Valenciana (11%). El CSIC muestra una alta actividad relativa en Madrid, Aragón y Cantabria, es decir, la contribución porcentual de estas comunidades a la producción del CSIC es superior a la correspondiente al total del país.

• Los documentos se publican en 4.798 revistas diferentes, entre las cuales se distinguen 127 títulos de revistas españolas (29 de ellos corresponden a revistas editadas por el propio CSIC). A lo largo del periodo se reduce el porcentaje de documentos en revistas españolas (descenso medio anual – 10%), y, en especial, de los escritos en español (-9%, si bien hay que tener en cuenta los bajos valores de estas variables, a los que pequeñas variaciones afectan de forma importante). El CSIC publica el 68% de sus artículos en revistas del primer cuartil y cuenta con 227 documentos – 179 artículos – en las revistas multidisciplinares Science y Nature, de amplio prestigio y difusión internacional, lo que constituye el 42% de la participación española en dichas revistas.

• Sólo un 3% de los documentos están escritos por un único autor, mientras que un 40% tienen entre 3 y 5 autores y un 20% presentan diez o más autores.

• El 87,5% de las publicaciones del CSIC están realizadas en colaboración entre dos o más centros, y el 61% están firmadas con algún centro extranjero. La investigación realizada en el CSIC se caracteriza por una mayor presencia de colaboración internacional y menores tasas de publicaciones sin colaboración que en el promedio del país. En concreto, la tasa de colaboración internacional del CSIC se sitúa trece puntos por encima de la correspondiente al total del país (61% vs 48%), y la tasa de los documentos sin colaboración nueve puntos por debajo (12,5% vs 22%)

• A nivel nacional los mayores vínculos se producen entre Madrid y las comunidades de Andalucía y Cataluña. Los centros del CSIC colaboran sobre todo con el sector universitario (67% de las publicaciones en colaboración nacional) y con otros centros de la propia institución (26%), siendo muy escasa la colaboración con el sector empresas (5%). En los últimos años se detecta una importante cooperación con las entidades multisectoriales (22%).

• En lo que se refiere a la colaboración internacional, los mayores vínculos son los existentes con la Unión Europea (68%), América del Norte (31%) y América Latina y Caribe (22%). Los países con los que más colabora el CSIC son Estados Unidos (29%), Reino Unido (23%), Alemania (22%), Francia (22%), e Italia (19%).

• El estudio de la actividad del CSIC en diez grandes áreas temáticas (áreas WoS) muestra que la institución presenta una alta actividad relativa comparada con España en las áreas de Física; Agricultura/Biología/Medio Ambiente; Multidisciplinar y Química (IA>1,45 en todas ellas), y en menor medida en Biomedicina (IA>1,18). En las diez áreas analizadas los investigadores del CSIC publican en promedio un mayor porcentaje de artículos en revistas del primer cuartil y reciben mayor número de citas que la media del país, particularmente en Humanidades, Ciencias Sociales, Física e Ingeniería/Tecnología.

• El estudio de la actividad del CSIC por disciplinas WoS permite identificar aquéllas en las que la institución tiene mayor producción: Astronomía y Astrofísica, Química Física, Ciencia de Materiales/Multidisciplinar, Bioquímica/Biología Molecular y Ciencias Multidisciplinares, con más de 3.000 artículos cada una en el periodo analizado; así como las que destacan por su alta contribución a la producción del país, entre las que se pueden citar Física de Partículas/Campos; Ciencia de Materiales/Cerámica; Física Nuclear; Biología de la Evolución; Astronomía y Astrofísica y Ornitología; (IA>2,50). El CSIC presenta un alto impacto relativo a España (FIR > 1,35) en diversas disciplinas, como son Estudios Medioambientales; Psiquiatría; Salud Pública, Medioambiental y Laboral y Patología y Neurología Clínica. Destacan por su tasa de citación superior a la del promedio del país en más de un 50%, las disciplinas de Estudios Ambientales; Salud Pública, Medioambiental y Laboral; Biblioteconomía y Documentación; Psiquiatría y Tecnología/Ciencia de Ecología/Sostenibilidad.

• Atendiendo a la distribución de centros en las ocho áreas científico-técnicas del CSIC, se observa que las áreas con mayor producción en WoS con respecto al total del Consejo son Ciencias y Tecnologías Físicas (20%); Recursos Naturales (19%); Biología y Biomedicina (18%) y Ciencia y Tecnología de Materiales (14%). Las áreas con menor producción son Ciencias Agrarias (10%); Ciencia y Tecnologías de Alimentos (6%) y Humanidades y Ciencias Sociales (3%).

• Las áreas difieren en el tipo de investigación predominante y en sus hábitos de publicación. Así, destacan los ítems citables en todas las áreas CSIC, en las

¿Qué es y qué importancia tiene la gestión de datos de investigación (GDI)?

 

blog-203-1

 

Alonso-Arévalo, Julio ¿Qué es y qué importancia tiene la gestión de datos de investigación (GDI)?. Desiderata, nº 10 – Año II – enero, febrero y marzo de 2019

Texto completo

 

El aumento del volumen y organización de la información capturada por las empresas y organizaciones, el incremento de los multimedia, las redes sociales y la “Internet de las cosas” van a impulsar un crecimiento exponencial de los datos en el futuro más inmediato. La importancia de estos datos sobre patrones de comportamientos serán un recurso vital para el desarrollo social y económico de la sociedad, por lo que será necesaria la planifi cación, gestión y reutilización de estos datos.