Archivo de la etiqueta: Impacto

Indicadores de medición del impacto de las citas bibliográficas

 

Indicators

Citation Performance Indicators — A Very Short Introduction
By PHIL DAVIS. Scholary Kitchen may 15, 201710

Texto completo

Phil Davis acaba de publicar en The Scholarly Kitchen un post en el que proporciona un breve resumen de los principales indicadores de citas utilizados hoy en día. Se trata de una publicación divulgativa, pero muy aclaratoria, no tanto de interés para bibliometras, como para el conocimiento por parte de investigadores, bibliotecarios y público en general. No se pretende que sea exhaustivo, ni se pretende opinar sobre el indicador que es mejor

Los indicadores son parámetros de medición que permite dar seguimiento y evaluar el cumplimiento de los objetivos de la actividad institucional respecto del logro o resultado en la entrega de bienes o servicios.

Lo más importante de un buen indicador es que tiene que tener una estrecha conexión teórica con la construcción subyacente que intenta medir. Un buen indicador simplifica los datos subyacentes, es fiable en sus informes y proporciona transparencia a los datos subyacentes.

Por último, cualquier discusión de los indicadores de desempeño invita a opiniones contrastadas tales como su uso indebido, abuso, implicaciones sociales, culturales y políticas que el alguna manera son ajenas al propio indicador.

Davis estructura los indicadores en tres grupos en función del diseño del algoritmo en el que se basa el indicador:

  1. Indicadores basados ​​en la ratio  se construye sobre el mismo modelo que el factor de impacto, dividiendo las citas recibidas entre el número de documentos publicados por la revista.
  2. Indicadores basados ​​en la gama (portfolio) calculan una puntuación basada en un conjunto clasificado de documentos.
  3. Indicadores basados ​​en la red, busca medir la influencia dentro de una red de citas mayor.

 

 

Indicadores basados en la ratio

Impact Factor: Total de citas en un año dado a todos los trabajos publicados en los últimos 2 años divididos por el número total de artículos y reseñas publicadas en los últimos 2 años. PROS: Fórmula sencilla con datos históricos. CONTRAS: el periodo de publicación de 2 años es demasiado corta para la mayoría de las disciplinas. PRODUCTOR: Clarivate (anteriormente Thomson Reuters), publicado anualmente en junio.

Impact Factor (5-yr): Abarca un periodo de publicación de 5 años en lugar de 2. PROS: La métrica preferida en campos en los que el ciclo de vida de la citación largo, por ejemplo, ciencias sociales. PRODUCTOR: Clarivate, publicado anualmente en junio.

CiteScore: Citas en un año dado a todos los documentos publicados en los últimos 3 años divididos por el número total de documentos publicados en los últimos 3 años. PROS: No intenta clasificar y limitar por tipo de artículo; Basado en un conjunto de datos Scopus más amplio; Recurso libre. CONTRAS: Preconcebido para las revistas que publican editoriales, noticias, cartas, etc.. PRODUCTOR: Elsevier, basado en los datos de Scopus, actualizado mensualmente.

Impact per Publication (IPP): Similar al Factor de Impacto con diferencias notables: 3 años. Periodo de publicación de 3 años; Incluye sólo citas a artículos clasificados como artículo,actas de conferencia o revisiones; Basado en un conjunto de datos Scopus. PROS: Periodo de análisis más largo; Las citas se limitan a aquellos documentos contados en el denominador. CONTRAS: Al igual que el factor de impacto, definir cual es el tipo de artículo correcto puede ser problemático. PRODUCTOR: CWTS, Universidad de Leiden, basada en los datos de Scopus, publicados cada mes de junio.

Source-Normalized Impact per Paper (SNIP): Similar a IPP, pero las puntuaciones de citas que se normalizan para tener en cuenta las diferencias entre los campos científicos, donde el campo está determinado por el conjunto de documentos que citan esa revista. PROS: Puede comparar el rendimiento de la revista entre entre disciplinas y campos. CONTRAS: La normalización hace que el indicador sea menos transparente. PRODUCTOR: CWTS, Universidad de Leiden para Elsevier, publicada cada mes de junio.

Indicadores basados ​​en la gama

H-index: Una medida de la cantidad y el rendimiento de un autor individual. Un autor con un índice de h habrá publicado h artículos, cada uno de los cuales ha sido citado por lo menos h veces. Si el índice h de un autor es 21, quiere decir que tiene almenos 21 documentos que se han citado 21 veces PROS: Mide el rendimiento profesional; No influenciado por valores atípicos (documentos altamente citados). CONTRAS: Dependiente del campo; Ignora el orden de la autoría; Aumenta con la edad y productividad del autor; Sensible a la autocitación, especialmente en Google Scholar. PRODUCTOR: Descrito por el cinetífico aleman J. E. Hirsch, muchas fuentes calculan los valores del índice h para los autores individuales.

h-5 : Variación del índice h que se limita a artículos publicados en los últimos 5 años. Utilizado por Google Scholar para comparar el rendimiento de la revista. PROS: Permite comparar autores jóvenes con autores más antiguos. CONTRAS: Dependiente del campo; Ignora el orden de la autoría en la publicación; Sensibles a la autocitación y al juego, especialmente en Google Scholar. Google Scholar también utiliza h5-median, que pretende reducir el sesgo de tamaño. PRODUCTOR: Google Académico. Publicado anualmente en junio.

Indicadores basados en la red

Eigenfactor: Mide la influencia de una revista en una red de citas. El cálculo de las puntuaciones se basa en la centralidad de los vectores propios, calculada a través de la ponderación iterativa, de manera que las citas de una revista tienen más influencia que otras. PROS: Ofrece una métrica que refleja de forma más clara la influencia científica como un entorno determinado. CONTRAS: Computacionalmente complejo, no fácilmente replicable. PRODUCTOR: Clarivate (anteriormente Thomson Reuters), publicado anualmente en junio.

Scimago Journal & Country Rank (SJCR): Similar al Eigenfactor pero calculado sobre la base de datos de Scopus. SJR asigna puntuaciones relativas a todas las fuentes en una red de citas. Su metodología se inspira en el algoritmo de Google PageRank, en que no todas las citas son iguales. Una fuente transfiere su propio “prestigio”, o estado, a otra fuente a través del acto de citarlo. Una citación de una fuente con una SJR relativamente alta vale más que una citación de una fuente con una SJR más baja. PROS.  SJR permite al usuario clasificar su propio conjunto de fuentes personalizadas, independientemente de sus campos temáticos. PRODUCTOR: Elsevier, publicado anualmente en junio.

Relative Citation Ratio (RCR): Una métrica de citas normalizadas para artículos basados ​​en la base de datos PubMed del NIH. Un campo se define por las referencias en los artículos co-citado con el documento de interés. PROS: Permite que cada artículo sea definido por su propia cita En lugar de basarse en la clasificación de campos externos. CONS: Sensible a citas interdisciplinarias y revistas multidisciplinarias. El RCR depende del Factor de Impacto para ponderar las revistas que figuran en las referencias. PRODUCTORA: NIH.

 

 

 

 

Mega-Journals de acceso abierto: ¿El futuro de la comunicación científica?

 

the-rise-of-open-access-mega-journals-081216-large

Spezi, Valerie ; Wakeling, Simon; Pinfield, Stephen; Creaser, Claire “Open-Access Mega-Journals: The Future of Scholarly Communication or Academic Dumping Ground? A Review”. Journal of Documentation Vol. 73 Iss 2 (2017) doi:10.1108/JD-06-2016-0082

Texto completo

Las mega-revistas de acceso abierto (OAMJs) representan una parte cada vez más importante del paisaje de la comunicación científica. mega-revistas (OAMJs), como PLOS ONE, BNL Open, F1000 Research son revistas de gran alcance que operan bajo un modelo de negocio de acceso abierto (normalmente basado en las tarifas de procesamiento de artículos) y que emplean una novedosa forma de revisión por pares, más enfocada a la solidez científica.

  • Una mega revista tiene las siguientes características definitorias:
  • Amplia cobertura de diferentes materias
  • Aceptan artículos para su publicación basados en si son técnicamente sólidos en lugar de seleccionar por su importancia percibida
  • Utilizan el modelo el “Autor-paga” en el que los costos son cubiertos por una carga de procesamiento de artículos
  • Un proceso acelerado de revisión y publicación, con un tiempo de respuesta rápid
  • Utilizan editores académicos, incluso una gran redacción de editores académicos, en lugar de editores profesionales
  • Servicios de valor añadido como gráficos reutilizables y datos a través de licencias Creative Commons
  • La revista está disponible en línea en acceso abierto

Lista de mega revistas

Las mega-revistas constituyen sólo una pequeña proporción  de la publicación científica; En 2015, representaron el 2,5 por ciento de todos los artículos publicados. Tal como vemos en el gráfico de arriba, la escena es dominada por dos grandes revistas Plos One , que publicó casi 27.500 documentos en 2015, y Scientific Reports, una publicación hermana de Nature, que publicó 10.600. Los defensores argumentan que aceptar los artículos simplemente porque son científicamente sólidos reduce las tasas de rechazo y ahorra tiempo; Pero las mega-revistas, que cobran por publicar artículos, también han sido acusadas de ser “medios de financiación” para subsidiar otras revistas más selectivas de la misma editorial. Si bien cuando se trataba de analizar el impacto y las citas, las mega-revistas variaban ampliamente. El 60% de las mega-revistas analizadas tienen una tasa de citas promedio más alta que las revistas en general.

Este artículo presenta una revisión de la literatura de OAMJs estructurada en torno a cuatro características definitorias: escala, ámbito disciplinario, política de revisión por pares y modelo económico. Aunque la literatura académica relacionada específicamente con los OAMJ es relativamente escasa, la discusión en otros foros es detallada y animada, con debates que van desde la sostenibilidad y la ética del modelo de mega-revista hasta el impacto de la revisión de pares sobre la calidad del artículo. 

El documento es la primera revisión integral del fenómeno de la mega-revista, recogido no sólo a través de la literatura académica publicada, sino también por medio de otras  fuentes alternativas, profesionales e informales como blogs. En conclusión el potencial de los OAMJs para representar y descubrir nueva información, puede representar un paradigma de cambio de desarrollo en la publicación académica.

Los investigadores que publican con más frecuencia tienen artículos más citados

 

Publish or Perish: 'Welcome to the Team. Remember, if you follow the University Motto, you'll do fine...'

Peter van den Besselaar  & Ulf Sandström. Does Quantity Make a Difference?
The importance of publishing many papers. Istanbul, ISSI 2015,

Texto completo

 

Un estudio de Ulf Sandström pone en evidencia la idea  que habitualmente se tiene de “Publicar o perecer” por parte de los investigadores, sobre que la presión que se ejerce sobre ellos para publicar conlleva a una investigación de baja calidad. El estudio demuestra que aquellos investigadores más prolíficos tienen mayor impacto.

Frecuentemente se dice que la incesante presión para que los investigadores publiquen en revistas redunda en una baja calidad de los publicado. Un estudio de Peter van den Besselaar y Ulf Sandström, profesores de ciencia y tecnología de la University Amsterdam y de KTH Royal Institute of Technology de Estocolmo, arroja dudas sobre la idea que se tiene de la cultura “publicar o perecer”. El estudio analizó los registros de publicación de 48.000 investigadores suecos publicados entre 2008 y 2011, y encontró que en la mayoría de los temas, la proporción de artículos de alta calidad se mantuvo estable o incluso mejoró a medida que ese investigador publicaba más artículos. Sólo en el caso de las humanidades la mayor proporción de artículos hizo descender los niveles de calidad.

 “A través de la psicología de la creatividad y el análisis, sabemos que no se puede llegar a lo óptimo la primera vez. Tienes que hacer muchas pruebas para tener algo que sea realmente interesante “, dijo. “Cuanto más intentes, más sabes.”.

La idea de que los investigadores necesitaban largos períodos de tiempo para “sentarse y pensar y pensar y pensar” sin publicar nada para concebir una idea innovadora es una falsa visión del proceso científico, dijo el profesor Sandström.

La investigación pone de manifiesto que los académicos más prolíficos a menudo escriben documentos más influyentes  todo ello tiene implicaciones sobre cómo se evalúan y financian los académicos. Según las conclusiones del estudio de Sandström no hay  “ninguna evidencia” de que publicar más documentos conduzca a una investigación de menor calidad. Contrariamente existe una correlación entre una mayor publicación y un mayor impacto.

Los investigadores más prolíficos también son más conocidos en sus redes, y más integrados y organizados, lo que significa que sus compañeros son más dados a citarlos. Por lo tanto no es cierta la idea que se tiene de “publicar o perecer”.

Mendeley incorpora nuevas métricas alternativas a los perfiles de investigadores

onboarding-moved

Hace unos meses Elsevier adquirió Newsflo, un servicio innovador que ayuda a las instituciones académicas a realizar un seguimiento de toda su cobertura mediática y menciones de redes sociales, aumentando la visibilidad de los investigadores y su trabajo.

Cada vez se acepta con más frecuencia que las citas por sí solas no son la forma más precisa de determinar el alcance y utilidad de la investigación. Estos años hemos con el desplazamiento de las formas de comunicación hacia los medios sociales estamos asistiendo a un creciente aumento de la importancia del impacto social de una investigación (Altmetrics). Mendeley ha contribuido mucho a ello, siendo considerada una de las herramientas más consistentes de la web social, ya que desde sus inicios estuvo configurada para proporcionar estadísticas de lectores, lo que ofrece a la comunidad de investigación una visión mucho más relevante y granular sobre cómo y dónde se están descubriendo, anotado, compartido y citando los documentos de investigación.

newsflo1

Newsflo

En la actualidad Mendeley permite ver el impacto de las publicaciones en su panel de estadísticas y mostrarlo en el perfil del investigador. La novedad es que a partir del 13 de marzo de 2007 integrará nuevos tableros  de control de estadísticas con perfiles para que se pueda monitorear el impacto de un trabajo y poder mostrarlo a otros en un solo lugar a través de una ficha que incluirá.

  • Las funciones que se muestran actualmente en la página general de estadísticas, como: Métricas de publicación (índice h, vistas, citas, lectores)
  • Cronología de la cita
  • Menciones en los medios de comunicación
  • Opciones de privacidad. Control total sobre quién puede ver el perfil y las estadísticas. Con posibilidad de revisar y actualizar la configuración de privacidad en cualquier momento- Público – visible para todos. Este es el ajuste predeterminado.
    – Visible para todos los usuarios de Mendeley que te siguen

Métricas para el acceso abierto y la ciencia abierta

 

32786038570_8120b1d904_b_d

Nichols, D. M. and M. B. Twidale “Metrics for openness.” Journal of the Association for Information Science and Technology vol., n. (2016). pp.: http://doi.wiley.com/10.1002/asi.23741

PPSPPS

La caracterización de la comunicación académica está dominada por medidas basadas en citas. En este artículo se proponen distintas métricas para describir diferentes facetas del acceso abierto y la investigación abierta. Se discute las medidas para representar la disponibilidad pública de los artículos junto con su ubicación. licencias, costos de acceso e información de apoyo. Los cálculos que ilustran estas nuevas métricas se presentan utilizando las publicaciones de los autores. Argumentando que la medición explícita de la apertura es necesaria para una descripción holística de los resultados de la investigación.

Los artículos en acceso abierto son un 50% más referenciados en la Wikipedia

 

32352425583_93c3a086c8_b_d

Teplitskiy, M., G. Lu, et al. “Amplifying the impact of open access: Wikipedia and the diffusion of science.” Journal of the Association for Information Science and Technology vol., n. (2016). pp.: http://doi.wiley.com/10.1002/asi.23687

Objetivo: Considerando Wikipedia como una fuente de información científica, se intenta verificar en que medida la información que aparece en Wikipedia se basa en la investigación que más valoran los científicos

Metodología: Para ello se identificaron las 250 revistas más utilizadas en cada uno de los 26 campos de investigación (4.721 revistas, 19.4 millones de artículos) indexadas por la base de datos de Scopus, y se verificó si el tema, la situación cinetífica y la accesibilidad hacían que los artículos de estas revistas fueran más o menos referenciados en Wikipedia.

Resultados: Se encontró que la situación académica de una revista (factor de impacto) y accesibilidad (política de acceso abierto) aumentan fuertemente la probabilidad de que se los artículos de la misma sean referenciados en Wikipedia. Teniendo en cuenta el área de conocimiento y el factor de impacto, las probabilidades de que sea citado un artículo de una revista de acceso abierto en la Wikipedia en inglés sea un 47% más altas que si el artículo estuviera en una revista de pago.

Conclusi0nes: Estos resultados proporcionan evidencia de que una consecuencia importantes de las políticas de acceso abierto es amplificar significativamente la difusión de la ciencia a una amplia audiencia, a través de un medio social como Wikipedia,

¿Existe correlación entre el aumento de la cooperación entre científicos gracias a internet y el impacto de la citación?

lab-scientists-green-art

Bornmann, L. “Is collaboration among scientists related to the citation impact of papers because their quality increases with collaboration? An analysis based on data from F1000Prime and normalized citation scores.” Journal of the Association for Information Science and Technology vol., n. (2016). pp.: http://doi.wiley.com/10.1002/asi.23728

¿Está relacionada la la colaboración entre los científicos a través de redes sociales con el impacto de la citación de los artículos ? Un análisis basado en datos de F1000Prime y puntajes de citas normalizados

En los últimos años, la relación de colaboración entre los científicos y el impacto de la citación de los documentos se han investigado con frecuencia. La mayor parte de los estudios muestran que las dos variables están estrechamente relacionadas: Una actividad de colaboración creciente (medida en términos de número de autores, número de afiliaciones y número de países) se asocia con un mayor impacto en las citas. Sin embargo, no está claro si el aumento del impacto de la citación se basa en la mayor calidad de los artículos que se benefician del aporte de más de un científico o de otros factores (específicos de la citación). Por lo que en el estudio se aborda esta cuestión utilizando dos conjuntos de datos completos con publicaciones (en el área biomédica), incluyendo evaluaciones de calidad por expertos (puntajes de miembros de F1000Prime) y datos de citas para las publicaciones. El estudio se basa en más de 15.000 documentos. Se utilizan modelos de regresión sólidos para investigar la relación entre el número de autores, el número de afiliaciones y el número de países, respectivamente, y el impacto de la citación para la calidad de los documentos (medido por las calificaciones de los expertos F1000Prime). Los resultados señalan que el efecto de las actividades de colaboración sobre el impacto es en gran parte independiente de la calidad de los documentos. La ventaja de la citación aparentemente no está relacionada con la calidad; Los factores específicos de la citación (por ejemplo, las auto citas) parecen ser más importantes.