Archivo de la etiqueta: Factor de impacto

Uso del Factor de Impacto de la Revista en la acreditación académica, promoción y evaluaciones

tyler-large

 

McKiernan EC, Schimanski LA, Muñoz Nieves C, Matthias L, Niles MT, Alperin JP.2019Use of the Journal Impact Factor in academic review, promotion, and tenure evaluations. PeerJ Preprints 7:e27638v2 https://doi.org/10.7287/peerj.preprints.27638v2

Supplemental information: Mentions of the Journal Impact Factor in review, promotion, and tenure documents. DOI: 10.7287/peerj.preprints.27638v2/supp-1

El Journal Impact Factor (JIF) fue diseñado originalmente para ayudar a las bibliotecas a decidir qué revistas indexar y comprar para sus colecciones. Sin embargo, en las últimas décadas, se ha convertido en una medida utilizada para evaluar los artículos de investigación en función del rango de la revista. Los investigadores a menudo informan que se sienten presión para publicar en revistas con alto Factor de Impacto y mencionan la confianza en el JIF como un problema con los actuales sistemas de evaluación académica. Aunque los informes de los investigadores son útiles, falta información sobre la frecuencia y la forma en que se utiliza actualmente el JIF para la acreditación, promoción y permanencia en el cargo (RPT).

En esta investigación se recopilaron y analizaron documentos de acreditación para la revisión, promoción y permanencia en el cargo (RPT). de una muestra representativa de 129 universidades de Estados Unidos y Canadá y de 381 de sus unidades académicas. Se encontró que el 40% de las instituciones de doctorado, de investigación intensiva (tipo R) y el 18% de las instituciones de maestría, o integrales (tipo M) mencionaron explícitamente el JIF, o términos estrechamente relacionados, en sus documentos RPT. Las instituciones de pregrado o de bachillerato (tipo B) no lo mencionaron en absoluto.

Una lectura detallada de estos documentos sugiere que las instituciones también pueden estar utilizando una variedad de términos para referirse indirectamente al JIF. El análisis cualitativo muestra que el 87% de las instituciones que mencionaron el JIF apoyaron el uso de la métrica en al menos uno de sus documentos de acreditación, mientras que el 13% de las instituciones expresaron cautela sobre el uso del JIF en las evaluaciones. Ninguno de los documentos de acreditación RPT que se analizaron criticó duramente al JIF ni lo prohibió su uso en las evaluaciones. De las instituciones que mencionaron el JIF, el 63% lo asociaron con calidad, el 40% con impacto o importancia, y el 20% con prestigio, reputación o estatus. En resumen, los resultados muestran que el uso del JIF se fomenta en las evaluaciones de acreditación académica, especialmente en las universidades en las que se hace investigación intensiva, e indican que hay mucho trabajo por hacer para mejorar los procesos de evaluación para evitar el potencial mal uso de métricas como el JIF.

 

Journal Citation Reports (JCR), Incluye las citas de libros y las distribuciones de citas diarias

 

jcr-citation-distribution

Figure 1. Journal Citation Report example journal distribution. Source: Clarivate press release, 26 June 2018.

 

2017 Journal Impact Factors Feature Citation Distributions. Scholary Kitchen
By PHIL DAVISJUN 27, 2018

Ver original

Cada año Clarivate Analytics publica los datos de Journal Citation Reports (JCR), un compendio anual de métricas de citas a nivel de revista. Pero este año incluye algunas novedades.

En primer lugar, el 2018 JCR ahora incluirá citas de Clarivate Citation Index Book. Esta adición incrementará los puntajes del JIF del año pasado en aproximadamente 1%, de promedio, para los títulos de ciencia e ingeniería y un 2% para las revistas de ciencias sociales y humanidades. En 2016, Clarivate agregó, sin anuncio público , citas de su Emerging Sources Citation Index , que tuvo un efecto global de aumentar los JIF en un 5% y un 13%, respectivamente.

En segundo lugar, y lo que es más importante, el JCR ahora publicará las distribuciones de citas diarias.

Las distribuciones de diarios de Clarivate abordan y mejoran varias deficiencias de la propuesta original al:

  • Normalización de los histogramas. Esto evitará que los editores modifiquen sus ejes para presentar favorablemente sus publicaciones y ayudará a facilitar las comparaciones entre revistas.
    Estandarizar los datos incluidos en cada histograma. Esto evitará que editores y editores seleccionen los documentos que desean perfilar.
  • Proporcionar estadísticas descriptivas (rendimiento medio del papel) basadas en el tipo de artículo (artículo frente a revisión), como se propuso en la recomendación n.º 14 de la Declaración de San Francisco sobre evaluación de la investigación (DORA).
  • Incluye una divulgación de citas desvinculadas, es decir, citas que cuentan para el puntaje de una revista pero que no incluyen información suficiente para identificar inequívocamente un artículo específico.

 

En resumen, la edición de 2018 del JCR muestra un intento sincero de abordar constructivamente las demandas de la comunidad investigadora. Sin embargo, la implementación deficiente de su panel de rendimiento del diario puede evitar que se usen estas mejoras y puede alentar activamente el uso indebido y el abuso por parte de editores predadores.

20 revisas eliminadas de JCR por altos niveles de autocitación y por concentración de citas entre revistas

Police officer writing ticket

Impact Factor Denied to 20 Journals For Self-Citation, Stacking. The Scholarly Kitchen by Phil Davies, jun 27, 2018.

Ver

 

Desde el punto de vista de la economía, la autocitación es el método más fácil para aumentar las citas. Todo autor lo sabe y cita sus propios artículos, por muy periféricos que sean sus relaciones con el tema en cuestión. Los editores lo saben también, y algunos han sido atrapados obligando a los autores a citar artículos publicados anteriormente en la revista. Este comportamiento tiene un precio a pagar, especialmente cuando se hace en exceso. Journal Citation Reports (JCR), rutinariamente coloca a las revistas en “tiempo de espera” cuando sus tasas de autocitación son excesivamente altas.

Este año, Clarivate Analytics, los editores del Journal Citation Reports (JCR), suprimieron 20 revistas,14 por los altos niveles de autocitación y seis para el apilamiento de citas, un patrón conocido informalmente como un ” cártel de citas“. Además, apercibió a cinco revistas a las que calificó como Editorial Expression Concern después de conocer las anomalías de citas después de la finalización del informe de 2018. La supresión del JCR dura un año.

Los títulos se suprimen cuando la autocitación o el alto agrupamiento de citas distorsionan el Factor de Impacto de la Revista (JIF, por sus siglas en inglés) y el rango de una revista de tal manera que no refleja de manera justa el valor de las citas de la revista en la literatura profesional. Esto puede ocurrir a través de la autocitación, particularmente cuando hay una concentración de citas de artículos publicados en los dos años anteriores, o cuando hay un alto nivel de citas dirigidas por el JIF entre dos o más revistas. El primer cártel de citas se identificó en 2012, con la participación de cuatro revistas biomédicas. Se han identificado otros cárteles en ciencias del suelo, bioinformática y negocios. El JCR publica anualmente listas de títulos suprimidos con datos y descripciones clave.

El JCR tiene un documento público que explica las pautas que utiliza para evaluar las revistas para la supresión. Los títulos previamente suprimidos fueron aquello con niveles de umbral extremadamente altos, tan altos, que una revista incrementó su Factor de Impacto en casi 5 veces y se posicionó en el primer lugar entre su categoría temática.

 

 

 

Relación entre las altermetrías y las medidas tradicionales de medición científica

altmetrics2
MaggioLauren A ; Leroux,  Todd ; MeyerHolly S ; Anthony R Artino. “Exploring the relationship between altmetrics and traditional measures of dissemination in Health professions education“. BioArxiv, 2018. doi: https://doi.org/10.1101/260059

 

Los investigadores, financiadores e instituciones están interesados en comprender y cuantificar la difusión y el impacto de la investigación, especialmente en lo que se refiere a la comunicación con el público. Tradicionalmente, las citaciones han sido una medida de impacto primario; sin embargo, las citaciones requieren de un lento proceso para acumularse y enfocarse en el uso académico.

Recientemente se ha sugerido la utilización medidas altmétricas, que registran formas alternativas de difusión (por ejemplo, los medios sociales) como complemento de las métricas basadas en citaciones. Este estudio examina la relación entre la altermetria y las medidas tradicionales: citas de artículos de revistas y recuento de accesos. Los investigadores recopilaron en Web of Science y Altmetric.com  artículos publicados en revistas de HPE entre 2013-2015. Identificaron 2.486 artículos.

Los datos se analizaron mediante modelos binomiales y de regresión lineal negativa. En este recuento, los blogs se asociaron con el mayor aumento de citas (13% de incremento), mientras que los Tweets (1,2%) y Mendeley (1%) se asociaron con aumentos menores. El factor de impacto en revistas (JIF) se asoció con un aumento del 21% en las citas. Los artículos libremente accesibles al público se asociaron con una disminución del 19%, pero el efecto interactivo entre los artículos accesibles y el Factor de impacto se asoció con un aumento del 12%. Al examinar las cuentas de acceso, los artículos libremente accesibles al público tuvieron un aumento de 170, mientras que los blogs se asociaron con una disminución de 87 accesos.

Este estudio sugiere que varios puntos de las métricas alternativas están positivamente asociados con las citas, y que la accesibilidad pública, manteniendo constantes todas las demás variables independientes, está positivamente relacionada con el acceso al artículo. Dado el enfoque evolutivo de la comunidad científica en la difusión-incluyendo al público-los hallazgos tienen implicaciones para las partes interesadas, proporcionando una visión de los factores que pueden mejorar las citas y el acceso a los artículos.

¿Se ajustan las ventanas fijas de citación a las velocidades de maduración del impacto de las revistas científicas?

journalimpactfactor2012

Dorta González, M. I. and P. Dorta González “¿Se ajustan las ventanas fijas de citación a las velocidades de maduración del impacto de las revistas científicas?” Investigación bibliotecológica vol. 30, n. 68 (2016). pp. 73-89. http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0187-358X2016000100073

Los distintos campos científicos presentan prácticas de citación diferentes. Por ello, los indicadores bibliométricos basados en citas necesitan ser normalizados para permitir comparaciones entre campos. En este trabajo se analizan más de 600 revistas de ocho categorías JCR. Los resultados obtenidos indican que la velocidad de maduración del impacto varía considerablemente de una categoría a otra. El tiempo transcurrido hasta que la distribución de citas alcanza su máximo oscila entre 2 y 5 años, de ahí que el comienzo y finalización de la ventana de citación tengan un efecto determinante sobre el factor de impacto. Algunas revistas son penalizadas por el factor de impacto a 2 años y favorecidas por el de 5 años, y viceversa. Sin embargo, existen factores de impacto con ventanas variables de citación que producen, en términos generales, medidas de tendencia central más próximas.

¿Cómo buscar revistas con Factor de Impacto en la base de datos ISI Journal Citation Reports?

 impact-factor

Video Tutorial sobre como buscar revistas con Factor de Impacto en la base de datos ISI Journal Citation Reports por Julio Alonso Arévalo

Las Agencias de Evaluación y entidades financieras necesitan una medida objetiva de la calidad de las publicaciones. Consecuentemente existe una demanda de medidas de este tipo. El factor de impacto de una revista es la media de veces que en un año determinado fueron citados los artículos publicados por esta revista en los dos años anteriores. Curiosamente esta medida la utilizo Eugene Garfield por primera vez porque el bibliotecario de su facultad le pidió que le ayudara en la selección y adquisición de las revistas más relevantes. El algoritmo (una división simple) fue adoptado por el Instituto Científico ISI de Philadelphia, y desde entonces hasta la actualidad ha sido la formula con la que se ha medido la ciencia, que hizo millonario a Garfield, pero por otra parte también es considerada una medida controvertida y cuestionada ya que muchos investigadores consideran que mide la cantidad (número de citas) y no la calidad de una publicación, y que nos es adecuada para muchos áreas científicas.

Ver PREZI

Alonso-Arévalo, Julio Alfabetización en Comunicación Científica: Acreditación, OA, redes sociales, altmetrics, bibliotecarios incrustados y gestión de la identidad digital., 2014 . In Alfabetización informacional: Reflexiones y Experiencias, Lima (Perú) , Lima-Perú, 20 Y 21 de marzo del 2014. (Unpublished) [Conference paper]

Texto completo conferencia

24820951340_bcacd80c46_b_d

24820951310_8a1d6edb82_o_d

Las altas tasa de rechazo de artículos por parte de una revista no garantiza un buen posicionamiento de impacto

0808peerreview

Selecting for impact: new data debunks old beliefs por Pascal Rocha da Silva in el blog Frontiers OA Posted on December 21, 2015

http://blog.frontiersin.org/2015/12/21/4782/

Una de las creencias más asentadas de la publicación académica es que las revistas que buscan un alto factor de impacto deben ser altamente selectivas, aceptando sólo los documentos que se prevee que pueden ser muy importante y novedosos, y que por lo tanto probablemente vayan a atraer a un gran número de citas. Según el estudio que aquí se analiza esta afirmación no es del todo cierta; ya que en un estudio de 570 revistas no se econtró ninguna correlación aparente entre el índice de rechazo y el factor de impacto obtenido

En la medición de la calidad de revistas científicas hay algunos mitos que tienen una base poco cierta, es el caso de la creencia de que el rechazo masivo de trabajos de investigación publicados por revistas científicas favorece tener un alto factor de impacto (FI) parece no ser tan cierta.  Esto tiene que ver con que las consideradas mejores revistas rechazan entre el 90 a 95% de los manuscritos que reciben, lo que obliga a los autores de estos artículos a que tengan que volver a presentarlos en otras revistas de factor de impacto más moderado, en las que pueden encontrar mayor receptividad. Desgraciadamente la mayoría de los 20.000 o más revistas científicas de todo el mundo editorial académico siguen su ejemplo.

El análisis encontró que casi no hay correlación entre el factor de impacto de una revista – una polémica medida del número de citas que recibe un título – y la proporción de originales que rechaza. Para ello Pascal Rocha da Silva, editor de una revista de acceso abierto, trazó los factores de impacto de 570 revistas en relación con las tasas de rechazo, para determinar que no había “absolutamente ninguna correlación” entre ambos parámetros. Ya que algunas revistas que rechazaron más de nueve de cada 10 trabajos tenían un factor de impacto muy por debajo de la media, mientras que otras que aceptaron la mayoría de las comunicaciones tenían mejores puntuaciones. Aunque también se encontró que un pequeño grupo de revistas con los factores de impacto más altos si tenían una tasa de rechazo de más del 90 por ciento (Nature, Science,… )

En el gráfico de abajo se trazan los factores de impacto de 570 revistas seleccionadas aleatoriamente indexadas en el Journal Citation Reports en 2014 (Thomson Reuters, 2015), versus sus tasas de rechazo.

rejection-rate

El autor considera que una tasa de rechazo de hasta el 30 por ciento es justificable, pero más allá de esta cifra estima que se están rechazando artículos de calidad con la finalidad de diseñar altos índices de impacto que finalmente no tienen que ver con el factor de impacto obtenido por la publicación. Pero también es importante destacar que  hay una gama de revistas con factor de impacto entre 5 y 10 (es decir, moderado) que tienen muy bajas tasas de rechazo. En el caso de las revistas más selectivas, con tasas de rechazo de más del 60 por ciento, se comprobó que un mayor número de rechazos se correlacionan débilmente con un mejor factor de impacto.

En 2013, organizaciones como el Wellcome Trust y el Consejo de Financiación de Educación Superior para Inglaterra se inscribieron para la Declaración de San Francisco de Evaluación de la Investigación (DORA), que opta por que los factores de impacto sean desechados como base para las decisiones de financiación, de nombramientos y ascensos. La Declaración de San Francisco sobre Evaluación de la Investigación (DORA), impulsada por la Sociedad Americana de Biología Celular (BCSV), junto con un grupo de directores y editores de revistas científicas, reconoce la necesidad de mejorar la forma en que se evalúan los resultados de la investigación científica.