Archivo de la etiqueta: Factor de impacto

Lista de DORA de los 10 principales avances en evaluación de la investigación

 

dorabadge5

2019 in review: DORA’s list of the top 10 advances in research assessment December 19, 2019

Ver original

 

Al final de 2019, el comité directivo y el consejo asesor de DORA querían destacar las formas en que la reforma de la evaluación de la investigación ha avanzado en el último año. Desde nuevos datos sobre políticas de evaluación hasta el desarrollo de nuevas herramientas, la comunidad académica está tomando medidas para mejorar la evaluación de la investigación de maneras concretas.

  1. Una nueva investigación del Laboratorio de Comunicaciones Académicas de la Universidad Simon Fraser y sus colaboradores ha determinado cuánto se usa el Factor de Impacto de la Revista en las decisiones de revisión, promoción y tenencia en los Estados Unidos y Canadá. Estudios como este nos ayudan a comprender la magnitud del desafío que enfrenta DORA, pero también sirven como un estímulo para que las instituciones innoven y mejoren sus políticas de evaluación.
  2. Una institución que ya ha tomado medidas para reformar sus prácticas de evaluación de la investigación es la Universitat Oberta de Catalunya, que firmó DORA y publicó un plan de acción y un cronograma para mejorar la evaluación de la investigación en el campus. A finales de 2020, la universidad tiene como objetivo proponer indicadores para medir el impacto social de la investigación. También tienen la intención de ampliar la lista de resultados de la investigación para evaluar el impacto y la transferencia de la investigación. El plan fue desarrollado por el grupo de trabajo DORA de la universidad y aprobado por la Comisión de Investigación e Innovación. Si bien se lanzó a fines del año pasado, es necesario reconocer los esfuerzos de la universidad a lo largo de 2019 para implementar cambios generalizados.
  3. En septiembre, se lanzó el Research on Research Institute (RORI) en Londres para promover una investigación más estratégica, abierta, diversa e inclusiva. El instituto es una asociación entre Wellcome Trust, Digital Science y las universidades de Sheffield y Leiden. Un aspecto importante de su trabajo se centrará en la medición y la evaluación, incluida la ampliación y diversificación de los criterios e indicadores utilizados en la evaluación de la investigación. En términos más generales, al proporcionar una comprensión más profunda del panorama de la investigación, RORI tiene como objetivo mejorar la toma de decisiones, el avance profesional y la cultura de la investigación.
  4. Los Principios de Hong Kong para la Evaluación de Investigadores: Fomento de la Integridad de la Investigación se desarrollaron como parte de la Sexta Conferencia Mundial sobre Integridad de la Investigación. Las instituciones y los donantes pueden adoptar los principios para reconocer a los académicos por las actividades que conducen a una investigación confiable. Al igual que en DORA, los principios de Hong Kong enfatizan la importancia de considerar el valor de todas las contribuciones, productos y resultados del trabajo académico.
  5. En mayo, la guía de implementación revisada para el Plan S estableció la reforma de la evaluación de la investigación, de acuerdo con DORA, como un principio central. Los miembros de cOAlition S se comprometen a revisar sus políticas antes de enero de 2021 para evaluar la investigación por sus propios méritos en lugar del lugar donde se publica.
  6. Needhi Bhallla, miembro de la junta asesora de DORA, publicó una perspectiva que resume varias estrategias probadas para mejorar la equidad en la contratación de profesores. Algunos ejemplos incluyen la evaluación y revisión de los procesos de promoción y revisión departamental y el desarrollo de una rúbrica para evaluar las declaraciones de diversidad al comienzo de una búsqueda. Al adoptar estas medidas prácticas, las instituciones también aumentan la transparencia y la coherencia de las contrataciones de profesores.
  7. Muchas organizaciones están reconsiderando cómo estructurar las solicitudes de subvenciones y trabajos para fomentar procesos de revisión sólidos pero eficientes en el tiempo diferenciados de los factores de impacto de las revistas. En octubre, la Royal Society publicó el currículum vitae para investigadores para reconocer una gama más amplia de resultados y logros académicos. El Consejo de Investigación Holandés (NWO) también está probando un formato de CV narrativo para su esquema de financiamiento Veni y anunció en diciembre que haría lo mismo para la ronda Vici . Esta iniciativa permiten a los investigadores contextualizar su trabajo y diversas contribuciones de una manera que los números no pueden.
  8. En octubre, DORA y el Instituto Médico Howard Hughes reunieron a un grupo diverso de partes interesadas para considerar cómo mejorar las políticas y la práctica explorando diferentes enfoques para el cambio de cultura y sistemas. Las lecturas de antecedentes y los comentarios de los participantes proporcionan una mejor comprensión de las oportunidades y desafíos que enfrentan las instituciones de investigación con la reforma de la evaluación de la investigación. En 2020 se pondrán a disposición conjuntos de herramientas para ayudar a las instituciones a adoptar nuevas políticas y prácticas.
  9. El Consejo Latinoamericano de Ciencias Sociales (CLACSO) y el Consejo Nacional de Investigación y Tecnología de México (CONACYT) organizaron un Foro de Evaluación de Investigaciones en noviembre para dar inicio a un grupo de trabajo de dos años para identificar procedimientos alternativos de evaluación de las ciencias sociales en América Latina. . Estén atentos para recibir actualizaciones sobre su trabajo.
  10. Varias iniciativas intersectoriales tienen como objetivo desarrollar visiones más positivas de la cultura de la investigación, que está íntimamente conectada e impactada por las prácticas de evaluación de la investigación. El Wellcome Trust, por ejemplo, está tratando de redefinir la ‘excelencia’ mediante la inclusión de la consideración de cómo se lleva a cabo la investigación. Y la Royal Society está siguiendo su conferencia sobre cultura de investigación compartiendo ejemplos de cómo diferentes organizaciones están trabajando para mejorar la equidad, la diversidad y la inclusión; y fomentar una mayor colaboración.

Es posible que muchas cosas pueden sucedan en un año. Es difícil limitarse a 10 avances, si bien también merecen reconocimiento:

 

¿Hasta qué punto algunas revistas negocian el factor de impacto?

 

d20190620-jcr-2018-incites-multidisciplinary-sciences-clarivate-analytics-684x500-1

 

Björn Brembs. Just How Widespread Are Impact Factor Negotiations?. Björn Brembs, 2016

Ver original

 

Durante la última década o dos, ha habido múltiples informes sobre sospechas de cómo determinados editores negociaban los factores de impacto de sus publicaciones con el “Instituto de Información Científica” (ISI), tanto antes como después de que Thomson Reuters lo comprara. Esto es se hace  a través de  negociar que cantidad de artículos son citables en el denominador para de ese modo incrementar el factor de impacto de la revista.

Los primeros en señalar que esto puede estar sucediendo en al menos cientos de revistas fueron Moed y van Leeuven ya en 1995 (y con más datos nuevamente en 1996 ). Uno de lamos primeros en mostrar cómo una sola revista logró esta hazaña fue Baylis et al.. en 1999 con su ejemplo de la revista FASEB logrando convencer al ISI de que elimine sus resúmenes de conferencia del denominador, lo que llevó a un salto en su factor de impacto de 0.24 en 1988 al 18.3 en 1989. Otro caso bien documentado es el de Current Biology cuyo el factor de impacto aumentó en un 40% después de la adquisición por parte de Elsevier en 2001. El primer caso hasta ahora revelado abiertamente sobre tales negociaciones fue el editorial de PLoS Medicinesobre sobre sus negociaciones con Thomson Reuters en 2006, donde el rango de negociación abarcó 2-11 (se conformaron con 8.4). Obviamente, tal evidencia directa de negociaciones es extremadamente rara y, por lo general, los editores se apresuran a señalar que nunca estarían ‘negociando’ con Thomson Reuters, simplemente les pedirían que ‘corrijan’ o ‘ajusten’ los factores de impacto de sus revistas para hacerlos más precisos. Dado que Moed y van Leeuwen ya descubrieron que la mayoría de esas correcciones parecían aumentar el factor de impacto, parece que estas correcciones solo tienen lugar si un editor considera que su FI es demasiado bajo y solo muy raramente si el FI puede parecer demasiado alto (y quién los culparía?) Además de los datos antiguos de Moed y van Leeuwen, tenemos muy pocos datos sobre cuán extendida está realmente esta práctica.

Un análisis recientede 22 revistas de biología celular ahora proporciona datos adicionales en línea con la sospecha inicial de Moed y van Leeuwen de que los editores pueden aprovechar la posibilidad de tales ‘correcciones’ de manera bastante generalizada. Si ocurrió algún error al azar y se corrigió de manera imparcial, entonces un análisis independiente de los datos de citas disponibles debería mostrar que dichos factores de impacto calculados independientemente se correlacionan con el factor de impacto publicado con errores positivos y negativos. Sin embargo, si las correcciones solo ocurren en la dirección que aumenta el factor de impacto de la revista corregida, entonces los factores de impacto publicados deberían ser más altos que los calculados independientemente. La razón de tal sesgo se debe encontrar en la falta del total de números de artículos en el denominador del factor de impacto publicado. Sin embargo, estos artículos “faltantes” se pueden encontrar, ya que se han publicado, simplemente no se cuentan en el denominador. Curiosamente, esto es exactamente lo que Steve Royle encontró en su análisis.

 

if_negotiations-1024x463-1

 

A la izquierda, se ve que cualquier desviación de la correlación perfecta siempre es hacia el factor de impacto mayor y a la derecha se puede apreciar que algunas revistas muestran una gran cantidad de artículos que no se contabilizan para así incrementar el factor de impacto.

Claramente, nada de esto equivale a evidencia inequívoca de que los editores están aumentando sus ‘temas principales’  tanto para citar sus propios artículos, como para recibir citas del exterior, solo para luego decirle a Thomson Reuters que corrija sus registros. Nada de esto es prueba de que los editores negocian habitualmente con el ISI para inflar sus factores de impacto, y mucho menos que los editores intentan habitualmente hacer que la clasificación de sus artículos sea citable o no intencionalmente difícil. Existen numerosas explicaciones alternativas. Sin embargo, personalmente, encuentro que los dos documentos antiguos de Moed y Van Leeuwen y este nuevo análisis, junto con el tema comúnmente reconocido de clasificación de documentos por el ISI, son lo suficientemente sugerentes, pero probablemente soy parcial.

 

Clarivate suprime 33 revistas de los grandes editores científicos por exceso de autocitas a sí mismas

 

clarivate-logo

 

ClarivateMajor indexing service sounds alarm on self-citations by nearly 50 journals. Retraction Watch,

Texto completo

 

Más de 33 revistas  han sido suprimidas de Journal impact factor, ya que más del 70% de las citas en una revista se hicieron a otros artículos de esa misma revista. Otra publicó un solo artículo que citaba casi otros 200 artículos en la revista.

 

 

Clarivate, la compañía que gestiona el Factor de Impacto, está tomando medidas para combatir ese comportamiento, suprimiendo 33 revistas de su servicio de indexación y sometiendo a 15 más a observacion, todas por una aparente excesiva auto-citación que impulsó a estas revistas en el ranking de las revistas.

La lista incluye algunas de las grandes compañías del mundo de la edición científica: nueve eran revistas publicadas por Elsevier, siete por Springer Nature, seis por Taylor & Francis y cinco por Wiley.

Dada la dependencia de muchas universidades en los rankings de revistas para juzgar el trabajo de sus investigadores como parte de las decisiones de tenencia y promoción, la supresión de una revista de Clarivate significa negarle un Factor de Impacto, que puede tener efectos a largo plazo. Los factores de impacto se basan en citas promedio de artículos en una revista durante un período de tiempo concreto. Muchos organizaciones,  incluidos Retraction Wacht, han argumentado que el Impact Factor no es la mejor manera de juzgar la investigación, por razones que incluyen la relativa facilidad de manipular tales métricas.

Web of Science de Clarivate indexa 21.000 revistas, pero solo 12.000 están incluidas en el Journal Citation Report (JCR) anual y reciben Factores de Impacto. Actualmente hay dos razones para la supresión de la JCR:

La auticitación de la revista y el “apilamiento de citas”, comportamiento que a veces se conoce como participar en “colegios invisibles de citas” o “anillos de citas“. Ninguna de las supresiones de este año fueron por el apilamiento de citas. Cuando la empresa retira una revista del JCR, continúa contando sus citas, pero no le asigna un Factor de Impacto.

La compañía ha cambiado la forma en que considera la autocita y revisó su metodología, dijo la editora en jefe de Web of Science, Nandita Quaderi, en respuesta las pautas que se han observado en los últimos años.

Este año, Clarivate también sometió a 15 revistas a exámenes editoriales de preocupación. Tales revistas tenían un pequeño número de artículos con niveles muy altos de citas a artículos en la misma revista que pueden tener un efecto significativo en el Factor de Impacto y en el ránking. Quaderi dijo que juzgar solo los niveles generales de autocitación de las revistas pasaría por alto tales patrones, porque no tomaría en cuenta directamente cómo estas citas se “concentran” en artículos o períodos de tiempo particulares.

Nada cambia para las revistas JCR sujetas a tales indicadores, pero se monitorean de cerca para su reevaluación y pueden perder sus Factores de Impacto en los años siguientes o ser eliminados de la indexación por completo.

Este movimiento marca solo la segunda vez que Clarivate ha emitido análisis de revisión. En 2018, lo hicieron con cinco revistas en el campo óseo, cuatro de las cuales fueron suprimidas al año siguiente. Las cinco actualmente están de nuevo reintegradas en JCR.

Al menos el 25% de las referencias en todas las revistas suprimidas eran autocitas, con el 71% de las citas en una revista. Un artículo en el Journal of Allergy and Clinical Immunology-In Practice citó otros artículos en la misma revista 191 veces.

Cinco de las revistas suprimidas o marcadas eran en cardiología, incluyendo JACC: Cardiovascular Imaging, que tiene un Factor de Impacto por encima de 10, clasificándo la revista entre las 10 mejores revistas en el campo. Otras tres revistas de cardiología de las que Clarivate ha expresado su preocupación tienen factores de impacto superiores a 5.

Jugando las métricas Mala conducta y manipulación en la investigación académica

 

3fcollid3dbooks_covers_026isbn3d978026253793326type3d

 

Mario Biagioli and Alexandra Lippman. Gaming the Metrics Misconduct and Manipulation in Academic Research. MIT, 2020

Texto completo

 

Cómo la creciente dependencia de las métricas para evaluar las publicaciones académicas ha producido nuevas formas de fraude académico y mala conducta.

El imperativo académico tradicional de “publicar o perecer” está cada vez más unido a la nueva necesidad de “impactar o perecer”: el requisito de que una publicación tenga “impacto”, medido por una variedad de métricas, incluidas citas, vistas y descargas.

Gaming the Metrics examina cómo la creciente dependencia de las métricas para evaluar publicaciones académicas ha producido formas radicalmente nuevas de fraude académico y mala conducta. Los contribuyentes muestran que la “cultura de auditoría” basada en métricas ha cambiado el entorno de la investigación, fomentando el juego y la manipulación de indicadores cuantitativos, lo que condujo a la invención de formas novedosas de mala conducta, como los anillos de citas y las revisiones de pares manipuladas. Los capítulos, escritos por académicos y oteas partes interesadas en la publicación académica, proporcionan un mapa de fraude académico y mala conducta en la actualidad.

El atractivo del factor de impacto de la revista se mantiene intacto, a pesar de sus defectos

 

1f3da530c88bb69a792d947db7bdb391

 

Jon Brock. The allure of the journal impact factor holds firm, despite its flaws. Nature Index. 29 August 2019

Ver compelto

 

Muchos investigadores todavía ven el factor de impacto de la revista (JIF, por sus siglas en inglés) como una medida clave para el progreso en su carrera académica, a pesar de la preocupación de que se trata de una medida errónea del valor de la investigación.

 

El factor de impacto de una revista indexa el número promedio de citas que reciben los artículos recientemente publicados. Como han señalado los críticos, a menudo se basa en un pequeño número de artículos muy citados, es vulnerable a los avatares de la política editorial y no se calcula de forma transparente. No obstante, sigue siendo parte integrante del proceso de revisión, promoción y permanencia en el cargo (RPT) en muchas instituciones académicas.

Una estudio reciente publicado en BioArxiv dirigido por Meredith Niles, profesora asistente del Departamento de Nutrición y Ciencias de los Alimentos de la Universidad de Vermont encuestó a 338 investigadores de 55 universidades de Estados Unidos y Canadá, poniendo de manifiesto que más de un tercio (36%) considera que el facto de impacto es “muy importante”, y un 27% dijo que era “muy importante” a la hora de decidir dónde enviar artículos.

Se encontró que la edad o condición del encuestado no tenía ninguna relación con como percibían el valor del Factor de Impacto de la revista. Si bien, los investigadores jóvenes y no titulares, para quienes consolidar su carrera académica es más importante, le dan más importancia al JIF a la hora de decidir dónde publicar.

Los encuestados también indicaron que creían que sus colegas le daban más importancia al Factor de Impacto que ellos. Niles describe esto como una forma de “superioridad ilusoria”, en la que la gente tiende a verse a sí misma bajo una luz más favorable que a los demás.

Estos resultado indica la necesidad de “conversaciones honestas” sobre lo que realmente importa a la hora de comunicar la investigación académica,

La encuesta es el resultado de un estudio del mismo proyecto, publicado en eLife el mes pasado, que analizó 864 documentos sobre promoción y permanencia en el cargo de 129 universidades norteamericanas. En total, 30 de las instituciones (23%) se refirieron a factores de impacto o frases relacionadas como “revista de alto impacto” en al menos uno de sus documentos. Esta cifra se elevó al 40% para las instituciones más intensivas en investigación.

De las 30 universidades que mencionaron el factor de impacto, la mayoría (87%) apoyaron su uso. Sólo cuatro (13%) expresaron cautela contra su uso., la continua deferencia al factor de impacto da una idea de cómo los científicos pueden ser altamente críticos en su propio campo temático, pero “crédulos y resistentes a la evidencia” al evaluar su productividad.

 

¿Publicar o Perecer? Decisiones de publicación del profesorado y el proceso de acreditación académica

 

publishorperish-01

Publish or perish? Faculty publishing decisions and the RPT process. By Meredith T. Niles, Lesley Schimanski, Erin McKiernan, and Juan Pablo Alperin – with Alice Fleerackers. En Scholarly Communications Lab JULY 30, 2019

Ver original

A medida que los puestos de profesor titular se vuelven cada vez más competitivos, la presión para publicar -especialmente en revistas de “alto impacto”- nunca ha sido mayor. Como resultado, muchos de los académicos de hoy en día creen que es necesario contar con un sólido historial de publicaciones para el proceso acreditación académica. Para algunos, publicar se ha convertido en sinónimo de éxito profesional.

Sin embargo, se sabe poco acerca de las percepciones de los académicos sobre el proceso de acreditación y cómo influyen en sus decisiones editoriales. ¿Qué resultados de investigación creen los profesores que se valoran en las decisiones de acreditacion? ¿Cómo afectan estas creencias dónde y qué publican?

Para averiguarlo, los autores llevaron a cabo una encuesta a los profesores de 55 instituciones académicas de Estados Unidos y Canadá, preguntándoles sobre sus propias prioridades de publicación y las de sus colegas, así como la importancia de sus percepciones en la revisión, promoción y permanencia en el cargo (acreditación).

 

¿Dónde publicar?

Cuando se trata de decidir dónde publicar su trabajo, los investigadores informaron que valoraban a la audiencia de la revista por encima de los demás factores. Los tres factores principales que identificaron fueron:

  1. Si la revista era leída por el público al que querían llegar
  2. El prestigio general de la revista
  3. Si la revista era leída regularmente por sus colegas

Por supuesto, otros factores, como el factor de impacto de la revista (JIF) o las tarifas asociadas a la publicación, seguían siendo importantes para muchos profesores, pero en menor medida que los lectores.

figure-1

Se vieron algunas diferencias demográficas significativas entre los profesores en sus prioridades de publicación. Por ejemplo, los encuestados no titulares -que están bajo mayor presión para desempeñarse que los profesores titulares- conceden mayor importancia al Factor de Impacto (JIF). Los profesores más jóvenes también fueron más dados a priorizar factores como la frecuencia de las citas de las revistas y el prestigio de las mismas, en comparación con los colegas establecidos.

Sin embargo, a la hora de evaluar las prioridades editoriales de los demás, el profesorado respondió de forma muy diferente. Creían que sus colegas tienden más a valorar factores como el prestigio de la revista y el Factor de Impacto a la hora de decidir dónde publicar su trabajo. También creen que sus colegas tienen menos probabilidades de tomar decisiones basadas en el número de lectores de la revista o que esté en acceso abierto.

figure-2

 

¿Qué consideran que es lo más importante en el proceso de acreditación?

Los investigadores identificaron los siguientes tres factores como los más importantes para las decisiones de acreditación:

  1. Número total de publicaciones
  2. Número de publicaciones por año
  3. Reconocimiento de nombres de revistas

Encontrando una notable disociación entre sus propias prioridades editoriales y lo que consideraban que beneficiaría a sus carreras.

figure-3

Una vez más, hubo importantes diferencias demográficas entre el profesorado, ya que los encuestados de mayor edad y con permanencia en el cargo -los más propensos a formar parte de los comités de acreditación científica – son menos dados a valorar el prestigio de las revistas y los indicadores de publicación, en comparación con los encuestados no titulares.

Finalmente, se estudio cómo las percepciones de los académicos sobre el proceso de acreditación científica afectaban sus propias prioridades de publicación a través de una serie de modelos. En resumen, se encontró que estas percepciones de lo que es valorado por el proceso de acreditación son más dadas a predecir las decisiones de publicación que la edad, el género o la historia de la publicación.

Conclusión

En conjunto, estos resultados ofrecen un panorama complejo de las presiones que enfrentan los profesores a la hora de decidir dónde publicar sus trabajos. Por un lado, la mayoría de los académicos valoran el número de lectores de una revista por encima de sus métricas de citación. Sin embargo, este valor está en desacuerdo con los factores que creen que les ayudarán a tener éxito en el proceso de acreditación -la cantidad de publicaciones y la reputación de la revista-, aunque el profesorado titular y los que a menudo forman parte de los comités de acreditación no valoran estos factores como algo muy importante. A esto se suman los desajustes entre las propias prioridades editoriales del profesorado y la forma en que perciben las de sus colegas. Tales desacuerdos ponen de relieve caminos claros para la discusión en el ámbito académico sobre lo que las comunidades valoran más.

 

 

Uso del Factor de Impacto de la Revista en la acreditación académica, promoción y evaluaciones

tyler-large

 

McKiernan EC, Schimanski LA, Muñoz Nieves C, Matthias L, Niles MT, Alperin JP.2019Use of the Journal Impact Factor in academic review, promotion, and tenure evaluations. PeerJ Preprints 7:e27638v2 https://doi.org/10.7287/peerj.preprints.27638v2

Supplemental information: Mentions of the Journal Impact Factor in review, promotion, and tenure documents. DOI: 10.7287/peerj.preprints.27638v2/supp-1

El Journal Impact Factor (JIF) fue diseñado originalmente para ayudar a las bibliotecas a decidir qué revistas indexar y comprar para sus colecciones. Sin embargo, en las últimas décadas, se ha convertido en una medida utilizada para evaluar los artículos de investigación en función del rango de la revista. Los investigadores a menudo informan que se sienten presión para publicar en revistas con alto Factor de Impacto y mencionan la confianza en el JIF como un problema con los actuales sistemas de evaluación académica. Aunque los informes de los investigadores son útiles, falta información sobre la frecuencia y la forma en que se utiliza actualmente el JIF para la acreditación, promoción y permanencia en el cargo (RPT).

En esta investigación se recopilaron y analizaron documentos de acreditación para la revisión, promoción y permanencia en el cargo (RPT). de una muestra representativa de 129 universidades de Estados Unidos y Canadá y de 381 de sus unidades académicas. Se encontró que el 40% de las instituciones de doctorado, de investigación intensiva (tipo R) y el 18% de las instituciones de maestría, o integrales (tipo M) mencionaron explícitamente el JIF, o términos estrechamente relacionados, en sus documentos RPT. Las instituciones de pregrado o de bachillerato (tipo B) no lo mencionaron en absoluto.

Una lectura detallada de estos documentos sugiere que las instituciones también pueden estar utilizando una variedad de términos para referirse indirectamente al JIF. El análisis cualitativo muestra que el 87% de las instituciones que mencionaron el JIF apoyaron el uso de la métrica en al menos uno de sus documentos de acreditación, mientras que el 13% de las instituciones expresaron cautela sobre el uso del JIF en las evaluaciones. Ninguno de los documentos de acreditación RPT que se analizaron criticó duramente al JIF ni lo prohibió su uso en las evaluaciones. De las instituciones que mencionaron el JIF, el 63% lo asociaron con calidad, el 40% con impacto o importancia, y el 20% con prestigio, reputación o estatus. En resumen, los resultados muestran que el uso del JIF se fomenta en las evaluaciones de acreditación académica, especialmente en las universidades en las que se hace investigación intensiva, e indican que hay mucho trabajo por hacer para mejorar los procesos de evaluación para evitar el potencial mal uso de métricas como el JIF.

 

Journal Citation Reports (JCR), Incluye las citas de libros y las distribuciones de citas diarias

 

jcr-citation-distribution

Figure 1. Journal Citation Report example journal distribution. Source: Clarivate press release, 26 June 2018.

 

2017 Journal Impact Factors Feature Citation Distributions. Scholary Kitchen
By PHIL DAVISJUN 27, 2018

Ver original

Cada año Clarivate Analytics publica los datos de Journal Citation Reports (JCR), un compendio anual de métricas de citas a nivel de revista. Pero este año incluye algunas novedades.

En primer lugar, el 2018 JCR ahora incluirá citas de Clarivate Citation Index Book. Esta adición incrementará los puntajes del JIF del año pasado en aproximadamente 1%, de promedio, para los títulos de ciencia e ingeniería y un 2% para las revistas de ciencias sociales y humanidades. En 2016, Clarivate agregó, sin anuncio público , citas de su Emerging Sources Citation Index , que tuvo un efecto global de aumentar los JIF en un 5% y un 13%, respectivamente.

En segundo lugar, y lo que es más importante, el JCR ahora publicará las distribuciones de citas diarias.

Las distribuciones de diarios de Clarivate abordan y mejoran varias deficiencias de la propuesta original al:

  • Normalización de los histogramas. Esto evitará que los editores modifiquen sus ejes para presentar favorablemente sus publicaciones y ayudará a facilitar las comparaciones entre revistas.
    Estandarizar los datos incluidos en cada histograma. Esto evitará que editores y editores seleccionen los documentos que desean perfilar.
  • Proporcionar estadísticas descriptivas (rendimiento medio del papel) basadas en el tipo de artículo (artículo frente a revisión), como se propuso en la recomendación n.º 14 de la Declaración de San Francisco sobre evaluación de la investigación (DORA).
  • Incluye una divulgación de citas desvinculadas, es decir, citas que cuentan para el puntaje de una revista pero que no incluyen información suficiente para identificar inequívocamente un artículo específico.

 

En resumen, la edición de 2018 del JCR muestra un intento sincero de abordar constructivamente las demandas de la comunidad investigadora. Sin embargo, la implementación deficiente de su panel de rendimiento del diario puede evitar que se usen estas mejoras y puede alentar activamente el uso indebido y el abuso por parte de editores predadores.

20 revistas eliminadas de JCR por altos niveles de autocitación y por concentración de citas entre revistas

Police officer writing ticket

Impact Factor Denied to 20 Journals For Self-Citation, Stacking. The Scholarly Kitchen by Phil Davies, jun 27, 2018.

Ver

 

Desde el punto de vista de la economía, la autocitación es el método más fácil para aumentar las citas. Todo autor lo sabe y cita sus propios artículos, por muy periféricos que sean sus relaciones con el tema en cuestión. Los editores lo saben también, y algunos han sido atrapados obligando a los autores a citar artículos publicados anteriormente en la revista. Este comportamiento tiene un precio a pagar, especialmente cuando se hace en exceso. Journal Citation Reports (JCR), rutinariamente coloca a las revistas en “tiempo de espera” cuando sus tasas de autocitación son excesivamente altas.

Este año, Clarivate Analytics, los editores del Journal Citation Reports (JCR), suprimieron 20 revistas,14 por los altos niveles de autocitación y seis para el apilamiento de citas, un patrón conocido informalmente como un ” cártel de citas“. Además, apercibió a cinco revistas a las que calificó como Editorial Expression Concern después de conocer las anomalías de citas después de la finalización del informe de 2018. La supresión del JCR dura un año.

Los títulos se suprimen cuando la autocitación o el alto agrupamiento de citas distorsionan el Factor de Impacto de la Revista (JIF, por sus siglas en inglés) y el rango de una revista de tal manera que no refleja de manera justa el valor de las citas de la revista en la literatura profesional. Esto puede ocurrir a través de la autocitación, particularmente cuando hay una concentración de citas de artículos publicados en los dos años anteriores, o cuando hay un alto nivel de citas dirigidas por el JIF entre dos o más revistas. El primer cártel de citas se identificó en 2012, con la participación de cuatro revistas biomédicas. Se han identificado otros cárteles en ciencias del suelo, bioinformática y negocios. El JCR publica anualmente listas de títulos suprimidos con datos y descripciones clave.

El JCR tiene un documento público que explica las pautas que utiliza para evaluar las revistas para la supresión. Los títulos previamente suprimidos fueron aquello con niveles de umbral extremadamente altos, tan altos, que una revista incrementó su Factor de Impacto en casi 5 veces y se posicionó en el primer lugar entre su categoría temática.

 

 

 

Relación entre las altermetrías y las medidas tradicionales de medición científica

altmetrics2
MaggioLauren A ; Leroux,  Todd ; MeyerHolly S ; Anthony R Artino. “Exploring the relationship between altmetrics and traditional measures of dissemination in Health professions education“. BioArxiv, 2018. doi: https://doi.org/10.1101/260059

 

Los investigadores, financiadores e instituciones están interesados en comprender y cuantificar la difusión y el impacto de la investigación, especialmente en lo que se refiere a la comunicación con el público. Tradicionalmente, las citaciones han sido una medida de impacto primario; sin embargo, las citaciones requieren de un lento proceso para acumularse y enfocarse en el uso académico.

Recientemente se ha sugerido la utilización medidas altmétricas, que registran formas alternativas de difusión (por ejemplo, los medios sociales) como complemento de las métricas basadas en citaciones. Este estudio examina la relación entre la altermetria y las medidas tradicionales: citas de artículos de revistas y recuento de accesos. Los investigadores recopilaron en Web of Science y Altmetric.com  artículos publicados en revistas de HPE entre 2013-2015. Identificaron 2.486 artículos.

Los datos se analizaron mediante modelos binomiales y de regresión lineal negativa. En este recuento, los blogs se asociaron con el mayor aumento de citas (13% de incremento), mientras que los Tweets (1,2%) y Mendeley (1%) se asociaron con aumentos menores. El factor de impacto en revistas (JIF) se asoció con un aumento del 21% en las citas. Los artículos libremente accesibles al público se asociaron con una disminución del 19%, pero el efecto interactivo entre los artículos accesibles y el Factor de impacto se asoció con un aumento del 12%. Al examinar las cuentas de acceso, los artículos libremente accesibles al público tuvieron un aumento de 170, mientras que los blogs se asociaron con una disminución de 87 accesos.

Este estudio sugiere que varios puntos de las métricas alternativas están positivamente asociados con las citas, y que la accesibilidad pública, manteniendo constantes todas las demás variables independientes, está positivamente relacionada con el acceso al artículo. Dado el enfoque evolutivo de la comunidad científica en la difusión-incluyendo al público-los hallazgos tienen implicaciones para las partes interesadas, proporcionando una visión de los factores que pueden mejorar las citas y el acceso a los artículos.