Archivo de la etiqueta: Factor de impacto

Clarivate introduce un nuevo indicador de impacto como alternativa al Factor de Impacto, que tiene en cuenta las citas promedio durante 3 años

Journal impact factor gets a sibling that adjusts for scientific field By Cathleen O’GradyJun. Nature, 30, 2021

Texto completo

Los investigadores frecuentemente aluden al factor de impacto de las revistas de Clarivate Analytics, diciendo que la métrica, que informa el promedio de citas por artículo, tiene fallas metodológicas que respaldan comparaciones engañosas de revistas e investigadores. Hoy, la compañía dio a conocer una métrica alternativa que mejora algunos de estos defectos al permitir comparaciones más precisas entre revistas en diferentes disciplinas.

El anuncio se produce como parte del lanzamiento de la compañía en 2021 de su base de datos Journal Citation Reports que Incluye los últimos factores de impacto de revistas y otros análisis de revistas. Entre estos se encuentra el nuevo indicador JCI, que promedia las citas recopiladas por una revista durante 3 años de publicación, en comparación con los solo 2 años del factor de impacto. Es más, Clarivate dice que la JCI recoge revistas no cubiertas por el factor de impacto, incluidas algunas de Artes y Humanidades, así como revistas regionales o de campos científicos “emergentes”. 

JCI es “un paso adelante” y “más vale tarde que nunca”, dice Henk Moed, bibliométra y editor en jefe de la revista Scholarly Assessment Reports. Su principal avance, explica, no es nuevo en absoluto: durante décadas, los investigadores en bibliometría han estado desarrollando métodos para comparar el impacto de las citas entre disciplinas. Por ejemplo, los artículos de matemáticas citan generalmente solo un puñado de fuentes, los artículos de bioquímica suelen tener listas de citas con docenas o incluso cientos de entradas. Entonces, “no es un signo de calidad que los artículos de bioquímica se citen más”, dice Moed. Los factores de impacto, que simplemente suman las citas sin tener en cuenta la norma en un campo, pasan por alto este hecho.

Por esa razón, en 2010, Moed desarrolló la metodología para una métrica diferente, -Source Normalized Impact by Paper (SNIP)- que fue adoptada por el gran competidor de Clarivate, el gigante editorial Elsevier, en su índice de citas Scopus.

JCI de Clarivate, que utiliza una metodología diferente, proporciona una métrica similar a SNIP para las revistas en su base de datos Journal Citation Reports. Eso fortalecerá la posición de Clarivate en el mercado, dice Moed.

Pero el anuncio de Clarivate deja mucho que desear, incluida la transparencia, dice Marianne Gauffriau, bibliotecaria de investigación de la Biblioteca de la Universidad de Copenhague. El informe técnico de la compañía que describe la nueva métrica no cita ninguna de la literatura sustancial publicada por bibliometras a lo largo de los años.

También existe el riesgo de que, al igual que el factor de impacto, el JCI se utilice de forma inapropiada, dice Gauffriau. Con frecuencia, los evaluadores de premios y otras decisiones utilizan esas métricas para juzgar la producción académica de investigadores, instituciones y publicaciones individuales, una práctica que a menudo es criticada por los bibliometras como una forma defectuosa de juzgar la calidad.

Clarivate ha tratado de evitar el uso indebido de JCI desde el principio, dice Martin Szomszor, director del Instituto de Información Científica de la compañía. Ha dejado claro al describir el JCI que no está diseñado para evaluar investigadores individuales.

Es poco probable que JCI sustituya al factor de impacto de las revistas a corto plazo, dice Szomszor. Clarivate esperará para ver su aceptación, dándole la oportunidad de desarrollarse como una opción paralela.

La Universidad de Utrecht dejará de tener en cuenta el factor de impacto para medir la calidad de sus investigadores

Woolston, Chris. Impact factor abandoned by Dutch university in hiring and promotion decisions. Nature, 25 June 2021

Ver completo

Los investigadores y el personal de la Universidad de Utrecht serán evaluados por su compromiso con la ciencia abierta y el trabajo en equipo.

Una universidad holandesa de Utrecht dice que está dejando formalmente de tener en cuenta el factor de impacto, una medida estándar del éxito científico, en todas las decisiones de contratación y promoción. Para principios de 2022, todos los departamentos de la Universidad de Utrecht en los Países Bajos juzgarán a sus académicos según otros estándares, incluido su compromiso con el trabajo en equipo y sus esfuerzos para promover la ciencia abierta, dice Paul Boselie, investigador de gobernanza y líder del proyecto para el nuevo programa de acreditación Recognition and rewards. “Los factores de impacto no reflejan realmente la calidad de un investigador o académico individual”, dice. “Creemos firmemente que algo tiene que cambiar y abandonar el factor de impacto es uno de esos cambios”.

El factor de impacto de un científico es una puntuación que tiene en cuenta el número de publicaciones y la tasa de citas de las revistas donde se publican esos artículos. En este sistema, los artículos de revistas muy citadas como ScienceNature o Cell cuentan más que los artículos de revistas cuyo contenido se cita con menos frecuencia. Boselie dice que los factores de impacto, así como una medida relacionada llamada índice h, contribuyen a una “producción” de la ciencia que valora la producción pura sobre la buena investigación. “Se ha convertido en un modelo muy dañino que va más allá de lo que es realmente relevante para la ciencia y de promover la ciencia”, dice.

El nuevo esquema es parte del programa Open Science de Utrecht, un esfuerzo de múltiples vías para hacer que la investigación sea más transparente y cooperativa. Los gestores de los programas de ciencia abierta integrados en cada departamento evaluarán el progreso hacia la publicación de acceso abierto, la participación pública y el intercambio de datos.

La decisión de renovar la contratación y la promoción se ha inspirado en parte en la Declaración sobre Evaluación de la Investigación (DORA), un documento creado en 2012 en la reunión anual de la Sociedad Estadounidense de Biología Celular.

La declaración tiene como objetivo “mejorar las formas en que se evalúan los investigadores y los resultados de la investigación académica” y pide específicamente eliminar los factores de impacto como una forma de juzgar el mérito de los académicos. Hasta el momento, ha sido firmado por casi 20.000 personas e instituciones. La Universidad de Utrecht firmó el documento en 2019.

Entre los investigadores académicos, la insatisfacción con el uso y mal uso del factor de impacto en las evaluaciones y decisiones de permanencia, promoción y contratación ha aumentado en los últimos años. Un informe de 2018 calificó el factor de impacto como “una medida inadecuada para evaluar el impacto de los científicos” y concluyó que si no se modifica el sistema de evaluación actual es probable que se produzca un “comportamiento continuo que no siempre ha concluido en un comportamiento social positivo”.

Todas las universidades de los Países Bajos, incluida Utrecht, se han adherido a Room for Everyone’s Talent’, un documento de posicionamiento de 2019 dirigido por VSNU, la asociación de empleados de las universidades holandesas. Ese documento pide un sistema de reconocimiento y recompensas que “permita la diversificación y vitalización de las trayectorias profesionales”.

Aún así, eliminar las métricas estándar podría ser un movimiento arriesgado para la universidad y sus profesores y miembros del personal. Mientras otras universidades sigan dependiendo de los factores de impacto y otras métricas de productividad para la contratación y la promoción, los investigadores que surgen a través del sistema de Utrecht podrían estar en desventaja competitiva.

Proceso de evaluación y criterios de selección de la revista Web of Science

Web of Science Core Collection journal evaluation criteria

PDF Inglés

Ver completo

Según Clarivate los principios básicos del proceso de selección siguen siendo los mismos: objetividad, selectividad y dinámica de cobranza. Se usa un conjunto de 28 criterios para evaluar revistas; estos se dividen en 24 criterios de calidad diseñados para seleccionar el rigor editorial y las mejores prácticas a nivel de revista, y cuatro criterios de impacto diseñados para seleccionar las revistas más influyentes en sus respectivos campos utilizando la actividad de citas como el principal indicador de impacto.

Las revistas que cumplen con los criterios de calidad ingresan al Emerging Sources Citation Index ™ (ESCI). Las revistas que cumplen con los criterios de impacto adicionales ingresan al Science Citation Index Expanded ™ (SCIE), Social Sciences Citation Index ™ (SSCI) o Arts & Humanities Citation Index (AHCI) según su área temática.

En este proceso, las revistas se reevalúan primero para determinar su calidad y la evaluación de impacto está sujeta a que se cumpla con la calidad. Si se cumplen los criterios de calidad e impacto, las revistas se trasladan a una colección emblemática. El equipo editorial de Web of Science se centra en las nuevas evaluaciones durante la primera mitad del año, la segunda mitad está dedicada a las reevaluaciones. Las revistas cubiertas se evalúan continuamente para determinar su calidad.

Cuando se completa la evaluación, se informará al editor del resultado y la revista:

  • ser eliminado de la cobertura si ya no cumple con los criterios de calidad
  • o permanecer si continúa cumpliendo con los criterios de calidad.

Si la revista cumple con los criterios de calidad, se indexará cualquier contenido que falte. Si la revista se elimina de la cobertura, el contenido no se completará. En los casos más graves de incumplimiento de los estándares editoriales de la revista, según lo determinen nuestros criterios de selección, el contenido publicado puede eliminarse de Web of Science ™. Los plazos para completar una reevaluación dependerán de las circunstancias particulares de cada caso.

Triaje inicial

El propósito principal de este paso de clasificación es garantizar una identificación inequívoca de la revista enviada para evaluación y saber a quién contactar si tenemos alguna duda o inquietud. No hay un período de embargo para volver a enviarlo si una revista no pasa la clasificación inicial.

  • Contiene ISSN,
  • Título, editor,
  • URL,
  • Acceso al contenido,
  • Presencia de la política de revisión por pares,
  • Detalles de contacto.

Triaje editorial

En este paso, los editores de Web of Science revisan la revista para determinar si se merece una evaluación editorial completa. No existe un período de embargo para reenvío si una revista no pasa la clasificación editorial. Exigencias:

  • Contenido académico
  • Títulos de artículos y resúmenes de artículos en inglés
  • Información bibliográfica en escritura romana
  • Claridad del lenguaje,
  • Puntualidad y / o volumen de publicación
  • Funcionalidad del sitio web / formato de revista
  • Presencia en declaraciones éticas
  • Detalles de afiliación editorial
  • Detalles de afiliación del autor

Evaluación editorial (calidad)

En este paso, los editores de Web of Science están verificando la alineación entre el título de la revista, el alcance declarado, la composición de su comité editorial y autoría, y su contenido publicado. También buscan pruebas de rigor editorial y adherencia a los estándares de la comunidad. Si una revista no pasa este paso, el reenvío está sujeto a un período de embargo de al menos dos años.

  • Composición de la Junta Editorial
  • Validez de las declaraciones
  • Revisión por pares
  • Relevancia del contenido
  • Detalles de la subvención
  • Adherencia a los estándares comunitarios
  • Distribución de autor
  • Citas apropiadas a la literatura

Evaluación editorial (impacto)

Los criterios en este paso están diseñados para seleccionar las revistas más influyentes en un campo de investigación determinado, utilizando la actividad de citas como un indicador principal de impacto. Si una revista no pasa este paso, la reevaluación está sujeta a un período de embargo de al menos dos años.

  • Análisis comparativo de citas
  • Análisis de citas del autor
  • Análisis de citas de la junta editorial
  • Importancia del contenido

Indicadores de impacto normalizado: origen, cálculo, limitaciones y aplicaciones a la política científica.

Indicadores de impacto normalizado: origen, cálculo, limitaciones y aplicaciones a la política científica. UNIR. Con Daniel Torres-Salinas

Los indicadores de Impacto Normalizado son adecuados para monitorizar, contextualizar y comparar el impacto de nuestro currículum y artículos científicos. También para analizar la trayectoria de un grupo de investigación… Se pueden utilizar como indicio de calidad en las solicitudes de ANECA, CNEAI, Ramón y Cajal, en la defensa de plazas de profesorado, etc. Estos indicadores se han popularizado ampliamente en España por las convocatorias Apoyo y acreditación de Centros de Excelencia Severo Ochoa y Unidades de Excelencia María de Maeztu. Desde el punto de vista bibliométrico uno de los criterios de evaluación más llamativos es la necesidad de que los investigadores garantes tengan un Impacto Normalizado de, como mínimo, 1,5. En este Seminario, Daniel-Torres Salinas, director de la Unidad de evaluación científica de la Universidad de Granada, analiza críticamente el origen de los indicadores de impacto normalizado de citación, como por ejemplo Crown Indicator, Category Normalized Citation Impact (Incites) o Field Weighted Citation Impact (SciVal). Y muestra cómo se calculan sus diferentes versiones, así como sus ventajas y limitaciones.

Los cambios en la fecha de publicación afectarán al factor de impacto de la revista en Web of Knowledge

Changing Journal Impact Factor Rules Creates Unfair Playing Field For Some By PHIL DAVIS. Scholarly Kitchen FEB 1, 2021

Ver completo

La transición a un modelo que tiene cuenta la publicación en función de la fecha de publicación en línea, en lugar de la publicación impresa, aumentará la siguiente ronda de puntajes de Journal Impact Factor (JIF).

El cambio a un modelo de recuento basado en la fecha de publicación electrónica se esperaba desde hace mucho tiempo. Sin embargo, el nuevo modelo puede dar lugar a cambios inesperados en los puntajes del JIF y en la clasificación de las revistas porque Clarivate carece de datos de publicación en línea para aproximadamente la mitad de las revistas que indexa.

Esto no es un problema cuando un artículo se publicó electrónicamente, digamos, en marzo de 2020, pero se asignó a la edición de agosto de 2020 de la revista. Sin embargo, plantea un problema cuando el documento se publicó electrónicamente en un año (por ejemplo, el 16 de noviembre de 2019) pero se asignó a otro año (por ejemplo, enero de 2020). El modelo anterior la considera una publicación de 2020, mientras que el nuevo modelo la considera una publicación de 2019. Las revistas que emplean un modelo de publicación continua en línea sin designación de número no se ven afectadas.

Los autores del informe , Marie McVeigh, Jefa de Integridad Editorial, y la Dra. Nandita Quaderi, Editora en Jefe de Web of Science, consideran los efectos de adoptar dos nuevos modelos de conteo: un modelo Retroactivo, en el que el próximo JIF se basa en datos anteriores; y un modelo Prospectivo, en el que comienzan a contar a partir de 2020. 

En esencia, las revistas con altos niveles de autocitas y largos períodos de retraso entre la publicación electrónica y la designación impresa son particularmente sensibles a cambios masivos en su próxima puntuación JIF. Sin embargo, incluso las revistas con tasas de autocitas relativamente bajas y retrasos de publicación cortos se ven lo suficientemente afectadas como para cambiar su clasificación por encima de los competidores que no tienen datos de publicación electrónica en la Web of Science. Y, dado que la indexación de la fecha de publicación electrónica depende del editor, es probable que veamos grandes ganadores y grandes perdedores si Clarivate continúa con su nuevo modelo de conteo.

Se anuncian cambios en el factor de impacto de la revista para 2021

Changes to Journal Impact Factor Announced for 2021 Scholary Kitchen, por PHIL DAVIS 7 DE DICIEMBRE DE 2020

Texto completo

A principios de este otoño, Clarivate Analytics  anunció que estaba pensando en un futuro en el que calculará el factor de impacto de la revista (JIF) en función de la fecha de publicación electrónica y no de la fecha de publicación impresa.

El tiempo de espera entre la publicación en línea y la designación impresa es corto para algunos títulos, puede ser de meses (o incluso años) para otros. Para la mayoría de las revistas en línea, solo hay una fecha de publicación.

Esta discrepancia entre la forma en que Clarivate trataba las revistas impresas tradicionales frente a las revistas solo en línea despertó el escepticismo entre los científicos, algunos de los cuales argumentaron que las largas demoras entre la publicación impresa y en línea beneficiaban a las puntuaciones JIF de las revistas tradicionales sobre los títulos de acceso abierto más nuevos, y sugirieron cínicamente que los editores pueden extender a propósito su retraso en un intento de elevar artificialmente sus puntajes.

Independientemente de si este argumento tiene validez o no (los métodos para contar las citas válidas son problemáticos), los retrasos crean problemas en el registro de citas, especialmente cuando un artículo se ha publicado en línea en un año e impreso en otro, por ejemplo, publicado en línea en Diciembre de 2019 pero que aparece en la edición impresa de enero de 2020.

Esta es solo una de las razones por las que es tan difícil calcular puntuaciones precisas del Factor de impacto de WoS. Al adoptar un nuevo estándar de publicación electrónica, Clarivate ayudará a reducir la ambigüedad en el registro de citas. También hará que sea más fácil y transparente calcular las métricas de citas. 

Web of Science  comenzó a incluir fechas de publicación electrónica (“Early Access”) en sus registros desde 2017 y ahora incluye esta información para más de 6.000 revistas, aproximadamente la mitad de las más de 12.000 revistas que indexan actualmente.

La próxima publicación de 2021 (utilizando datos de 2020) será un año de transición, en el que las citas de los registros de Early Access se agregarán al numerador del cálculo de JIF, pero se excluirán de los recuentos de publicaciones en el denominador.

El cambio completo al uso de la publicación en línea para el cálculo de los factores de impacto de las revistas (JIF) comenzará en 2022 con los datos de publicación de 2021.

Lista de DORA de los 10 principales avances en evaluación de la investigación

 

dorabadge5

2019 in review: DORA’s list of the top 10 advances in research assessment December 19, 2019

Ver original

 

Al final de 2019, el comité directivo y el consejo asesor de DORA querían destacar las formas en que la reforma de la evaluación de la investigación ha avanzado en el último año. Desde nuevos datos sobre políticas de evaluación hasta el desarrollo de nuevas herramientas, la comunidad académica está tomando medidas para mejorar la evaluación de la investigación de maneras concretas.

  1. Una nueva investigación del Laboratorio de Comunicaciones Académicas de la Universidad Simon Fraser y sus colaboradores ha determinado cuánto se usa el Factor de Impacto de la Revista en las decisiones de revisión, promoción y tenencia en los Estados Unidos y Canadá. Estudios como este nos ayudan a comprender la magnitud del desafío que enfrenta DORA, pero también sirven como un estímulo para que las instituciones innoven y mejoren sus políticas de evaluación.
  2. Una institución que ya ha tomado medidas para reformar sus prácticas de evaluación de la investigación es la Universitat Oberta de Catalunya, que firmó DORA y publicó un plan de acción y un cronograma para mejorar la evaluación de la investigación en el campus. A finales de 2020, la universidad tiene como objetivo proponer indicadores para medir el impacto social de la investigación. También tienen la intención de ampliar la lista de resultados de la investigación para evaluar el impacto y la transferencia de la investigación. El plan fue desarrollado por el grupo de trabajo DORA de la universidad y aprobado por la Comisión de Investigación e Innovación. Si bien se lanzó a fines del año pasado, es necesario reconocer los esfuerzos de la universidad a lo largo de 2019 para implementar cambios generalizados.
  3. En septiembre, se lanzó el Research on Research Institute (RORI) en Londres para promover una investigación más estratégica, abierta, diversa e inclusiva. El instituto es una asociación entre Wellcome Trust, Digital Science y las universidades de Sheffield y Leiden. Un aspecto importante de su trabajo se centrará en la medición y la evaluación, incluida la ampliación y diversificación de los criterios e indicadores utilizados en la evaluación de la investigación. En términos más generales, al proporcionar una comprensión más profunda del panorama de la investigación, RORI tiene como objetivo mejorar la toma de decisiones, el avance profesional y la cultura de la investigación.
  4. Los Principios de Hong Kong para la Evaluación de Investigadores: Fomento de la Integridad de la Investigación se desarrollaron como parte de la Sexta Conferencia Mundial sobre Integridad de la Investigación. Las instituciones y los donantes pueden adoptar los principios para reconocer a los académicos por las actividades que conducen a una investigación confiable. Al igual que en DORA, los principios de Hong Kong enfatizan la importancia de considerar el valor de todas las contribuciones, productos y resultados del trabajo académico.
  5. En mayo, la guía de implementación revisada para el Plan S estableció la reforma de la evaluación de la investigación, de acuerdo con DORA, como un principio central. Los miembros de cOAlition S se comprometen a revisar sus políticas antes de enero de 2021 para evaluar la investigación por sus propios méritos en lugar del lugar donde se publica.
  6. Needhi Bhallla, miembro de la junta asesora de DORA, publicó una perspectiva que resume varias estrategias probadas para mejorar la equidad en la contratación de profesores. Algunos ejemplos incluyen la evaluación y revisión de los procesos de promoción y revisión departamental y el desarrollo de una rúbrica para evaluar las declaraciones de diversidad al comienzo de una búsqueda. Al adoptar estas medidas prácticas, las instituciones también aumentan la transparencia y la coherencia de las contrataciones de profesores.
  7. Muchas organizaciones están reconsiderando cómo estructurar las solicitudes de subvenciones y trabajos para fomentar procesos de revisión sólidos pero eficientes en el tiempo diferenciados de los factores de impacto de las revistas. En octubre, la Royal Society publicó el currículum vitae para investigadores para reconocer una gama más amplia de resultados y logros académicos. El Consejo de Investigación Holandés (NWO) también está probando un formato de CV narrativo para su esquema de financiamiento Veni y anunció en diciembre que haría lo mismo para la ronda Vici . Esta iniciativa permiten a los investigadores contextualizar su trabajo y diversas contribuciones de una manera que los números no pueden.
  8. En octubre, DORA y el Instituto Médico Howard Hughes reunieron a un grupo diverso de partes interesadas para considerar cómo mejorar las políticas y la práctica explorando diferentes enfoques para el cambio de cultura y sistemas. Las lecturas de antecedentes y los comentarios de los participantes proporcionan una mejor comprensión de las oportunidades y desafíos que enfrentan las instituciones de investigación con la reforma de la evaluación de la investigación. En 2020 se pondrán a disposición conjuntos de herramientas para ayudar a las instituciones a adoptar nuevas políticas y prácticas.
  9. El Consejo Latinoamericano de Ciencias Sociales (CLACSO) y el Consejo Nacional de Investigación y Tecnología de México (CONACYT) organizaron un Foro de Evaluación de Investigaciones en noviembre para dar inicio a un grupo de trabajo de dos años para identificar procedimientos alternativos de evaluación de las ciencias sociales en América Latina. . Estén atentos para recibir actualizaciones sobre su trabajo.
  10. Varias iniciativas intersectoriales tienen como objetivo desarrollar visiones más positivas de la cultura de la investigación, que está íntimamente conectada e impactada por las prácticas de evaluación de la investigación. El Wellcome Trust, por ejemplo, está tratando de redefinir la ‘excelencia’ mediante la inclusión de la consideración de cómo se lleva a cabo la investigación. Y la Royal Society está siguiendo su conferencia sobre cultura de investigación compartiendo ejemplos de cómo diferentes organizaciones están trabajando para mejorar la equidad, la diversidad y la inclusión; y fomentar una mayor colaboración.

Es posible que muchas cosas pueden sucedan en un año. Es difícil limitarse a 10 avances, si bien también merecen reconocimiento:

 

¿Hasta qué punto algunas revistas negocian el factor de impacto?

 

d20190620-jcr-2018-incites-multidisciplinary-sciences-clarivate-analytics-684x500-1

 

Björn Brembs. Just How Widespread Are Impact Factor Negotiations?. Björn Brembs, 2016

Ver original

 

Durante la última década o dos, ha habido múltiples informes sobre sospechas de cómo determinados editores negociaban los factores de impacto de sus publicaciones con el “Instituto de Información Científica” (ISI), tanto antes como después de que Thomson Reuters lo comprara. Esto es se hace  a través de  negociar que cantidad de artículos son citables en el denominador para de ese modo incrementar el factor de impacto de la revista.

Los primeros en señalar que esto puede estar sucediendo en al menos cientos de revistas fueron Moed y van Leeuven ya en 1995 (y con más datos nuevamente en 1996 ). Uno de lamos primeros en mostrar cómo una sola revista logró esta hazaña fue Baylis et al.. en 1999 con su ejemplo de la revista FASEB logrando convencer al ISI de que elimine sus resúmenes de conferencia del denominador, lo que llevó a un salto en su factor de impacto de 0.24 en 1988 al 18.3 en 1989. Otro caso bien documentado es el de Current Biology cuyo el factor de impacto aumentó en un 40% después de la adquisición por parte de Elsevier en 2001. El primer caso hasta ahora revelado abiertamente sobre tales negociaciones fue el editorial de PLoS Medicinesobre sobre sus negociaciones con Thomson Reuters en 2006, donde el rango de negociación abarcó 2-11 (se conformaron con 8.4). Obviamente, tal evidencia directa de negociaciones es extremadamente rara y, por lo general, los editores se apresuran a señalar que nunca estarían ‘negociando’ con Thomson Reuters, simplemente les pedirían que ‘corrijan’ o ‘ajusten’ los factores de impacto de sus revistas para hacerlos más precisos. Dado que Moed y van Leeuwen ya descubrieron que la mayoría de esas correcciones parecían aumentar el factor de impacto, parece que estas correcciones solo tienen lugar si un editor considera que su FI es demasiado bajo y solo muy raramente si el FI puede parecer demasiado alto (y quién los culparía?) Además de los datos antiguos de Moed y van Leeuwen, tenemos muy pocos datos sobre cuán extendida está realmente esta práctica.

Un análisis recientede 22 revistas de biología celular ahora proporciona datos adicionales en línea con la sospecha inicial de Moed y van Leeuwen de que los editores pueden aprovechar la posibilidad de tales ‘correcciones’ de manera bastante generalizada. Si ocurrió algún error al azar y se corrigió de manera imparcial, entonces un análisis independiente de los datos de citas disponibles debería mostrar que dichos factores de impacto calculados independientemente se correlacionan con el factor de impacto publicado con errores positivos y negativos. Sin embargo, si las correcciones solo ocurren en la dirección que aumenta el factor de impacto de la revista corregida, entonces los factores de impacto publicados deberían ser más altos que los calculados independientemente. La razón de tal sesgo se debe encontrar en la falta del total de números de artículos en el denominador del factor de impacto publicado. Sin embargo, estos artículos “faltantes” se pueden encontrar, ya que se han publicado, simplemente no se cuentan en el denominador. Curiosamente, esto es exactamente lo que Steve Royle encontró en su análisis.

 

if_negotiations-1024x463-1

 

A la izquierda, se ve que cualquier desviación de la correlación perfecta siempre es hacia el factor de impacto mayor y a la derecha se puede apreciar que algunas revistas muestran una gran cantidad de artículos que no se contabilizan para así incrementar el factor de impacto.

Claramente, nada de esto equivale a evidencia inequívoca de que los editores están aumentando sus ‘temas principales’  tanto para citar sus propios artículos, como para recibir citas del exterior, solo para luego decirle a Thomson Reuters que corrija sus registros. Nada de esto es prueba de que los editores negocian habitualmente con el ISI para inflar sus factores de impacto, y mucho menos que los editores intentan habitualmente hacer que la clasificación de sus artículos sea citable o no intencionalmente difícil. Existen numerosas explicaciones alternativas. Sin embargo, personalmente, encuentro que los dos documentos antiguos de Moed y Van Leeuwen y este nuevo análisis, junto con el tema comúnmente reconocido de clasificación de documentos por el ISI, son lo suficientemente sugerentes, pero probablemente soy parcial.

 

Clarivate suprime 33 revistas de los grandes editores científicos por exceso de autocitas a sí mismas

 

clarivate-logo

 

ClarivateMajor indexing service sounds alarm on self-citations by nearly 50 journals. Retraction Watch,

Texto completo

 

Más de 33 revistas  han sido suprimidas de Journal impact factor, ya que más del 70% de las citas en una revista se hicieron a otros artículos de esa misma revista. Otra publicó un solo artículo que citaba casi otros 200 artículos en la revista.

 

 

Clarivate, la compañía que gestiona el Factor de Impacto, está tomando medidas para combatir ese comportamiento, suprimiendo 33 revistas de su servicio de indexación y sometiendo a 15 más a observacion, todas por una aparente excesiva auto-citación que impulsó a estas revistas en el ranking de las revistas.

La lista incluye algunas de las grandes compañías del mundo de la edición científica: nueve eran revistas publicadas por Elsevier, siete por Springer Nature, seis por Taylor & Francis y cinco por Wiley.

Dada la dependencia de muchas universidades en los rankings de revistas para juzgar el trabajo de sus investigadores como parte de las decisiones de tenencia y promoción, la supresión de una revista de Clarivate significa negarle un Factor de Impacto, que puede tener efectos a largo plazo. Los factores de impacto se basan en citas promedio de artículos en una revista durante un período de tiempo concreto. Muchos organizaciones,  incluidos Retraction Wacht, han argumentado que el Impact Factor no es la mejor manera de juzgar la investigación, por razones que incluyen la relativa facilidad de manipular tales métricas.

Web of Science de Clarivate indexa 21.000 revistas, pero solo 12.000 están incluidas en el Journal Citation Report (JCR) anual y reciben Factores de Impacto. Actualmente hay dos razones para la supresión de la JCR:

La auticitación de la revista y el “apilamiento de citas”, comportamiento que a veces se conoce como participar en “colegios invisibles de citas” o “anillos de citas“. Ninguna de las supresiones de este año fueron por el apilamiento de citas. Cuando la empresa retira una revista del JCR, continúa contando sus citas, pero no le asigna un Factor de Impacto.

La compañía ha cambiado la forma en que considera la autocita y revisó su metodología, dijo la editora en jefe de Web of Science, Nandita Quaderi, en respuesta las pautas que se han observado en los últimos años.

Este año, Clarivate también sometió a 15 revistas a exámenes editoriales de preocupación. Tales revistas tenían un pequeño número de artículos con niveles muy altos de citas a artículos en la misma revista que pueden tener un efecto significativo en el Factor de Impacto y en el ránking. Quaderi dijo que juzgar solo los niveles generales de autocitación de las revistas pasaría por alto tales patrones, porque no tomaría en cuenta directamente cómo estas citas se “concentran” en artículos o períodos de tiempo particulares.

Nada cambia para las revistas JCR sujetas a tales indicadores, pero se monitorean de cerca para su reevaluación y pueden perder sus Factores de Impacto en los años siguientes o ser eliminados de la indexación por completo.

Este movimiento marca solo la segunda vez que Clarivate ha emitido análisis de revisión. En 2018, lo hicieron con cinco revistas en el campo óseo, cuatro de las cuales fueron suprimidas al año siguiente. Las cinco actualmente están de nuevo reintegradas en JCR.

Al menos el 25% de las referencias en todas las revistas suprimidas eran autocitas, con el 71% de las citas en una revista. Un artículo en el Journal of Allergy and Clinical Immunology-In Practice citó otros artículos en la misma revista 191 veces.

Cinco de las revistas suprimidas o marcadas eran en cardiología, incluyendo JACC: Cardiovascular Imaging, que tiene un Factor de Impacto por encima de 10, clasificándo la revista entre las 10 mejores revistas en el campo. Otras tres revistas de cardiología de las que Clarivate ha expresado su preocupación tienen factores de impacto superiores a 5.

Jugando las métricas Mala conducta y manipulación en la investigación académica

3fcollid3dbooks_covers_026isbn3d978026253793326type3d

Mario Biagioli and Alexandra Lippman. Gaming the Metrics Misconduct and Manipulation in Academic Research. MIT, 2020

Texto completo

PDF

ePub

Cómo la creciente dependencia de las métricas para evaluar las publicaciones académicas ha producido nuevas formas de fraude académico y mala conducta.

El imperativo académico tradicional de “publicar o perecer” está cada vez más unido a la nueva necesidad de “impactar o perecer”: el requisito de que una publicación tenga “impacto”, medido por una variedad de métricas, incluidas citas, vistas y descargas.

Gaming the Metrics examina cómo la creciente dependencia de las métricas para evaluar publicaciones académicas ha producido formas radicalmente nuevas de fraude académico y mala conducta. Los contribuyentes muestran que la “cultura de auditoría” basada en métricas ha cambiado el entorno de la investigación, fomentando el juego y la manipulación de indicadores cuantitativos, lo que condujo a la invención de formas novedosas de mala conducta, como los anillos de citas y las revisiones de pares manipuladas. Los capítulos, escritos por académicos y oteas partes interesadas en la publicación académica, proporcionan un mapa de fraude académico y mala conducta en la actualidad.