Elsevier revisó totalmente la fórmula de Citescore. Un cambio relativamente menor que hicieron fue endurecer los tipos de documentos que podían usarse en el numerador y el denominador, antes era cualquier tipo pero ahora se restringe sólo a los siguientes tipos de publicación: artículos, revisiones, documentos de conferencias, documentos de datos y capítulos de libros.
Pero el mayor cambio ha sido este. No sólo se ha abierto la ventana de citas a 4 (en lugar de 3 años), sino que ahora también cuentan las citas de 4 años (no de 1). En otras palabras, para obtener el citescore de 2021, se cuentan todas las citas de los documentos publicados en 2018-2021.
Además, Clarivate, recientemente en 2021, aumentó la confusión al publicar otra métrica de revistas: Journal Citation Indicator (JCI), también utiliza efectivamente 4 años de citas.
Duede, Eamon. «Citation Counts Reinforce the Influence of Highly Cited Papers and Nudge Us towards Undervaluing Those with Fewer.» Impact of Social Sciences, 17 de febrero de 2022
En el contexto de la evaluación diaria de la investigación, el recuento de citas suele tomarse como un simple indicador de la influencia de un artículo concreto. Sin embargo, no todas las citas son iguales y pueden utilizarse para lograr distintos fines. Eamon Duede comenta un estudio reciente sobre la forma en que los investigadores de 15 campos académicos entienden la influencia de los trabajos citados en sus investigaciones y muestra cómo las citas desempeñan un papel tanto en la indicación como en la configuración de la influencia de los trabajos de investigación.
Las repercusiones de la ciencia y la erudición son tan polifacéticas como omnipresentes. Los resultados de la investigación dan forma a la política a través de pruebas y predicciones de principios, perfeccionan nuestro estilo de vida con nuevas tecnologías, fuentes de energía y entretenimiento, y mejoran nuestra salud y bienestar a través de los avances en la medicina, la práctica clínica y la educación.
El impacto de la investigación surge, por supuesto, de la investigación. Aunque la investigación varía mucho en cuanto a la amplitud y la magnitud de su influencia en nuestras necesidades, deseos y gobierno, también sirve para influir en nuestro conocimiento y comprensión, en nuestras futuras investigaciones, en nuestra propia curiosidad. Tanto es así que a menudo se da por sentado.
En muchos sentidos, los trabajos de investigación son depósitos de conocimientos potencialmente impactantes, cada uno de los cuales se apoya, conecta, desafía o reconoce a los demás. Y uno de los principales medios por los que estas diversas actividades se registran en el libro de contabilidad del progreso científico es a través de la práctica de la citación.
Como resultado, se ha convertido en algo común y no del todo descabellado creer que el número de veces que se ha citado un trabajo es una medida directa de lo influyente que ha sido. Si un trabajo ha sido citado significativamente más veces que sus pares en el campo, entonces, con toda probabilidad, ese trabajo ha sido más influyente que los demás. Por ello, no es de extrañar que los científicos, los gestores, los organismos de financiación y los comités de premios utilicen el recuento de citas como una de las principales formas de evaluar la influencia a la hora de tomar decisiones.
Sin embargo, en un reciente artículo, Misha Teplitskiy, Michael Menietti, Karim R. Lakhani y el propio autor, se descubre que, en la mayoría de los casos, la creencia común y razonable de que las citas explican la influencia es falsa.
Para demostrarlo, se realizó una encuesta minuciosa y muy personalizada entre casi 10.000 autores de artículos científicos recientes. Esta encuesta fue notable porque, en lugar de inferir, se preguntó directamente a los autores sobre los artículos específicos que citaban en sus trabajos recientes. En particular, interesaba comparar la percepción de estos autores sobre la calidad de los artículos que habían leído y referenciado con el número de veces que esos artículos habían sido citados. Además, se pidó a los autores que informaran del grado en que esas referencias habían influido en sus propios trabajos.
En contra de la idea de que las citas son un reflejo directo de la influencia académica, descubrimos que, en las 15 áreas académicas representadas en la muestra de aproximadamente 17.000 referencias de artículos, más de la mitad de los mismos no habían tenido ninguna o muy poca influencia en los autores que los citaban (véase la figura 1).
Sin embargo, muchos artículos sí ejercen una influencia significativa en quienes los leen y citan. Existen dos hipótesis comunes y contradictorias sobre qué artículos son realmente influyentes. Según una de ellas, la mayoría de las citas de los artículos denotan, hasta cierto punto, un contexto relativo, influencia sobre sus lectores. Sin embargo, a medida que los artículos son más citados, los autores dejan de leerlos con atención y tienden a citarlos por los beneficios retóricos y argumentativos que aportan a los propios trabajos de los autores. Por otro lado, la hipótesis contraria afirma que, a medida que los artículos se vuelven más citados, su estatus de citación indica a los lectores potenciales que esos trabajos son de mayor calidad. Esto, a su vez, lleva a los autores a invertir más tiempo y esfuerzo cognitivo en su lectura. Como resultado de esa inversión, es más probable que los lectores se vean influenciados.
Se observa que los artículos más citados son, de hecho, los más influyentes. La figura 2 muestra que, a medida que aumenta el número de veces que se cita un artículo, aumenta la probabilidad de que un artículo determinado haya influido significativamente en un lector que lo consulte. Sin embargo, los datos muestran que la probabilidad de una influencia significativa sólo aumenta en el caso de los artículos más citados (por ejemplo, los artículos con un número de citas de entre 100 y 1000). Pero, ¿se considera que estos artículos muy citados son de mayor calidad?
Estas conclusiones tienen enormes implicaciones para la forma de realizar y evaluar el impacto de la investigación. Descubrimos que la mayoría de los artículos de la muestra fueron descubiertos por sus lectores mediante búsquedas en bases de datos comunes. Estas búsquedas suelen mostrar el número de citas junto a los resultados. Sin embargo, nuestro estudio demuestra que esto afecta a cómo y qué elegimos leer. Como resultado, una cantidad significativa de trabajos potencialmente influyentes puede quedar sin leer por razones que no tienen nada que ver con su calidad. Como se señala en el artículo, aunque las citas son un mal indicador de la calidad de un artículo, los «perdedores» de las señales de estado de las citas superan en número a los «ganadores» en una proporción de 9 a 1 aproximadamente.
Clarivate Analytics, la empresa británica propietaria de la base de datos académica Web of Science (WoS), ha comenzado a generar automáticamente perfiles de autores, incluyendo información sobre la actividad de revisión por pares de los investigadores cuyos trabajos están indexados en la base de datos.
La información sobre la revisión por pares se integrará a partir de principios de 2022. Provendrá principalmente de Publons, un sitio web de uso gratuito que permite a los investigadores reclamar el crédito de la revisión por pares, que fue adquirido por Clarivate en 2017 y ahora tiene más de tres millones de usuarios.
La adición de la nueva función Publons convierte a la herramienta WoS en la primera que reúne detalles sobre los registros de publicación de los investigadores, sus colaboradores, los consejos de redacción de las revistas a las que pertenecen y otras actividades profesionales de investigación, como los manuscritos que han arbitrado para las revistas y las revisiones de subvenciones que han realizado. La herramienta también puede ser útil para los investigadores que realizan estudios de minería de textos.
Para encontrar artículos anteriormente, los usuarios de WoS realizaban una búsqueda de documentos en la base de datos de WoS, aunque desde 2019 también es posible una búsqueda de autores para encontrar autores individuales y sus actividades académicas. La herramienta es actualmente de uso gratuito, pero la empresa ofrecerá una versión con características adicionales de pago.
Los investigadores que utilicen la herramienta también podrán vincular sus perfiles a su identificador digital único, ORCID ID. De este modo, cuando un investigador añada un artículo a su perfil ORCID, se añadirá automáticamente a su perfil de autor de WoS, y viceversa
Según sus creadores, la herramienta de WoS está especialmente destinada a la evaluación de las solicitudes de financiación de los investigadores, así como a la evaluación de los académicos para su contratación y promoción. Ayudará a los evaluadores a detectar cualquier conflicto de intereses y les dará una visión más completa de las actividades académicas de un académico, señalan.
Dar visibilidad a la revisión por pares es un paso importante para solucionar su falta de reconocimiento como componente del rendimiento de la investigación, afirma Waltman. Reconoce que los informes de los árbitros son «importantes productos académicos que deben ser tratados de forma similar a otros tipos de publicaciones».
Jonathan Adams, David Pendlebury and Ross Potter. Global Research Report Making it count: Research credit management in a collaborative world. Institute for Scientific Information (ISI)™, 20222
Clarivate ha publicado un nuevo informe del Institute for Scientific Information™ de la compañía que propone un nuevo método para analizar el crédito que reciben los autores de trabajos académicos a través de las citas.
Este informe propone un nuevo método para analizar el crédito de los trabajos académicos y sus citas. Es complementario complementario, y no contradictorio, del el análisis de las citas fraccionadas.
En todo el panorama de la investigación, la recepción de crédito a través de la citación de fuentes influye en la motivación y la reputación. El crédito por la publicación de investigaciones académicas suele afectar al empleo, la promoción y la financiación a nivel individual, así como a la financiación y la toma de decisiones de las instituciones de investigación académica y los países.
En un mundo cada vez más global y colaborativo, en el que aumenta rápidamente el número de artículos que nombran a docenas o incluso cientos de investigadores como autores, es esencial la necesidad de un análisis informado y basado en datos sobre el crédito que funcione en todas las disciplinas y regiones de la investigación. Sin embargo, los métodos existentes para analizar los créditos pueden verse distorsionados por recuentos de autores excepcionalmente elevados.
Hacer que cuente: La gestión de los créditos de investigación en un mundo colaborativo propone un nuevo indicador, el «Collab-CNCI» (Collab-CNCI) como una posible solución.
El informe no sólo confirma que los trabajos altamente colaborativos pueden distorsionar los resultados resumidos a nivel nacional e institucional, sino que también muestra cómo sucede. Destaca los aspectos clave de los logros y muestra dónde las instituciones generan un crédito académico significativo a partir de las citas de sus trabajos más nacionales.
Collab-CNCI complementa el ya existente indicador de impacto de citas normalizado por categorías creado por el CWTS de la Universidad de Leiden. Pero el recuento de citas acumulado para cada artículo se normaliza con respecto a otros artículos del mismo año de publicación, la misma categoría temática, el mismo tipo de documento y, fundamentalmente, el mismo tipo de colaboración.
Ludo Waltman, catedrático de Estudios Científicos Cuantitativos del Centro de Estudios Científicos y Tecnológicos (CWTS) de la Universidad de Leiden, ha declarado lo siguiente «El creciente nivel de colaboración en la ciencia mundial plantea cuestiones difíciles en relación con el diseño y la interpretación de los indicadores bibliométricos. Es absolutamente esencial desarrollar una mejor comprensión de la compleja interacción entre la colaboración científica y el impacto de las citas. Celebro la contribución del Instituto de Información Científica, que forma parte de Clarivate, para abordar esta difícil cuestión».
El Instituto de Información Científica invita a los usuarios y gestores de la investigación a comentar las ventajas relativas del Collab-CNCI en comparación y como complemento de otros métodos para permitir decisiones equilibradas y oportunas a nivel individual, institucional y nacional. Por favor, envíe sus comentarios a ISI@clarivate.com.
Liv Langfeldt, Dag W. Aksnes, Ingvild Reymert. Peer review for academic jobs and grants continues to be shaped by metrics, especially if your reviewer is highly ranked. LSE, 16 nov. 2021
El objetivo de la revisión por pares de la investigación y de las juntas de contratación académica es proporcionar un juicio experto e independiente sobre la calidad de las propuestas de investigación y de los candidatos. Según los resultados de una encuesta reciente, Liv Langfeldt, Dag W. Aksnes e Ingvild Reymert, la métrica sigue desempeñando un papel importante en la toma de decisiones, sobre todo en el caso de los revisores que están muy bien clasificados.
Vivimos en una época en la que las métricas sobre las publicaciones científicas y las citas son abundantemente accesibles. Estas métricas ofrecen una visión general y una aportación a la política de investigación, y pueden utilizarse en la evaluación de la investigación por razones buenas -o al menos intrigantes-. En lugar de dedicar tiempo a la lectura de las publicaciones, el recuento de citas, el índice h, el factor de impacto de las revistas o indicadores similares se toman como un atajo para comprender la contribución de un trabajo o el rendimiento de un investigador. Además de ahorrar tiempo, las métricas pueden utilizarse porque se perciben como buenos indicadores de la calidad de la investigación y porque los revisores piensan que las comparaciones basadas en las métricas son más objetivas, justas y fiables que las evaluaciones que no se basan en ninguna métrica. En un estudio reciente se comprobó que las métricas se utilizan con frecuencia a la hora de evaluar las propuestas de subvención y los candidatos a puestos académicos. Además, los investigadores con un historial bibliométrico más sólido aplican con más frecuencia estas medidas en sus evaluaciones de investigación.
La mayoría utilizó métricas en sus revisiones
A pesar de su conveniencia, las métricas son controvertidas. La revisión por pares no está pensada para basarse en las métricas, sino en la experiencia de los pares y su comprensión de la investigación que se está revisando. Para entender mejor el papel de las métricas en las evaluaciones por pares, se utilizaron datos de encuestas para explorar las opiniones y prácticas de los investigadores en todos los campos y contextos académicos en tres países. Tanto para la revisión de las propuestas de subvención como para las evaluaciones de los candidatos a puestos académicos. Una gran mayoría de los revisores indicó que las métricas eran muy o algo importantes a la hora de identificar las mejores propuestas/candidatos. En ambos tipos de evaluaciones, se hizo hincapié en el «impacto de las citas de las publicaciones anteriores» y, sobre todo, en el «número de publicaciones/productividad».
Puntos de vista divergentes
Hubo algunas variaciones entre los tres campos incluidos en el estudio. Los economistas se basaron más en el número de publicaciones que los cardiólogos y los físicos. La variación entre los países (Países Bajos, Noruega y Suecia) fue mínima. Sin embargo, dentro de los tres campos y países hubo variaciones: Mientras que la mayoría consideraba que la métrica era importante, una proporción considerable no la consideraba importante. En otras palabras, hay opiniones divergentes entre los revisores sobre el uso de las métricas, lo que puede afectar a sus revisiones. Cuando actúan como revisores, los académicos tienen mucho poder discrecional y pueden optar por utilizar o no utilizar las métricas, haciendo caso omiso de las directrices (que pueden fomentar o desaconsejar las métricas). Por lo tanto, el resultado de los procesos de revisión puede variar en función de las preferencias individuales de los miembros del panel en cuanto a las métricas.
Los académicos más citados utilizan con más frecuencia la métrica de citas en sus evaluaciones
Resulta significativo que el énfasis en las métricas se corresponda con el propio rendimiento bibliométrico de los encuestados. Los evaluadores con puntuaciones bibliométricas más altas hacían más hincapié en las métricas cuando evaluaban a los candidatos a puestos académicos, y especialmente cuando evaluaban las propuestas de subvención. En el caso de estas últimas, la probabilidad de percibir el número de publicaciones y el impacto de las citas de los candidatos como «muy importantes» aumentó junto con el número de publicaciones de los encuestados, si tenían publicaciones de percentil superior y con la proporción de publicaciones de percentil superior.
¿Se ven afectadas las nociones de calidad de la investigación?
Incluso si las métricas afectan a la revisión por pares, nuestros datos indican que los revisores distinguen entre las características de una buena investigación y la bibliometría como indicadores del posible éxito futuro de un solicitante o una solicitud. Mientras que una gran mayoría señaló que las métricas eran importantes en sus revisiones, sólo una quinta parte indicó que su conclusión se basaba (en parte) en las puntuaciones de las citas o en el factor de impacto de las revistas al responder a la pregunta más general de qué percibían como la mejor investigación en su campo. Muy pocos encuestados indicaron las puntuaciones de las citas o el factor de impacto de las revistas como únicos indicadores de la mejor investigación. Por lo tanto, hay pocos indicios de que consideren los indicadores cuantitativos como un factor decisivo sobre lo que constituye la ciencia eminente.
Impacto en las agendas de investigación
Cuando se aplican a escala del individuo, los indicadores de número de publicaciones e impacto de las citas tienen limitaciones y deficiencias como medidas de rendimiento. No obstante, la encuesta indica un amplio uso de dichos indicadores a esta escala, tanto para la revisión de propuestas de subvención como para la contratación de puestos académicos. El énfasis en las métricas en las evaluaciones de los compañeros puede afectar a la actividad investigadora y a los programas de investigación. Los investigadores -especialmente los que inician su carrera- deben tener en cuenta qué tipo de investigación les ayudará a optar a subvenciones y puestos de trabajo. Si se hace hincapié en el historial cuantificable de los solicitantes en lugar de en el campo de especialización y el potencial de los solicitantes, o en la revisión en profundidad de la investigación propuesta, corremos el riesgo de basar las decisiones sobre la investigación futura en las tendencias pasadas, y los temas fácilmente publicables y muy citados pueden obtener desproporcionadamente más recursos. Además, damos a los jóvenes investigadores incentivos (más fuertes) para hacer el tipo de investigación que parece «segura» en términos de probabilidad de publicaciones y citas, con el fin de aumentar sus posibilidades de éxito en los concursos de subvenciones y puestos académicos.
Organización de evaluaciones justas
¿Qué significa esto para los investigadores que solicitan puestos de trabajo o becas de investigación? A la hora de planificar y utilizar la evaluación por pares, hay que tener en cuenta que los evaluadores -en particular los que obtienen altas puntuaciones- consideran que las métricas son un buen indicador del éxito futuro de los proyectos y los candidatos. Se basan en las métricas de publicación en sus evaluaciones a pesar de las preocupaciones sobre el uso y el mal uso de dichas métricas. En términos más generales, es necesario comprender mejor por qué y cómo se utilizan las métricas en los distintos campos de investigación, y el papel que desempeñan las métricas en el desarrollo de los campos, así como la forma en que el perfil de los paneles de revisión influye en el énfasis en las métricas. A esta escala, la publicación de directrices como el Manifiesto de Leiden para la medición de la investigación y la declaración DORA sobre el uso inadecuado del factor de impacto de las revistas, parecen no haber sido suficientes.
Los investigadores frecuentemente aluden al factor de impacto de las revistas de Clarivate Analytics, diciendo que la métrica, que informa el promedio de citas por artículo, tiene fallas metodológicas que respaldan comparaciones engañosas de revistas e investigadores. Hoy, la compañía dio a conocer una métrica alternativa que mejora algunos de estos defectos al permitir comparaciones más precisas entre revistas en diferentes disciplinas.
El anuncio se produce como parte del lanzamiento de la compañía en 2021 de su base de datos Journal Citation Reports que Incluye los últimos factores de impacto de revistas y otros análisis de revistas. Entre estos se encuentra el nuevo indicador JCI, que promedia las citas recopiladas por una revista durante 3 años de publicación, en comparación con los solo 2 años del factor de impacto. Es más, Clarivate dice que la JCI recoge revistas no cubiertas por el factor de impacto, incluidas algunas de Artes y Humanidades, así como revistas regionales o de campos científicos «emergentes».
JCI es «un paso adelante» y «más vale tarde que nunca», dice Henk Moed, bibliométra y editor en jefe de la revista Scholarly Assessment Reports. Su principal avance, explica, no es nuevo en absoluto: durante décadas, los investigadores en bibliometría han estado desarrollando métodos para comparar el impacto de las citas entre disciplinas. Por ejemplo, los artículos de matemáticas citan generalmente solo un puñado de fuentes, los artículos de bioquímica suelen tener listas de citas con docenas o incluso cientos de entradas. Entonces, «no es un signo de calidad que los artículos de bioquímica se citen más», dice Moed. Los factores de impacto, que simplemente suman las citas sin tener en cuenta la norma en un campo, pasan por alto este hecho.
Por esa razón, en 2010, Moed desarrolló la metodología para una métrica diferente, -Source Normalized Impact by Paper (SNIP)- que fue adoptada por el gran competidor de Clarivate, el gigante editorial Elsevier, en su índice de citas Scopus.
JCI de Clarivate, que utiliza una metodología diferente, proporciona una métrica similar a SNIP para las revistas en su base de datos Journal Citation Reports. Eso fortalecerá la posición de Clarivate en el mercado, dice Moed.
Pero el anuncio de Clarivate deja mucho que desear, incluida la transparencia, dice Marianne Gauffriau, bibliotecaria de investigación de la Biblioteca de la Universidad de Copenhague. El informe técnico de la compañía que describe la nueva métrica no cita ninguna de la literatura sustancial publicada por bibliometras a lo largo de los años.
También existe el riesgo de que, al igual que el factor de impacto, el JCI se utilice de forma inapropiada, dice Gauffriau. Con frecuencia, los evaluadores de premios y otras decisiones utilizan esas métricas para juzgar la producción académica de investigadores, instituciones y publicaciones individuales, una práctica que a menudo es criticada por los bibliometras como una forma defectuosa de juzgar la calidad.
Clarivate ha tratado de evitar el uso indebido de JCI desde el principio, dice Martin Szomszor, director del Instituto de Información Científica de la compañía. Ha dejado claro al describir el JCI que no está diseñado para evaluar investigadores individuales.
Es poco probable que JCI sustituya al factor de impacto de las revistas a corto plazo, dice Szomszor. Clarivate esperará para ver su aceptación, dándole la oportunidad de desarrollarse como una opción paralela.
Los investigadores y el personal de la Universidad de Utrecht serán evaluados por su compromiso con la ciencia abierta y el trabajo en equipo.
Una universidad holandesa de Utrecht dice que está dejando formalmente de tener en cuenta el factor de impacto, una medida estándar del éxito científico, en todas las decisiones de contratación y promoción. Para principios de 2022, todos los departamentos de la Universidad de Utrecht en los Países Bajos juzgarán a sus académicos según otros estándares, incluido su compromiso con el trabajo en equipo y sus esfuerzos para promover la ciencia abierta, dice Paul Boselie, investigador de gobernanza y líder del proyecto para el nuevo programa de acreditación Recognition and rewards. “Los factores de impacto no reflejan realmente la calidad de un investigador o académico individual”, dice. «Creemos firmemente que algo tiene que cambiar y abandonar el factor de impacto es uno de esos cambios».
El factor de impacto de un científico es una puntuación que tiene en cuenta el número de publicaciones y la tasa de citas de las revistas donde se publican esos artículos. En este sistema, los artículos de revistas muy citadas como Science, Nature o Cell cuentan más que los artículos de revistas cuyo contenido se cita con menos frecuencia. Boselie dice que los factores de impacto, así como una medida relacionada llamada índice h, contribuyen a una «producción» de la ciencia que valora la producción pura sobre la buena investigación. “Se ha convertido en un modelo muy dañino que va más allá de lo que es realmente relevante para la ciencia y de promover la ciencia”, dice.
El nuevo esquema es parte del programa Open Science de Utrecht, un esfuerzo de múltiples vías para hacer que la investigación sea más transparente y cooperativa. Los gestores de los programas de ciencia abierta integrados en cada departamento evaluarán el progreso hacia la publicación de acceso abierto, la participación pública y el intercambio de datos.
La decisión de renovar la contratación y la promoción se ha inspirado en parte en la Declaración sobre Evaluación de la Investigación (DORA), un documento creado en 2012 en la reunión anual de la Sociedad Estadounidense de Biología Celular.
La declaración tiene como objetivo “mejorar las formas en que se evalúan los investigadores y los resultados de la investigación académica” y pide específicamente eliminar los factores de impacto como una forma de juzgar el mérito de los académicos. Hasta el momento, ha sido firmado por casi 20.000 personas e instituciones. La Universidad de Utrecht firmó el documento en 2019.
Entre los investigadores académicos, la insatisfacción con el uso y mal uso del factor de impacto en las evaluaciones y decisiones de permanencia, promoción y contratación ha aumentado en los últimos años. Un informe de 2018 calificó el factor de impacto como «una medida inadecuada para evaluar el impacto de los científicos» y concluyó que si no se modifica el sistema de evaluación actual es probable que se produzca un «comportamiento continuo que no siempre ha concluido en un comportamiento social positivo».
Todas las universidades de los Países Bajos, incluida Utrecht, se han adherido a ‘Room for Everyone’s Talent’, un documento de posicionamiento de 2019 dirigido por VSNU, la asociación de empleados de las universidades holandesas. Ese documento pide un sistema de reconocimiento y recompensas que «permita la diversificación y vitalización de las trayectorias profesionales».
Aún así, eliminar las métricas estándar podría ser un movimiento arriesgado para la universidad y sus profesores y miembros del personal. Mientras otras universidades sigan dependiendo de los factores de impacto y otras métricas de productividad para la contratación y la promoción, los investigadores que surgen a través del sistema de Utrecht podrían estar en desventaja competitiva.
Según Clarivate los principios básicos del proceso de selección siguen siendo los mismos: objetividad, selectividad y dinámica de cobranza. Se usa un conjunto de 28 criterios para evaluar revistas; estos se dividen en 24 criterios de calidad diseñados para seleccionar el rigor editorial y las mejores prácticas a nivel de revista, y cuatro criterios de impacto diseñados para seleccionar las revistas más influyentes en sus respectivos campos utilizando la actividad de citas como el principal indicador de impacto.
Las revistas que cumplen con los criterios de calidad ingresan al Emerging Sources Citation Index ™ (ESCI). Las revistas que cumplen con los criterios de impacto adicionales ingresan al Science Citation Index Expanded ™ (SCIE), Social Sciences Citation Index ™ (SSCI) o Arts & Humanities Citation Index (AHCI) según su área temática.
En este proceso, las revistas se reevalúan primero para determinar su calidad y la evaluación de impacto está sujeta a que se cumpla con la calidad. Si se cumplen los criterios de calidad e impacto, las revistas se trasladan a una colección emblemática. El equipo editorial de Web of Science se centra en las nuevas evaluaciones durante la primera mitad del año, la segunda mitad está dedicada a las reevaluaciones. Las revistas cubiertas se evalúan continuamente para determinar su calidad.
Cuando se completa la evaluación, se informará al editor del resultado y la revista:
ser eliminado de la cobertura si ya no cumple con los criterios de calidad
o permanecer si continúa cumpliendo con los criterios de calidad.
Si la revista cumple con los criterios de calidad, se indexará cualquier contenido que falte. Si la revista se elimina de la cobertura, el contenido no se completará. En los casos más graves de incumplimiento de los estándares editoriales de la revista, según lo determinen nuestros criterios de selección, el contenido publicado puede eliminarse de Web of Science ™. Los plazos para completar una reevaluación dependerán de las circunstancias particulares de cada caso.
Triaje inicial
El propósito principal de este paso de clasificación es garantizar una identificación inequívoca de la revista enviada para evaluación y saber a quién contactar si tenemos alguna duda o inquietud. No hay un período de embargo para volver a enviarlo si una revista no pasa la clasificación inicial.
Contiene ISSN,
Título, editor,
URL,
Acceso al contenido,
Presencia de la política de revisión por pares,
Detalles de contacto.
Triaje editorial
En este paso, los editores de Web of Science revisan la revista para determinar si se merece una evaluación editorial completa. No existe un período de embargo para reenvío si una revista no pasa la clasificación editorial. Exigencias:
Contenido académico
Títulos de artículos y resúmenes de artículos en inglés
Información bibliográfica en escritura romana
Claridad del lenguaje,
Puntualidad y / o volumen de publicación
Funcionalidad del sitio web / formato de revista
Presencia en declaraciones éticas
Detalles de afiliación editorial
Detalles de afiliación del autor
Evaluación editorial (calidad)
En este paso, los editores de Web of Science están verificando la alineación entre el título de la revista, el alcance declarado, la composición de su comité editorial y autoría, y su contenido publicado. También buscan pruebas de rigor editorial y adherencia a los estándares de la comunidad. Si una revista no pasa este paso, el reenvío está sujeto a un período de embargo de al menos dos años.
Composición de la Junta Editorial
Validez de las declaraciones
Revisión por pares
Relevancia del contenido
Detalles de la subvención
Adherencia a los estándares comunitarios
Distribución de autor
Citas apropiadas a la literatura
Evaluación editorial (impacto)
Los criterios en este paso están diseñados para seleccionar las revistas más influyentes en un campo de investigación determinado, utilizando la actividad de citas como un indicador principal de impacto. Si una revista no pasa este paso, la reevaluación está sujeta a un período de embargo de al menos dos años.
Resultados de la encuesta sobre el estado de las métricas responsables de 2020. Siendo 2020 un año difícil para todos, observamos un descenso en la participación con respecto a los resultados de 2019, pasando de 218 encuestados a un total de 139. Aun así, la diversidad de países de los que proceden los encuestados, ya observada el año pasado, sigue siendo evidente (Figura 1). En este sentido, es destacable la diligencia e importancia que muchos profesionales dan a la encuesta y el tiempo que dedican a ello. De hecho, nos alegramos de ver comentarios en las redes sociales y de recibir correos electrónicos que reflejan los debates internos que se producen entre los colegas mientras preparan sus respuestas.
La encuesta de este año incluye algunos cambios notables con respecto a otras ediciones. Junto con las preguntas periódicas relacionadas con la integración de prácticas de métrica de investigación responsable en su institución, ampliamos el número de preguntas en dos direcciones. En primer lugar, queríamos conocer la organización y el departamento del encuestado para contextualizar mejor sus respuestas. En segundo lugar, formulamos preguntas específicas sobre las herramientas que utilizaban al producir métricas de investigación para sus instituciones.
El 76,3% de los encuestados trabajan en universidades, seguidos por el 14,4% que trabajan en institutos públicos de investigación. El resto se encuentra disperso en otras organizaciones, como empresas privadas (N=4), editoriales (N=3) u hospitales (N=1), entre otras. De los que trabajan en el ámbito académico, casi la mitad (45,3%) lo hace en la Biblioteca Universitaria, mientras que el 34,9% lo hace en la Oficina de Investigación. El número de personas que trabajan en la evaluación de la investigación varía mucho de unas instituciones a otras, con una mediana de 4 personas en las bibliotecas a 10 en las Oficinas de Planificación o 5 en las Oficinas de Investigación y con grandes diferencias dentro de los tipos de departamentos.
En cuanto a las fuentes y herramientas que utilizan en su trabajo diario, incluimos las suites bibliométricas y las bases de datos más conocidas, así como una opción de «otros» en la que los encuestados podían añadir otras herramientas que utilizaban para producir métricas de investigación. Web of Science y Scopus son las fuentes de datos más comunes, seguidas de los repositorios institucionales, Google Scholar y los sistemas institucionales CRIS. Sin embargo, es raro que se utilice una sola fuente de datos, y los encuestados indican que utilizan una media de más de tres fuentes de datos diferentes.
La variedad de herramientas y niveles de sofisticación muestra también una gran diversidad. Las respuestas van desde la indicación de la falta de uso de herramientas bibliométricas (N=11), pasando por el uso de herramientas comerciales (Scival, InCites), hasta la combinación de herramientas ad hoc con lenguajes de programación, herramientas de visualización y herramientas bibliométricas como Bibibliometrix o BibExcel.
Figura 4. Las 12 herramientas más utilizadas por los encuestados
Una vez más, las respuestas reflejan una gran versatilidad, ya que las herramientas rara vez se utilizan de forma aislada, sino que siempre se combinan para proporcionar análisis bibliométricos más precisos. Esto refleja el nivel de profesionalidad presente en el campo.
Firmantes del DORA
En comparación con los resultados del año pasado, el porcentaje de encuestados que han firmado la Declaración de San Francisco DORA es mayor que el de los que no lo han hecho. Esto puede ser el resultado de una mayor atención al DORA por parte del Plan S, y de un requisito del financiador de la COAlición S, el Wellcome Trust, de que los beneficiarios demuestren un compromiso público con los principios del DORA. Entre otros comentarios, encontramos un encuestado que afirmó que su institución había considerado esta decisión como algo que los individuos, departamentos y facultades eran libres de hacer, pero que no harían en conjunto. También encontramos que el DORA todavía no ha llegado a todo el mundo, y 11 encuestados indicaron que nunca habían oído hablar de él. 10 encuestados indicaron que su institución había decidido no firmarlo, mientras que 4 afirmaron respaldarlo pero habían decidido no firmarlo. En este sentido, está por ver si acciones públicas como la emprendida recientemente contra la Universidad de Liverpool por los autores del Manifiesto de Leiden y los principios de Hong Kong, que es firmante del DORA pero no reflejó prácticas de métrica de investigación responsables, podrían tener una consecuencia en estas decisiones.
Desarrollo de principios institucionales
Casi el 70% de los encuestados ha considerado al menos el desarrollo de un conjunto de principios sobre el uso responsable de las métricas de investigación, un aumento en comparación con el 52% informado en la encuesta de 2019. De ellos, solo un encuestado indicó que su institución había decidido no hacerlo. Los encuestados dieron algunas nociones sobre cómo se están diseñando estos principios. En algunos casos, utilizarían o adaptarían los principios establecidos en el Manifiesto de Leiden a su contexto institucional; en otros casos, participarían activamente en el desarrollo de los principios nacionales. En un caso, un encuestado indicó que estaba trabajando con el INORMS para aplicar SCOPE a su marco de publicación responsable.
Las instituciones en las que los indicadores basados en la publicación pueden no aplicarse, no están exentas del uso de prácticas de métrica responsable. Una institución de Arte y Diseño informó de que «no utiliza la bibliometría, pero está considerando otras métricas que se relacionan más con el rendimiento de la investigación departamental que con el rendimiento individual». Otros indicaron que, a pesar de no tener un conjunto oficial de principios, «consideran activamente la ética de lo que hacemos».
Conclusiones
Siguiendo la tendencia del año pasado, observamos cómo parece que hemos superado la fase de reconocimiento y concienciación de la necesidad de un uso responsable de las métricas. Las respuestas son cada vez más críticas con la forma en que se implementa dicho uso e incluso las opiniones negativas están motivadas y bien argumentadas, y no se limitan a reconocer la ignorancia. La adopción del DORA sigue aumentando, pero los profesionales indican una respuesta ambivalente de las comunidades académicas a estas políticas. Muchas de las malas prácticas que rodean el uso de las métricas parecen estar bastante arraigadas en la cultura académica.
En cuanto a la introducción de nuevas preguntas, observamos que el desarrollo de las métricas requiere una serie de herramientas cada vez más complejas, tanto de propósito general como las diseñadas específicamente para producir métricas de investigación. Es interesante observar que se ha generalizado el uso de fuentes de datos, incluidas muchas de las nuevas bases de datos que han surgido en los últimos años (por ejemplo, Lens, Dimensions), lo que demuestra que los días en que la comunidad profesional estaba vinculadas únicamente a la Web of Science han quedado atrás.
En opinión del autor, el mensaje más relevante es el hecho de que estamos pasando a un debate más complejo sobre cómo se aplican en la práctica las métricas responsables (o cualquier otro tipo de enfoque de seguimiento o evaluación) y qué entendemos realmente por un uso responsable. En este sentido, temas como la personalización y la contextualización de los informes, la difusión y la visibilidad, así como la alfabetización en materia de métricas, parecen adquirir una gran importancia, haciendo que la conversación vaya más allá de la producción real de métricas y se centre en cómo se comunican, a quién y con qué propósito.
Martín-Martín, A., Thelwall, M., Orduna-Malea, E. et al. Google Scholar, Microsoft Academic, Scopus, Dimensions, Web of Science y COCI de OpenCitations: una comparación multidisciplinaria de cobertura a través de citas. Cienciometría (2020). https://doi.org/10.1007/s11192-020-03690-4
.
Recientemente, han estado disponibles nuevas fuentes de datos de citas, como Microsoft Academic, Dimensions y OpenCitations Index of CrossRef open DOI-to-DOI citations (COCI). Aunque se han comparado con Web of Science Core Collection (WoS), Scopus o Google Scholar, no hay evidencia sistemática de sus diferencias entre las categorías de materias. En respuesta, este artículo investiga 3.073.351 citas encontradas por estas seis fuentes de datos en 2.515 documentos en inglés altamente citados publicados en 2006 de 252 categorías de temas, ampliando y actualizando el estudio anterior más grande.
Google Scholar encontró el 88% de todas las citas, muchas de las cuales no fueron encontradas por las otras fuentes, y casi todas las citas encontradas por las fuentes restantes (89-94%). Un patrón similar se mantuvo en la mayoría de las categorías temáticas. Microsoft Academic es el segundo más grande en general (60% de todas las citas), incluido el 82% de las citas de Scopus y el 86% de las citas de WoS.
En la mayoría de las categorías, Microsoft Academic encontró más citas que Scopus y WoS (182 y 223 categorías de materias, respectivamente), pero tuvo brechas de cobertura en algunas áreas, como Física y algunas categorías de Humanidades.
Después de Scopus, Dimensions ocupa el cuarto lugar más grande (54% de todas las citas), incluido el 84% de las citas de Scopus y el 88% de las citas de WoS. Encontró más citas que Scopus en 36 categorías, más que WoS en 185, y muestra algunas brechas de cobertura, especialmente en Humanidades.
Después de WoS, COCI es el más pequeño, con el 28% de todas las citas. Google Scholar sigue siendo la fuente más completa. En muchas categorías de materias, Microsoft Academic y Dimensions son buenas alternativas a Scopus y WoS en términos de cobertura.
Universo Abierto 