Archivo de la etiqueta: Evaluación

Clarivate añade un índice de citas de preprints a Web of Science

Preprint Citation Index

Clarivate ha añadido «Preprint Citation Index»a la plataforma Web of Science, se trata una colección multidisciplinar de preprints procedentes de una amplia gama de los principales repositorios de preprints. La finalidad de este cambio es que los investigadores puedan localizar y enlazar a preprints junto a otros contenidos de confianza en la base de datos, para agilizar el proceso de investigación y ayudar a establecer conexiones significativas más rápidamente.

En la publicación académica, un preprint es una versión de un trabajo de investigación o resultado disponible públicamente en repositorios en línea antes de la revisión por pares. El acceso a los preprints en la Web of Science agiliza y facilita a los investigadores su inclusión en los flujos de trabajo de investigación existentes. Permite el acceso inmediato a preprints actualizados, agregados y con capacidad de búsqueda desde repositorios seleccionados vinculados a los perfiles de los autores.

En el momento de su lanzamiento, Preprint Citation Index ofrece casi dos millones de preprints de los repositorios arXiv, bioRxiv, chemRxiv, medRxiv y Preprints.org. A lo largo de 2023 se añadirán documentos de más de una docena de repositorios adicionales. Los registros de preprints se pueden encontrar junto con otros resultados académicos en Web of Science y están conectados a las versiones finales de los registros, si procede. Aparecen claramente marcados en los resultados de búsqueda y no se incluyen en ninguna métrica de citas, como Times Cited Counts o Journal Impact Factor™ (JIF) dentro de Web of Science Core Collection™ o Journal Citation Reports™.

El Preprint Citation Index permite a los usuarios:

  • Localizar versiones de registro (cuando proceda) de preprints: Encontrar y referenciar artículos revisados por pares con enlaces desde los preprints en Web of Science Core Collection.
  • Conectar preprints con artículos de revistas: Descubrir conexiones entre preprints de vanguardia indexados en el Preprint Citation Index y artículos de revistas indexados en Web of Science Core Collection mediante enlaces de citas.
  • Amplíar la visión de la experiencia de un investigador: Sitúa los preprints en el contexto de la carrera de un investigador con los preprints mostrados en el perfil de investigador de Web of Science de un autor.
  • Supervisar las nuevas investigaciones en varios repositorios: Un autor puede establecer una alerta por palabras clave o por un investigador de su interés para recibir una notificación cuando estén disponibles preprints relevantes.

Cada registro del producto contiene metadatos bibliográficos estándar como autor, resumen, palabras clave, términos descriptores, etc. Los metadatos mejorados incluyen las direcciones completas de los autores, la financiación de las subvenciones y las referencias citadas. No se incluyen metadatos completos de versiones.

FUENTE: Clarivate. «Clarivate Adds Preprint Citation Index to the Web of Science», 9 de febrero de 2023. https://clarivate.com/news/clarivate-adds-preprint-citation-index-to-the-web-of-science/.

Los rankings universitarios y sus críticos: ¿una relación simbiótica?

Impact of Social Sciences. «University Rankings and Their Critics – a Symbiotic Relationship?», 6 de febrero de 2023. https://blogs.lse.ac.uk/impactofsocialsciences/2023/02/06/university-rankings-and-their-critics-a-symbiotic-relationship/.

A pesar de ser objeto de críticas constantes, los rankings universitarios han demostrado ser una característica resistente de la vida académica. Julian Hamann y Leopold Ringel analizan esta relación y sugieren que los que elaboran las clasificaciones y sus críticos se refuerzan mutuamente.

Recientemente, las prestigiosas facultades de Derecho y Medicina de Estados Unidos anunciaron su retirada de los rankings de U.S. News & World Report. Esto se convirtió inmediatamente en noticia, porque los rankings y las instituciones de enseñanza superior (IES) de élite han desarrollado una dependencia mutua: los rankings dependen de la participación de las IES de élite y de su prestigio para mejorar su propia reputación. Las IES de élite dependen de las clasificaciones porque los antiguos alumnos, los solicitantes y los responsables políticos las juzgan en función de su clasificación.

Sin embargo, algunas IES de élite estaban dispuestas a poner fin a esta relación. En noviembre de 2022, el decano de la Facultad de Derecho de Yale declaró que «las clasificaciones sólo son útiles cuando siguen una metodología sólida y limitan sus parámetros a lo que los datos pueden captar razonablemente». En un tono similar, el decano de la Facultad de Derecho de Harvard expresó su «preocupación por algunos aspectos de la metodología de clasificación de U.S. News». Otras facultades de Derecho y Medicina siguieron su ejemplo.

¿cómo prevalecen las rankings universitarias a pesar de enfrentarse a críticas generalizadas (y a veces hostiles)? Este estudio podría ofrecer algunas pistas al respecto.

Una idea importante de nuestro estudio es que las críticas sonoras no son nada nuevo. Si los rankings son un modelo de negocio de éxito, también lo es la investigación crítica sobre los rankings (recibir una invitación para escribir en este blog es un ejemplo de ello). Identificamos dos modos de crítica de las clasificaciones que dominan tanto el discurso académico como los debates en el dominio público.

El primer modo llama la atención sobre los efectos negativos. Los rankings supuestamente producen y consolidan desigualdades, inculcan un comportamiento oportunista por parte de quienes intentan anticiparse a los criterios de clasificación y atentan contra la independencia de la educación superior y la ciencia. La segunda modalidad se refiere a las deficiencias metodológicas. Los críticos sostienen que las medidas utilizadas son demasiado burdas y simplistas, que la metodología y los datos no son suficientemente transparentes y que ni la validez ni la fiabilidad son suficientes. Sorprendentemente, las últimas críticas de las facultades de Derecho y Medicina de Estados Unidos reflejan exactamente este sentimiento, ya que invocan cuestiones metodológicas.

¿Cómo sortean los rankings estos retos? Los creadores de los rankings han desarrollado dos modos de respuesta. La primera podría caracterizarse como defensiva: Los responsables de los rankings o bien restan importancia a su propia influencia y afirman que existen muchos enfoques para medir el rendimiento de las universidades, o bien hacen hincapié en que los rankings son inevitables y «están aquí para quedarse». El segundo modo (respuestas seguras) reivindica una amplia demanda de evaluaciones del rendimiento universitario, demuestra competencia científica o temporaliza los rankings enmarcándolas como siempre necesitadas de mejora. Al hablar de cuestiones de mejora, los responsables de los rankings aluden a menudo a la importancia de obtener ayuda de los investigadores. Por ejemplo, en un folleto sobre la metodología de los Impact Rankings, Times Higher Education invita a la crítica afirmando: «¡podemos mejorar el enfoque!». En la misma línea, los representantes de los rankings de U.S. News & World Report esbozan esta postura ostentosamente constructiva: «Aunque la metodología es el resultado de años de investigación, perfeccionamos continuamente nuestro enfoque basándonos en los comentarios de los usuarios, las conversaciones con escuelas y expertos en educación superior, las revisiones bibliográficas, las tendencias de nuestros propios datos, la disponibilidad de nuevos datos y la participación de decanos e investigadores institucionales en conferencias sobre educación superior».

El punto general aquí es que los clasificadores intentan dispersar la responsabilidad mediante la asunción de sus críticos. Cabe señalar que, para que esta estrategia tenga éxito, los críticos tienen que aceptar la oferta y participar realmente en conversaciones públicas. La crítica metodológica, al parecer, es la palanca clave para iniciar y mantener este compromiso mutuo: incluso cuando se acaloran, este tipo de debates siguen siendo constructivos en el sentido de que, según su lógica subyacente, los rankings deberían ser más rigurosas, fiables y válidas.

Creemos que nuestro estudio supone una importante contribución a la investigación sobre educación superior, que sólo ha prestado una atención menor al «trabajo discursivo» que hace que los rankings universitarios sean resistentes. Para una comprensión exhaustiva del tema, es necesario seguir explorando los rankings universitarios como fenómenos discursivos, lo que implica tratar en igualdad de condiciones tanto los elogios como las críticas que reciben. Esto también implica que debemos ser más conscientes de nuestra propia agencia: nos guste o no, como investigadores críticos podemos contribuir involuntariamente a la institucionalización de los rankings universitarios.

¿Cómo debemos interpretar, entonces, las recientes abandonos de las clasificaciones universitarias en la enseñanza superior estadounidense? Teniendo en cuenta nuestras conclusiones, y la última promesa de U.S. News & World Report de escuchar a los críticos y mejorar la metodología, nos inclinamos a proyectar que la empresa volverá con una clasificación totalmente nueva el año que viene. Lo más probable es que este episodio no sea el final del régimen de clasificación, sino que resulte ser una oportunidad más para crear resiliencia discursiva.

Publons: cómo acreditar y registrar tu actividad de revisión por pares

Rewarding your peer review and editorial contributions: Publons
By Chantal Hukkelhoven, 2019

Texto completo

Los investigadores dedican mucho tiempo y esfuerzo a revisar los manuscritos de otros investigadores, pero generalmente no son recompensados ​​por esta actividad ya que las revisiones suelen ser anónimas.

Publons es una plataforma integrada en Web of Science que crea y muestra perfiles verificados de las contribuciones editoriales y de revisión por pares previas a la publicación de un investigador para revistas académicas. Estos perfiles pueden incluirse, entre otros, en el currículum vitae, las solicitudes de financiación y las evaluaciones de promoción y rendimiento.

Estos perfiles pueden incluirse, entre otros, en el currículum vitae, las solicitudes de financiación y las evaluaciones de promoción y rendimiento. Publons también crea una visión general de la calidad de tus revisiones en comparación con sus pares. También es posible importar y mostrar tus propias publicaciones en Publons.

Formas de agregar revisiones de pares a tu perfil en Publons:

  1. Agregar revisiones realizadas para revistas asociadas a Web of Sciece
  2. Envíar certificados de revisión a reviews@publons.com
  3. Habilitar actualizaciones automáticas
  4. Agregar reseñas a través de los formularios en el sitio

En Publons puedes mantener el perfil privado o puedes mostrar varios niveles de detalles sobre cada revisión individual, como el año, el nombre del editor, el nombre de la revista o incluso el texto completo de la revisión, aunque las revistas pueden optar por anular este último. El contenido de la reseña se comparte mediante una licencia Creative Commons CC BY 4.0. También se muestra la duración media de la revisión en comparación con otras en su campo o institución, lo que sirve como indicador de la calidad de su trabajo.

También existen alternativas a Publons para registrar tus actividades editoriales y de revisión previas a la publicación. Hace unos seis meses, ORCID lanzó una función que agrega esta información tu perfil de ORCID. También existen otras plataformas menos conocidas, como Peerage of Science, como alternativa a Publons. Además, existen plataformas que registran tus reseñas después de la publicación, por ejemplo, F1000Research.

Evaluación de los servicios de información de la biblioteca y demostración del valor mediante el método de diseño a medida

Walker, Philip. Library Impact Practice Brief: Assessing Library Information Services and Demonstrating Value through the Tailored Design Method. Washington, DC: Association of Research Libraries, November 2022

Texto completo

Demostrar el valor de una biblioteca biomédica puede ser una tarea desalentadora y algo ineficaz. La base bibliográfica actual contiene muchos artículos que intentan alcanzar este objetivo analizando las colecciones mediante el uso de recursos y el análisis de citas. Sin embargo, con los presupuestos que compiten en los campus universitarios, se ha vuelto esencial investigar y desarrollar métodos en los que las bibliotecas puedan correlacionar las colecciones y los servicios en relación con su papel como socio en las misiones académicas, educativas y de servicio de nuestras instituciones.

Este resumen de prácticas analiza varios métodos y estrategias en los que la Biblioteca Biomédica Familiar Annette e Irwin Eskind y el Centro de Aprendizaje trataron de identificar, recopilar, analizar y difundir datos relevantes para demostrar su impacto o valor añadido a la empresa de investigación en la Universidad de Vanderbilt y el Centro Médico de la Universidad de Vanderbilt. Este trabajo se realizó como parte de la participación de la biblioteca en la iniciativa ARL Research Library Impact Framework.

Clarivate publica la lista de investigadores más citados de 2022

Highly Cited Researcher

La metodología se basa en los datos del índice de citas de Web of Science™, junto con el análisis realizado por expertos bibliométricos y científicos de datos del Institute for Scientific Information (ISI)™ de Clarivate.

Los analistas del ISI han concedido la designación de Investigador Altamente Citado 2022 a 6.938 investigadores de todo el mundo que han demostrado una influencia significativa en su campo o campos elegidos durante la última década. La lista es realmente global, ya que abarca 69 países o regiones y se extiende por una amplia gama de campos de investigación en las ciencias y las ciencias sociales.

Este año, Clarivate ha ampliado el análisis cualitativo de la lista de Investigadores Altamente Citados, para hacer frente a la creciente preocupación por posibles conductas indebidas (como el plagio, la manipulación de imágenes o la falsa revisión por pares). Con la ayuda de Retraction Watch y su incomparable base de datos de retractaciones, los analistas de Clarivate buscaron pruebas de mala conducta en todas las publicaciones de los integrantes de la lista preliminar de Investigadores Muy Citados. Los investigadores que han cometido una mala conducta científica en procedimientos formales llevados a cabo por la institución del investigador, una agencia gubernamental, un financiador o un editor son excluidos de la lista de Investigadores Altamente Citados.

Las principales conclusiones para 2022 son:

  • 6.938 investigadores de 69 países y regiones han sido nombrados este año. Algunos investigadores extraordinarios son reconocidos en múltiples campos de investigación de Essential Science Indicators™ (ESI): 219 nombrados en dos campos, 28 nombrados en tres campos y 4 nombrados en cuatro campos. Sus logros son realmente excepcionales e indican una amplia influencia multidisciplinar entre sus compañeros. En total, hay 3.981 premiados en campos específicos y 3.244 premiados por su impacto en otros campos, con un total de 7.225 premiados entre todos los investigadores individuales nombrados este año.
  • Estados Unidos es el lugar institucional de 2.764 de los investigadores altamente citados en 2022, lo que supone el 38,3% de la lista total, frente al 43,3% de 2018. Aunque continúa la lenta pérdida de cuota de los Investigadores Altamente Citados con sede en Estados Unidos, este país sigue liderando claramente el mundo en cuanto a la influencia de la investigación.
  • China continental es el segundo lugar este año, con 1.169 Investigadores Altamente Citados – continuando a cerrar la brecha con los EE.UU. En cinco años, China continental ha duplicado su participación en la población de Investigadores Altamente Citados – del 7,9% en 2018 al 16,2% este año.
  • El Reino Unido ocupa el tercer lugar con 579 investigadores o el 8,0%. Este es un número notablemente alto de investigadores en la cima de sus campos en términos de impacto de citación, dado que el Reino Unido tiene una población de 1/5 del tamaño de los Estados Unidos y 1/20 del tamaño de China continental.
  • Este año, Alemania ha adelantado a Australia, situándose en el cuarto puesto con 369 investigadores, y Australia en el quinto con 337 investigadores. Por detrás se sitúan Canadá (226), Países Bajos (210), Francia (134), Suiza (112) y Singapur (106), que se incorpora este año al top 10 al descender España.
  • La Universidad de Harvard, que cuenta con 233 investigadores en la lista, vuelve a ser la institución con mayor concentración de investigadores muy citados del mundo. Las organizaciones de investigación gubernamentales y financiadas con fondos públicos también ocupan un lugar destacado en el top 10 institucional: la Academia China de las Ciencias ocupa el segundo lugar en la clasificación general (228), reduciendo la distancia con Harvard, seguida por los Institutos Nacionales de Salud de Estados Unidos (113) y la Sociedad Max Planck de Alemania (67). La Universidad de Pensilvania se ha incorporado este año al top 10, saltando 7 puestos desde el número 17 de 2021.

La única investigadora altamente citada de la Universidad de Salamanca es María Victoria Mateos Manteca de Medicina Clínica que trabaja en el Instituto Biosanitario de Salamanca (IBSAL).

Métricas de la producción académica

Métricas de la producción académica: evaluación de la investigación desde América Latina y el Caribe. Gabriel Vélez Cuartas. Thaiane Moreira de Oliveira. Francisco Collazo. Alejandro Uribe Tirado. Laura Rovelli. Judith Naidorf. [Compiladores]. Buenos Aires. CLACSO. Latmétricas, 2022

Texto completo

Existe una creciente presión sobre las revistas científicas, por parte del paradigma internacional de calidad usando indicadores de impacto de citas, con fuerte influencia de empresas comerciales que producen las bases de datos bibliográficas, y de las oficinas de fomento a la investigación, que actúan como organismos evaluadores y determinan criterios de clasificación de revistas, con fines de distribución de recursos para la investigación y educación superior. Estos criterios impuestos tienen consecuencias perversas para las revistas de la región, muchas de las cuales tienen un rol importante en la comunicación científica regional, ya que abordan temáticas de interés local, llenan brechas y tienden puentes de conocimiento, al tiempo que contribuyen a la capacitación de investigadores en principio de carrera. El problema adquiere una dimensión regional porque los cambios implementados en un país tienen el potencial de afectar las revistas de los demás. Es necesario seguir discutiendo este tema, y es hora de proponer una alternativa concreta y acciones conjuntas para la evaluación de la producción científica a nivel regional.

Trabajo invisible, valor invisible: cambo de los sistemas de evaluación de las bibliotecas universitarias para demostrar mejor su valor

Clarke, Rachel Ivy, Katerina Lynn Stanton, Alexandra Grimm, y Bo Zhang. «Invisible Labor, Invisible Value: Unpacking Traditional Assessment of Academic Library Value. College & Research Libraries», 3 de noviembre de 2022. https://doi.org/10.5860/crl.83.6.926.

Las bibliotecas universitarias se enfrentan cada vez más a menudo a una presión mayor para demostrar su valor a las partes interesadas, pero las evaluaciones tradicionales de su valor financiero ignoran el trabajo de los bibliotecarios y el personal de la biblioteca en la producción de colecciones y servicios utilizables para los usuarios. A través de una encuesta realizada a los trabajadores de las bibliotecas universitarias estadounidenses, se examina la gama, el alcance y el valor financiero del trabajo realizado en las bibliotecas universitarias estadounidenses. Los resultados revelan que los mecanismos tradicionales de evaluación hacen que este trabajo sea invisible para las partes interesadas. Se índica que hacer que este trabajo sea más visible ayudará a comunicar mejor el valor de las bibliotecas universitarias y animará las conversaciones sobre la reducción de la carga de trabajo y el estrés de los trabajadores de las bibliotecas.

Las mediciones actuales del valor financiero de las bibliotecas universitarias, como el retorno de la inversión y la valoración de contingencias, contienen el trabajo de las bibliotecas sólo como una parte pasiva del presupuesto de la biblioteca. Sin esta consideración fundamental, la biblioteconomía siempre carecerá de una comunicación satisfactoria del verdadero cálculo del valor, que puede conducir a una mayor comprensión de toda la gama de lo que ofrecen las bibliotecas. Dada esta importante laguna en las consideraciones sobre el valor de las bibliotecas, se plantean las siguientes preguntas de investigación:

¿Cuál es la gama y el alcance del trabajo realizado en las bibliotecas universitarias estadounidenses?
¿Cuál es el valor económico de ese trabajo?
¿Qué aspectos de ese trabajo son invisibles, si es que lo son?

¿Cómo facilitan los espacios de las bibliotecas la investigación innovadora, el pensamiento creativo y la resolución de problemas?

Davis, Greg, Katie Wampole, and Linda Anderson. Library Impact Practice Brief: Supporting Library Spaces Research in the Iowa State University Library with Project Outcome. Washington, DC: Association of Research Libraries, September 27, 2022. https://doi.org/10.29242/report.iowastateu2022.

Texto completo

En el ajetreado mundo del trabajo de evaluación de las bibliotecas de investigación universitarias, ¿pueden las herramientas de evaluación basadas en los resultados, sencillas y fáciles de usar, contribuir de manera significativa y procesable a la toma de decisiones de la biblioteca? Esta fue la pregunta central de un proyecto llevado a cabo por el personal de la unidad de Evaluación y Planificación de la Biblioteca de la Universidad Estatal de Iowa (ISU) como parte de la participación de la biblioteca en la iniciativa ARL Research Library Impact Framework. El proyecto de la ISU se realizó en apoyo de la pregunta de investigación de la ARL: «¿Cómo facilitan los espacios de las bibliotecas la investigación innovadora, el pensamiento creativo y la resolución de problemas?» El proyecto de investigación de la ISU se basó en el uso de la herramienta de encuesta Project Outcome for Academic Libraries de la Association of College and Research Libraries (ACRL). En el proyecto de la ISU, los datos se recopilaron y analizaron utilizando la encuesta de espacios Project Outcome, una vez cada semestre, desde el otoño de 2018 hasta el otoño de 2021.

Evaluación de la investigación: orígenes, evolución y resultados

Research assessment: origins, evolution, outcomes. Clarivate oct. 2022

Texto completo

En este informe, revisamos los resultados y los cambios en el rendimiento regional de la investigación que pueden vincularse a la política de evaluación de la investigación.

Se analiza la evaluación de la investigación, sus orígenes, cómo funciona en diferentes regiones y qué efectos tiene en la educación superior y en la política de financiación, basándonos en los datos de Web of Science™. La característica más importante de cualquier sistema de evaluación debería ser la medida en que atrae y conserva la confianza de los investigadores.

Se analizan la estructura y el rendimiento de seis sistemas:

  • El Reino Unido estableció el primer modelo de evaluación periódica de la investigación. Tuvo efectos generalizados en la gestión institucional y en el comportamiento de los investigadores.
  • Australia cuenta con una evaluación exhaustiva de la investigación que trata de medir tanto el impacto académico como el beneficio social más amplio. Sin embargo, no influye en la financiación directa de la investigación y puede no estar relacionada con el rendimiento de la investigación indexada por citas.
  • Canadá se centra en la «movilización del conocimiento» en áreas de investigación específicas en lugar de evaluar los resultados generales de la investigación.
  • Alemania promueve su estatus de investigación mediante la financiación en bloque de la «Iniciativa de Excelencia» a organizaciones de investigación sin evaluaciones regulares a nivel nacional.
  • El sistema de evaluación de la investigación de Hong Kong es similar al modelo del Reino Unido. Sin embargo, se basa en una concepción distintiva de la erudición y en el beneficio socioeconómico, además de la excelencia.

Toolkit para iniciar del ciclo de investigación y evaluación de las bibliotecas

Research and Assessment Cycle Toolkit. 2022

El programa de Investigación y Análisis de la Association of Research Libraries (ARL) ha lanzado el kit de herramientas del ciclo de investigación y evaluación. Este recurso ayudará a los trabajadores de las bibliotecas a desarrollar o ampliar sus conocimientos y habilidades en los procesos de evaluación de las bibliotecas. El kit de herramientas es un resultado de la iniciativa Research Library Impact Framework, un proyecto de tres años en el que 18 equipos de bibliotecas de la ARL exploraron cinco preguntas de investigación centradas en los servicios de la biblioteca, las operaciones, el impacto y la alineación con la misión y los objetivos institucionales.

– El toolkit del ciclo de investigación y evaluación incluye 23 vídeos de formación y materiales de apoyo que:

  • Revisar los principios y las prácticas de la evaluación de las bibliotecas
  • Permitir a los trabajadores de la biblioteca desarrollar las habilidades necesarias para evaluar los programas, servicios, recursos y espacios de la biblioteca
  • Apoyar el lanzamiento de proyectos de evaluación desde el desarrollo de la pregunta de investigación hasta la conclusión, incluyendo la acción sobre los resultados
  • Son modulares, accesibles para los recién familiarizados con la evaluación de bibliotecas y fáciles de seguir
  • Apoyan a una comunidad de aprendizaje