Archivo de la etiqueta: Evaluación

El papel de la evaluación de la investigación en el fortalecimiento de los sistemas de investigación y salud

Annette Boaz and Stephen Hanne. The role of the research assessment in strengthening research and health systems. LSE, 2020

Texto completo

Las evaluaciones del impacto de la investigación se consideran habitualmente una parte tediosa del proceso de investigación. Sin embargo, Annette Boaz y Stephen Hanney encuentran que adoptar un enfoque de sistemas para la investigación en salud demuestra el valor de evaluar el impacto. Basándose en ejemplos de una nueva revisión de la Red de Evidencia Sanitaria de la OMS, destacan el papel que desempeñan las evaluaciones de impacto para asegurar la financiación de la investigación y fortalecer el sistema de salud.

Se entiende que la investigación es crucial para las mejoras del sistema de salud. Sin embargo, asegurar la financiación para financiar la investigación y desarrollar la capacidad, y garantizar que la investigación se utilice para mejorar los sistemas de salud, sigue siendo un desafío.

Si bien para muchos investigadores la necesidad de proporcionar una evaluación del impacto de la investigación es una carga, la nueva  revisión para la OMS de las políticas para fortalecer los Sistemas Nacionales de Investigación en Salud (SNIS), destacan el valor y la importancia de incluir la evaluación del impacto de la investigación social en las estrategias para lograr fortalecimiento del sistema.

En un enfoque de sistemas, la necesidad de evaluaciones de impacto de la investigación como parte del componente de M&E se vuelve clara como un elemento fundamental que combina otras funciones para facilitar los objetivos clave:

1.Asegurar la financiación : la evaluación de los impactos puede proporcionar evidencias importantes para ayudar a respaldar los esfuerzos tanto para justificar la financiación pasada como para asegurar la financiación futura para desarrollar la capacidad y realizar investigaciones.

2. Lograr impactos : cuando los investigadores en salud saben que su trabajo podría evaluarse en parte según el impacto que tiene en la mejora de los sistemas de salud, tienen incentivos y justificaciones adicionales para dedicar tiempo a mejorar la probabilidad de que surjan tales impactos. Esto incluye involucrar a las partes interesadas en el establecimiento de la agenda y en la producción y difusión de la investigación. El análisis de 36 evaluaciones de programas de investigación en salud muestra que tales actividades de participación contribuyen a que la investigación satisfaga las necesidades de los sistemas de salud, lo que resulta en un mayor impacto.

Si bien un número cada vez mayor de sistemas de investigación en salud, y otros, están introduciendo la evaluación del impacto de la investigación, hacerlo plantea muchos desafíos, incluso en relación con los retrasos, las cuestiones de atribución y contribución, y la unidad de evaluación adecuada. 

Generar la evidencia para ayudar a mejorar la salud y los sistemas de salud es a menudo una motivación importante para muchos investigadores. Si bien la recopilación de datos para la evaluación de impacto puede parecer engorrosa, existe una creciente evidencia, ilustrada de que dicha evaluación tiene un papel vital que desempeñar en un sistema de investigación en salud que funcione bien, especialmente para ayudar a asegurar la financiación e incentivar y justificar los esfuerzos.

Lista de verificación de evaluación de la publicación por parte de bibliotecas universitarias

Skinner, K., & Lippincott, S. Values and Principles Framework and Assessment Checklist. Next Generation Library Publishing, 2020. https://doi.org/10.21428/6ffd8432.5175bab1

Texto completo

Ver también Encouraging Adherence to Values and Principles in Scholarly Publishing A case for assessment strategies.

El proyecto Next Generation Library Publishing (dirigido por Educopia Institute, California Digital Library, and Stratos, en colaboración co COAR, LYRASIS, and Longleaf Services y Arcadia) trata de mejorar los canales de publicación y las opciones disponibles para los autores, editores y lectores mediante el fortalecimiento, la integración y la ampliación de la infraestructura de publicación académica para apoyar a los editores de bibliotecas. Además de desarrollar herramientas y flujos de trabajo de publicación interoperables, explorando cómo crear modelos que se alineen de forma explícita y demostrativa con los valores académicos.

Next Generation Library Publishing Project (NGLP) invita a la comunidad a dar su opinión sobre el borrador de la publicación del marco de valores y principios y las herramientas de la lista de verificación de evaluación diseñado para evaluar e incentivar una mayor concordancia entre las herramientas, servicios y plataformas de publicación y las comunidades académicas y el público a los que sirve. A la espera de los comentarios del público, su publicación definitiva está prevista para 2021 para su amplia utilización.

Tutorial de citas en estilo APA 7a. ed.

 

 

apa-style-citation-tutorial-7th-edition-1024x1536-1

 

Sarah Adams y Debbie Feisst. APA Style Citation Tutorial. 7th edition. University of Alberta, 2020

Texto completo

 

Manual de la Biblioteca de la Universidad de Alberta para apoyar a los estudiantes y profesores. El tutorial explica por qué es importante usar citas, elementos de tipos de fuentes comunes y cómo crear referencias y citas en el texto según las pautas de la APA de la séptima edición. Este tutorial también se puede utilizar como recurso de referencia.

Lista de DORA de los 10 principales avances en evaluación de la investigación

 

dorabadge5

2019 in review: DORA’s list of the top 10 advances in research assessment December 19, 2019

Ver original

 

Al final de 2019, el comité directivo y el consejo asesor de DORA querían destacar las formas en que la reforma de la evaluación de la investigación ha avanzado en el último año. Desde nuevos datos sobre políticas de evaluación hasta el desarrollo de nuevas herramientas, la comunidad académica está tomando medidas para mejorar la evaluación de la investigación de maneras concretas.

  1. Una nueva investigación del Laboratorio de Comunicaciones Académicas de la Universidad Simon Fraser y sus colaboradores ha determinado cuánto se usa el Factor de Impacto de la Revista en las decisiones de revisión, promoción y tenencia en los Estados Unidos y Canadá. Estudios como este nos ayudan a comprender la magnitud del desafío que enfrenta DORA, pero también sirven como un estímulo para que las instituciones innoven y mejoren sus políticas de evaluación.
  2. Una institución que ya ha tomado medidas para reformar sus prácticas de evaluación de la investigación es la Universitat Oberta de Catalunya, que firmó DORA y publicó un plan de acción y un cronograma para mejorar la evaluación de la investigación en el campus. A finales de 2020, la universidad tiene como objetivo proponer indicadores para medir el impacto social de la investigación. También tienen la intención de ampliar la lista de resultados de la investigación para evaluar el impacto y la transferencia de la investigación. El plan fue desarrollado por el grupo de trabajo DORA de la universidad y aprobado por la Comisión de Investigación e Innovación. Si bien se lanzó a fines del año pasado, es necesario reconocer los esfuerzos de la universidad a lo largo de 2019 para implementar cambios generalizados.
  3. En septiembre, se lanzó el Research on Research Institute (RORI) en Londres para promover una investigación más estratégica, abierta, diversa e inclusiva. El instituto es una asociación entre Wellcome Trust, Digital Science y las universidades de Sheffield y Leiden. Un aspecto importante de su trabajo se centrará en la medición y la evaluación, incluida la ampliación y diversificación de los criterios e indicadores utilizados en la evaluación de la investigación. En términos más generales, al proporcionar una comprensión más profunda del panorama de la investigación, RORI tiene como objetivo mejorar la toma de decisiones, el avance profesional y la cultura de la investigación.
  4. Los Principios de Hong Kong para la Evaluación de Investigadores: Fomento de la Integridad de la Investigación se desarrollaron como parte de la Sexta Conferencia Mundial sobre Integridad de la Investigación. Las instituciones y los donantes pueden adoptar los principios para reconocer a los académicos por las actividades que conducen a una investigación confiable. Al igual que en DORA, los principios de Hong Kong enfatizan la importancia de considerar el valor de todas las contribuciones, productos y resultados del trabajo académico.
  5. En mayo, la guía de implementación revisada para el Plan S estableció la reforma de la evaluación de la investigación, de acuerdo con DORA, como un principio central. Los miembros de cOAlition S se comprometen a revisar sus políticas antes de enero de 2021 para evaluar la investigación por sus propios méritos en lugar del lugar donde se publica.
  6. Needhi Bhallla, miembro de la junta asesora de DORA, publicó una perspectiva que resume varias estrategias probadas para mejorar la equidad en la contratación de profesores. Algunos ejemplos incluyen la evaluación y revisión de los procesos de promoción y revisión departamental y el desarrollo de una rúbrica para evaluar las declaraciones de diversidad al comienzo de una búsqueda. Al adoptar estas medidas prácticas, las instituciones también aumentan la transparencia y la coherencia de las contrataciones de profesores.
  7. Muchas organizaciones están reconsiderando cómo estructurar las solicitudes de subvenciones y trabajos para fomentar procesos de revisión sólidos pero eficientes en el tiempo diferenciados de los factores de impacto de las revistas. En octubre, la Royal Society publicó el currículum vitae para investigadores para reconocer una gama más amplia de resultados y logros académicos. El Consejo de Investigación Holandés (NWO) también está probando un formato de CV narrativo para su esquema de financiamiento Veni y anunció en diciembre que haría lo mismo para la ronda Vici . Esta iniciativa permiten a los investigadores contextualizar su trabajo y diversas contribuciones de una manera que los números no pueden.
  8. En octubre, DORA y el Instituto Médico Howard Hughes reunieron a un grupo diverso de partes interesadas para considerar cómo mejorar las políticas y la práctica explorando diferentes enfoques para el cambio de cultura y sistemas. Las lecturas de antecedentes y los comentarios de los participantes proporcionan una mejor comprensión de las oportunidades y desafíos que enfrentan las instituciones de investigación con la reforma de la evaluación de la investigación. En 2020 se pondrán a disposición conjuntos de herramientas para ayudar a las instituciones a adoptar nuevas políticas y prácticas.
  9. El Consejo Latinoamericano de Ciencias Sociales (CLACSO) y el Consejo Nacional de Investigación y Tecnología de México (CONACYT) organizaron un Foro de Evaluación de Investigaciones en noviembre para dar inicio a un grupo de trabajo de dos años para identificar procedimientos alternativos de evaluación de las ciencias sociales en América Latina. . Estén atentos para recibir actualizaciones sobre su trabajo.
  10. Varias iniciativas intersectoriales tienen como objetivo desarrollar visiones más positivas de la cultura de la investigación, que está íntimamente conectada e impactada por las prácticas de evaluación de la investigación. El Wellcome Trust, por ejemplo, está tratando de redefinir la ‘excelencia’ mediante la inclusión de la consideración de cómo se lleva a cabo la investigación. Y la Royal Society está siguiendo su conferencia sobre cultura de investigación compartiendo ejemplos de cómo diferentes organizaciones están trabajando para mejorar la equidad, la diversidad y la inclusión; y fomentar una mayor colaboración.

Es posible que muchas cosas pueden sucedan en un año. Es difícil limitarse a 10 avances, si bien también merecen reconocimiento:

 

Declaración de la comunidad científica informática sobre la evaluación de la investigación

 

EbPBoj_WAAA12IK

 

Declaración de la comunidad científica informática sobre la evaluación de la investigación. Sociedad Científica de Informática de España, junio 2020

Texto completo

 

La investigación científica y los beneficios sociales derivados de ella, conforman gran parte del bienestar y la mejora de cualquier sociedad avanzada.

 

En España, el esfuerzo económico de la sociedad en apoyo de la investigación se canaliza mayoritariamente a través de las Universidades y Centros de Investigación Públicos, en donde se realizan evaluaciones periódicas para constatar la calidad de los logros alcanzados.

Esta declaración propone un nuevo marco para la evaluación de la investigación en informática en España, alineada con otras declaraciones internacionales y basada en cinco principios: la calidad de las publicaciones debe prevalecer sobre la cantidad de las mismas, siendo la opinión de los expertos la que debe primar sobre cualquier criterio basado únicamente en índices bibliométricos, la presencia y colaboración internacional, debiéndose valorar las conferencias internacionales de incuestionable calidad científica, el impacto social y de transferencia fuera del ámbito estrictamente científico, el liderazgo que conduzca a un impulso medible de la actividad investigadora y por último la investigación e innovación responsable, que posibilite el acceso abierto a los resultados de investigación y la contrastación de resultados

Principales temas de investigación y autores más destacados en Biblioteconomía y Documentación

 

school-librarian

 

Winklera. Bea ; Kiszla, Peter. Academic libraries as the flagships of publishing trends in LIS: a complex analysis of rankings, citations and topics of research. The Journal of Academic Librarianship Volume 46, Issue 5, September 2020.

Texto completo

 

El objetivo de este documento es identificar las tendencias de investigación y publicación en el campo de las Bibliotecas y las Ciencias de la Información (LIS) basadas en las publicaciones de los últimos cinco años.

El estudio sigue una metodología compleja. Primero, se definió el alcance de las revistas que se analizarán, utilizando los resultados del Scimago Journal Rank (SJR) del período comprendido entre 2013 y 2017, y luego se seleccionaron sus artículos más citados en base a datos de Web of Science (WoS). Durante el proceso de selección, también se realizó un análisis comparativo de las revistas, con varios criterios, para poder elegir finalmente 632 artículos, publicados entre 2014 y 2018, para incluirlos en la muestra de investigación. Luego se examinaron (1) los autores que aparecen con mayor frecuencia, (2) los artículos más citados, (3) las instituciones con mayor actividad de publicación, (4) los temas más comunes basados ​​en títulos, palabras clave y resúmenes, y (5) las conexiones entre todos los anteriores. 

Los resultados de los análisis proporcionan una visión general y una evaluación internacional de los principales temas de investigación y los representantes más destacados de LIS, todos los cuales están directamente relacionados con la noción y las actividades de las bibliotecas universitarias.

Estrategias de publicación científica

strategicscholarlypublishing

Fuente: Strategic scholarly publishing

Para un investigador, elegir dónde publicar y cómo promover su investigación es fundamental. La publicación académica estratégica implica seguir un enfoque sistemático para asegurar que publicar en el medio más efectivo y maximizar el éxito de sus esfuerzos. Esto ayudará a mejorar la reputación académica, aumentar la visibilidad y el impacto del trabajo y a aumentar el prestigio de la universidad o departamento como una institución de investigación de clase mundial y contribuir a los debates académicos en la disciplina.

Research Works. Scholarly Publishing tiene por objetivo ayudar en todas las etapas del proceso de publicación, desde la elección de la revista, los procesos de citación y escritura científica, a la utilización de identificadores y canales que favorecen la visibilidad y el descubrimiento de la información mejorando la reputación digital del investigador y por extensión de la universidad.

El modelo de publicación académica estratégica tiene cinco pasos:

  • Pensar qué revistas son las mejores para una investigación.
  • Comprobar cual maximizará el impacto académico del trabajo
  • Crear una experiencia editorial académica gratificante
  • Promover la investigación en los medios más adecuados
  • Rastrear y evaluar el rendimiento del artículo

1. ¿Qué revista?

El objetivo principal de la publicación es comunicar los resultados de la investigación en  su campo y la elección de la revista debe apoyar esto. Los factores básicos a considerar son:

  • La calidad de la revista
  • Reputación y prácticas de la revista
  • Reputación y prácticas de los editores
  • Relevancia para la disciplina
  • Requisitos específicos de la disciplina

2. Comprobar cual maximizará el impacto académico del trabajo

Las revistas pueden ser indexadas en diversas bases de datos como Scopus, Web of Science o PubMed. Las revistas que son indexadas por servicios como estos deben pasar por un riguroso proceso de selección. Por ejemplo, los criterios de selección de indización de revistas de Scopus y el proceso de selección de revistas de Web of Science buscan revistas que tengan:

  • Contenido de alta calidad revisado por pares
  • Horarios de publicación
  • Contenido con  atractivo internacional
  • Declaraciones de ética de la publicación.

Hay una serie de métricas diferentes que se utilizan para medir el impacto de las revistas, como la clasificación de las mismas y los factores de impacto. Los factores de impacto, los índices h y las clasificaciones de las revistas se basan en medidas como el porcentaje de documentos citados, las citas por artículo dentro o fuera de la revista, las autocitas y la colaboración internacional.

Cada servicio de indización tiene su propio sistema de clasificación de revistas. Algunos de los más comunes son SCImago y Journal Citation Reports. Si desea publicar en una revista Q1, la métrica puede ser un factor importante en su toma de decisiones.

3. Crear una experiencia editorial académica gratificante

El impacto de la investigación dependerá de que el artículo sea fácil de descubrir y de acceder. Para ello hay que elegir una editorial con un buen historial de apoyo al autor en lo que respecta a proporcionar oportunidades y recursos para asegurar la difusión del trabajo. Considerando algunas preguntas para determinar la forma en que el editor proporcionará apoyo al trabajo de investigación

  • ¿Incluye esta opción de cargos por publicación, por ejemplo, cargos por procesamiento de artículos (APC)?
  • ¿Cuál es el plazo de entrega previsto para la publicación?
  • ¿Se proporciona un enlace electrónico para compartir su trabajo publicado con sus colegas tras la publicación? (Se permite un número limitado de descargas)
  • ¿Ofrece el editor alternativas para publicar en otros idiomas que no sean el inglés?
  • ¿En qué medida el editor proporcionará apoyo promocional para el trabajo, si es que lo hace?
  • ¿Existe apoyo para optimizar la visibilidad del trabajo a través de identificadores persistentes reconocidos (ISSN, DOI, ORCID iD)?

4. Promover la investigación en los medios más adecuados

Una vez que haya recibido la notificación del editor de que el artículo se ha publicado, podrá utilizar una serie de herramientas y recursos para promocionar el trabajo.

Hay numerosas plataformas de medios sociales que puedes usar para promocionar el trabajo. Los investigadores de la disciplina pueden usar una plataforma en particular y debes concentrar los esfuerzos allí. Asegúrate de que tu uso profesional de los medios sociales esté cuidadosamente separado de tu uso personal.

Al igual que la promoción en el momento de la publicación, existen diversas formas de influir en la difusión y el alcance de la investigación mediante la promoción del trabajo después de la publicación. Si deseas compartir tu investigación en cualquiera de las plataformas de colaboración emergentes, debe ser consciente de tus derechos y responsabilidades en estos entornos.

5. Rastrear y evaluar el rendimiento del artículo

Es importante mostrar el impacto de su investigación publicada. Las métricas muestran cómo se lee, discute y aplica la investigación dentro y fuera de su campo. Los recuentos de citas tradicionales, Altmetrics y el discurso sobre cómo y dónde se está aplicando su investigación pueden dar una indicación del impacto de su trabajo y guiar sus futuros enfoques de publicación.

Considera los siguientes indicadores para rastrear y evaluar el impacto de su artículo:

  • Recuento de publicaciones – el número de publicaciones acreditadas a un autor en particular
  • La citación – el número de veces que un artículo ha sido citado por otros autores
  • Índice h – un indicador calculado de la productividad y el impacto de un investigador
  • Métricas alternativas – rastrea las menciones, gustos y acciones en una variedad de plataformas sociales, servicios en línea y sitios web
  • Publons record — su registro de revisión por pares y servicio en los consejos editoriales

Las medidas del impacto de la investigación son importantes para que la Universidad muestre su buen desempeño en el escenario mundial de la investigación. Una sólida reputación en materia de investigación atraerá a nuevos investigadores, socios colaboradores de los sectores industrial y gubernamental y abrirá nuevas oportunidades de financiación de la investigación.

¿Hasta qué punto algunas revistas negocian el factor de impacto?

 

d20190620-jcr-2018-incites-multidisciplinary-sciences-clarivate-analytics-684x500-1

 

Björn Brembs. Just How Widespread Are Impact Factor Negotiations?. Björn Brembs, 2016

Ver original

 

Durante la última década o dos, ha habido múltiples informes sobre sospechas de cómo determinados editores negociaban los factores de impacto de sus publicaciones con el “Instituto de Información Científica” (ISI), tanto antes como después de que Thomson Reuters lo comprara. Esto es se hace  a través de  negociar que cantidad de artículos son citables en el denominador para de ese modo incrementar el factor de impacto de la revista.

Los primeros en señalar que esto puede estar sucediendo en al menos cientos de revistas fueron Moed y van Leeuven ya en 1995 (y con más datos nuevamente en 1996 ). Uno de lamos primeros en mostrar cómo una sola revista logró esta hazaña fue Baylis et al.. en 1999 con su ejemplo de la revista FASEB logrando convencer al ISI de que elimine sus resúmenes de conferencia del denominador, lo que llevó a un salto en su factor de impacto de 0.24 en 1988 al 18.3 en 1989. Otro caso bien documentado es el de Current Biology cuyo el factor de impacto aumentó en un 40% después de la adquisición por parte de Elsevier en 2001. El primer caso hasta ahora revelado abiertamente sobre tales negociaciones fue el editorial de PLoS Medicinesobre sobre sus negociaciones con Thomson Reuters en 2006, donde el rango de negociación abarcó 2-11 (se conformaron con 8.4). Obviamente, tal evidencia directa de negociaciones es extremadamente rara y, por lo general, los editores se apresuran a señalar que nunca estarían ‘negociando’ con Thomson Reuters, simplemente les pedirían que ‘corrijan’ o ‘ajusten’ los factores de impacto de sus revistas para hacerlos más precisos. Dado que Moed y van Leeuwen ya descubrieron que la mayoría de esas correcciones parecían aumentar el factor de impacto, parece que estas correcciones solo tienen lugar si un editor considera que su FI es demasiado bajo y solo muy raramente si el FI puede parecer demasiado alto (y quién los culparía?) Además de los datos antiguos de Moed y van Leeuwen, tenemos muy pocos datos sobre cuán extendida está realmente esta práctica.

Un análisis recientede 22 revistas de biología celular ahora proporciona datos adicionales en línea con la sospecha inicial de Moed y van Leeuwen de que los editores pueden aprovechar la posibilidad de tales ‘correcciones’ de manera bastante generalizada. Si ocurrió algún error al azar y se corrigió de manera imparcial, entonces un análisis independiente de los datos de citas disponibles debería mostrar que dichos factores de impacto calculados independientemente se correlacionan con el factor de impacto publicado con errores positivos y negativos. Sin embargo, si las correcciones solo ocurren en la dirección que aumenta el factor de impacto de la revista corregida, entonces los factores de impacto publicados deberían ser más altos que los calculados independientemente. La razón de tal sesgo se debe encontrar en la falta del total de números de artículos en el denominador del factor de impacto publicado. Sin embargo, estos artículos “faltantes” se pueden encontrar, ya que se han publicado, simplemente no se cuentan en el denominador. Curiosamente, esto es exactamente lo que Steve Royle encontró en su análisis.

 

if_negotiations-1024x463-1

 

A la izquierda, se ve que cualquier desviación de la correlación perfecta siempre es hacia el factor de impacto mayor y a la derecha se puede apreciar que algunas revistas muestran una gran cantidad de artículos que no se contabilizan para así incrementar el factor de impacto.

Claramente, nada de esto equivale a evidencia inequívoca de que los editores están aumentando sus ‘temas principales’  tanto para citar sus propios artículos, como para recibir citas del exterior, solo para luego decirle a Thomson Reuters que corrija sus registros. Nada de esto es prueba de que los editores negocian habitualmente con el ISI para inflar sus factores de impacto, y mucho menos que los editores intentan habitualmente hacer que la clasificación de sus artículos sea citable o no intencionalmente difícil. Existen numerosas explicaciones alternativas. Sin embargo, personalmente, encuentro que los dos documentos antiguos de Moed y Van Leeuwen y este nuevo análisis, junto con el tema comúnmente reconocido de clasificación de documentos por el ISI, son lo suficientemente sugerentes, pero probablemente soy parcial.

 

Ranking de universidad de Leiden 2020

 

lr2020-banner

 

Ranking Mundial

Ranking Univ. Españolas

 

El CWTS Leiden Ranking 2020 ofrece un ranking sobre el rendimiento científico de más de las 1000 universidades más importantes de todo el mundo. Selecciona tus indicadores preferidos, genera resultados y explora el rendimiento de las universidades.

El Ranking de Leiden permite seleccionar sofisticados indicadores bibliométricos, generar resultados basados en estos indicadores y explorar los resultados desde tres perspectivas diferentes. La más conocida es la tradicional vista de lista, en la que se pueden clasificar las universidades según un indicador seleccionado. El Ranking de Leiden ofrece dos perspectivas adicionales: la vista de gráfico y la vista de mapa. La vista de gráfico muestra las universidades en un diagrama de dispersión, de modo que puedes explorar el rendimiento de las universidades utilizando dos indicadores seleccionados. La vista del mapa muestra las universidades en un mapa mundial y proporciona una perspectiva geográfica de las universidades y su rendimiento.

Se pueden proporcionar indicadores por países, todo el mundo, según área científico, acceso abierto, colaboración… etc. Y visualizarlos como lista, gráfico o mapa.