Archivo de la etiqueta: Impacto

Correlación entre las altmetrías a través de Mendeley (F1000) y la calidad de la investigación

42353423662_d6e979faf7_o_d

Bornmann L and H. R «Do altmetrics correlate with the quality of papers? A large-scale empirical study based on F1000Prime data.» PLoS ONE vol. 13, n. 5 (2018). pp.: https://doi.org/10.1371/journal.pone.0197133

 

Este estudio, aborda la cuestión de si (y hasta qué punto, respectivamente) los indicadores altmétricos está relacionada con la calidad científica de los trabajos (medida por las evaluación por pares). Sólo unos pocos estudios han investigado previamente la co-relación entre altmetrics y la evaluación por pares. Primero se analizan las dimensiones subyacentes de la medición para las métricas tradicionales (recuentos de citas) y la altmetría utilizando el análisis de componentes principales (PCA) y el análisis factorial (FA). En segundo lugar, se analiza la relación entre las dimensiones y la calidad de los trabajos (medida por el sistema de revisión por pares posterior a la publicación en las evaluaciones del portal F1000Prime), utilizando un análisis de regresión. Los resultados del PCA y FA muestran que la altmetría opera a lo largo de diferentes dimensiones, mientras que los recuentos de Mendeley están relacionados con los recuentos de citas, y los tweets forman una dimensión separada. Los resultados del análisis de regresión indican que las métricas basadas en citas y los conteos de lectores están significativamente más relacionados con la calidad que con los tweets. Este resultado, por un lado, cuestiona el uso de los recuentos de Twitter para fines de evaluación de la investigación y, por otro lado, indica el uso potencial de los recuentos de lectores de Mendeley.

 

 

Revisión científica y revisión abierta. Planeta biblioteca 2018/05/09

40205026360_b9103c312d_b_d

Escuchar el programa de radio

Ir a descargar

 

La revisión por pares (en inglés peer review), es el sistema utilizado para evaluar la calidad de la investigación científica antes de su publicación. Los investigadores independientes en el mismo campo escrutan trabajos de investigación para otorgarles autoridad, validez, importancia y originalidad y de este modo ayudar a los editores a evaluar si los trabajos de investigación deben ser publicados en su revista. La revisión por pares generalmente se percibe como el estándar de oro y es un proceso de enorme importancia para la gestión del contenido del registro científico publicado y para la evolución de las carreras académicas de los científicos que lo producen. En el programa hablamos de como se conforman los comités científicos, como se desarrolla el proceso, que aspectos se evalúan de una investigación, las deficiencias del sistema y las alternativas al mismo, especialmente en un entorno digital en expansión que impulsa cambios en los criterios  para medir el impacto de la investigación y erudición.

En este momento, los desarrolladores de sistemas de información están experimentando con nuevas herramientas para la validación de los productos de investigación que facilita cuestiones tales como el acceso abierto a la investigación. Estas herramientas permiten a los investigadores registrar la investigación y ponerla fácilmente al alcance de otros investigadores. Por ello son muchas las voces que abogan por un sistema de revisión más abierto y transparente.

Ver además

Revisión científica: monográfico

Plataformas que practican revisión abierta:

Algunas sugerencias de lectura citadas:

  • Best Practices in Peer Review : AAUP Manual.The Association of American University Presses (AAUP) 2016 Texto completo
  • Guthrie, S., B. Guérin, et al. [eBook]  Alternatives to Peer Review in Research Project Funding. Santa Monica, CA, RAND, 2013 Texto completo
  • Buenas Prácticas para la Evaluación por Pares. [e-Book] Santiago de Chile, Association of American University Presses. Foro de Editores de Chile Texto completo
  • Wager, E., F. Godlee, et al. (2002). [e-Book] How to Survive Peer Review. London, BMJ. Texto completo
  • Burley, R. and E. Moylan (2017). [e-Book] What might peer review look like in 2030? A report from BioMed Central and Digital Science. Digital Science and BioMed Central. Texto completo
  • Alonso-Arévalo, Julio. Mejores contenidos, mayor prestigio: adquisición de originales, evaluación y rankings. VII Foro Internacional de Edición Universitaria y Académica. Feria Internacional del Libro de Guadalajara (FIL), 2016. Martes 29 de noviembre de 11:45 a 13:00 horas. Texto completo – PREZI
  • Ross,Tony Disambiguating post-publication peer review.  2016-09-14 scholarly communication en OpenAire blog Ver completo
  • Wilson, J. et al.  [e-Book] Peer Review: The nuts and bolts. London: Sense About Science, 2014 Texto completo
  • Kriegeskorte, N. and D. Deca (2012). [e-Book]  Beyond open access: visions for open evaluation of scientific papers by post-publication peer review, Frontiers, 2012. Texto completo

Casi el 90% de las personas dice que Internet ha sido algo bueno para las personas y la sociedad en general

 

Smith, A. and T. Caiazza (2018). [e-Book] Declining Majority of Online Adults Say the Internet Has Been Good for Society. New York, Pew Research Center, 2018

Texto completo

 

La mayoría de los adultos en línea dicen que Internet ha sido bueno ellos y para  para la sociedad en general, pero al mismo tiempo crece el número de personas que también ven aspectos negativos del uso de esta tecnología. Por otra parte, los contornos de la conectividad están cambiando: Uno de cada cinco estadounidenses son ahora usuarios de Internet «sólo a través de teléfonos inteligentes» en sus hogares.

 

Los estadounidenses tienden a ver el impacto de Internet y otras tecnologías digitales en sus propias vidas de manera muy positiva, según las encuestas del Pew Research Center a lo largo de los años. Una encuesta de adultos estadounidenses realizada en enero de 2018 encuentra evidencias continuas de esta tendencia, la gran mayoría de los usuarios de Internet (88%) dice que Internet, en general, ha sido algo bueno para ellos personalmente.

Pero incluso cuando ven el impacto personal de Internet de manera positiva, los estadounidenses se han vuelto algo más ambivalentes sobre el impacto de la conectividad digital en la sociedad en su conjunto. Una gran mayoría de adultos en línea (70%) sigue creyendo que Internet ha sido algo bueno para la sociedad. Sin embargo, la proporción de adultos en línea que dicen esto ha disminuido en un modesto, pero significativo porcentaje de 6 puntos desde principios de 2014, cuando el Pew Research hizo la primera pregunta. Esto se equilibra con un aumento correspondiente (del 8% al 14%) en la proporción de adultos en línea que dicen que el impacto social de Internet es una mezcla de lo bueno y lo malo. Mientras tanto, el porcentaje que dice que Internet ha sido algo mayormente malo para la sociedad no ha cambiado mucho en ese tiempo: el 15% lo dijo en 2014, y el 14% lo dice hoy en día.

Este cambio de opinión con respecto al último impacto social de Internet es particularmente marcado entre los estadounidenses más mayores, a pesar del hecho de que los adultos han sido especialmente rápidos adoptadores de tecnologías de consumo como los medios sociales y los teléfonos inteligentes en los últimos años. Hoy en día, el 64% de los adultos en línea de 65 años de edad y mayores dicen que Internet ha sido en su mayor parte algo bueno para la sociedad. Eso representa una disminución de 14 puntos desde el 78% que dijo esto en 2014. Las actitudes de los adultos más jóvenes se han mantenido más consistentes durante ese tiempo: el 74% de los usuarios de Internet entre las edades de 18 a 29 años dicen que Internet ha sido en su mayoría bueno para la sociedad, en comparación con el 79% que lo dijo en 2014.

En cuanto al grado formativo, la respuesta es muy similar a los datos de la encuesta de 2014, es más probable que los graduados universitarios digan que Internet ha tenido un impacto positivo en la sociedad (y menos probable que digan que ha tenido un impacto negativo) que aquellos con niveles más bajos de educación. Entre los adultos en línea con un título universitario, el 81% dice que el impacto de Internet en la sociedad ha sido mayormente bueno y sólo el 7% dice que ha sido mayormente malo. Por el contrario, el 65% de los que tienen un diploma de bachillerato o menos dicen que Internet ha tenido un impacto mayormente bueno en la sociedad, y el 17% dicen que su impacto ha sido mayormente malo.

Los puntos de vista positivos de Internet suelen estar vinculados al acceso a la información y a la conexión con otros; los puntos de vista negativos se basan en una gama más amplia de cuestiones.

Aquellos que piensan que Internet ha tenido un buen impacto en la sociedad tendieron a concentrarse en dos temas clave, según los ítems de seguimiento que permitieron a los encuestados explicar sus puntos de vista con sus propias palabras. La mayoría (62% de los que tienen una opinión positiva) mencionaron cómo Internet facilita y acelera el acceso a la información. Mientras tanto, el 23% de este grupo mencionó la capacidad de conectarse con otras personas, o las formas en que Internet les ayuda a mantenerse más en contacto con amigos y familiares.

Por el contrario, aquellos que piensan que Internet es algo malo para la sociedad dieron una gama más amplia de razones para sus opiniones, sin que se destaque ningún tema en particular. El tema más común (mencionado por el 25% de los encuestados) fue que Internet aísla a las personas entre sí o que hace que las personas pasen demasiado tiempo con sus dispositivos. Estas respuestas también incluían referencias a la difusión y prevalencia de noticias falsas u otros tipos de información falsa: El 16% mencionó este tema. Alrededor del 14% de los que piensan que el impacto de Internet es negativo citaron preocupaciones específicas sobre su efecto en los niños, mientras que el 13% sostuvo que fomenta la actividad ilegal. Una pequeña parte (5%) expresó preocupaciones sobre la privacidad o sobre si la información personal sensible está disponible en línea.

Uno de cada cinco estadounidenses son ahora usuarios de Internet «sólo a través de teléfonos inteligentes» en sus hogares. Estos cambios de actitud están ocurriendo en un paisaje más amplio en el que las opciones de acceso disponibles para los estadounidenses están cambiando dramáticamente. Más notablemente, uno de cada cinco estadounidenses (20%) son ahora «sólo usuarios de teléfonos inteligentes» en casa – es decir, tienen un teléfono inteligente pero no se suscriben al servicio de banda ancha tradicional donde viven. Este porcentaje representó un aumento de 7 puntos en comparación con los datos de 2015, cuando el 13% de los estadounidenses eran usuarios de teléfonos inteligentes solamente. Aproximadamente dos tercios de los estadounidenses (65%) dicen que disponen de un servicio de banda ancha en su domicilio, cifra muy similar al 67% que dijo esto en julio de 2015.

La proporción de personas que sólo disponen de una conexión a Internet en casa son aquellos con un nivel de formación inferior, en relación con quienes disponen de un servicio de banda ancha en casa. También informan que viven en hogares de bajos ingresos. Por ejemplo, el 31% de los estadounidenses con un ingreso familiar anual de menos de 30,000 $ son usuarios de Internet que utilizan sólo teléfonos inteligentes,  y más del triple de la proporción entre los que viven en hogares que ganan 75,000$ o más por año (9%). Este fenómeno también es notablemente más frecuente entre los que respondieron que eran de color e hispanos que entre los blancos.

Por el contrario, los estadounidenses relativamente bien educados y económicamente acomodados tienen muchas más probabilidades de decir que tienen una conexión de banda ancha tradicional en casa. Casi nueve de cada diez estadounidenses en hogares que ganan 75,000$ o más por año dicen que se suscriben al servicio de banda ancha en el hogar, casi el doble de la tasa entre aquellos que ganan menos de 30,000$ por año (45% de los cuales tienen servicio de banda ancha en el hogar).

Más allá de esta creciente dependencia de los teléfonos inteligentes para el servicio de Internet en el hogar en lugar del servicio de banda ancha tradicional, también es notable que el 15% de los estadounidenses indican que no tienen servicio de banda ancha en casa ni un teléfono inteligente. Una gran parte de este grupo no está en línea, y  el 11% informan que no utilizan Internet ni el correo electrónico desde ningún lugar. En otros casos, la parte sin banda ancha doméstica o un teléfono inteligente representa a los estadounidenses que se conectan por otros medios.

Y, al igual que en el caso del uso exclusivo de Internet por parte de los teléfonos inteligentes, los que carecen de servicio de banda ancha y de un teléfono inteligente tienen una probabilidad desproporcionada de pertenecer a ciertos segmentos de la población. Más notablemente, el 40% de los estadounidenses de 65 años de edad y mayores están dentro de esta categoría. Esto también es así en el caso de minorías residentes rurales (25%), aquellos que no han asistido a la universidad (25%) y aquellos de hogares que ganan menos de 30,000$ por año (23%).

 

 

Presencia de revistas españolas en bases de datos internacionales

 

reviastsa_2

Somoza, Marta and Guallar, Javier and Rodríguez-Gairín, Josep-Manuel and Abadal, Ernest . Presencia de revistas españolas en bases de datos internacionales., 2017 In: Revistas científicas: situación actual y retos de futuro. Universitat de Barcelona, pp. 161-178. [Book chapter]

Texto completo

 

Se analiza la presencia de las revistas científicas españolas en las principales bases de datos internacionales (Web of Science, Scopus, DOAJ y otras bases de datos multidisciplinares) poniendo especial énfasis en la distribución por temáticas. Para ello se utilizan los registros y herramientas de la base de datos MIAR (Matriz de Información y Análisis de Revistas), limitando sus contenidos al total de 3.382 revistas españolas en enero de 2017. La situación de revistas españolas en los repertorios más selectivos de WoS (SCI, SSCI y AHCI) es claramente más importante en el índice SCI, donde 8 disciplinas tienen más del 10% de sus revistas indexadas y en el que destaca muy especialmente matemáticas, pero también química, geología e ingeniería industrial, electrónica y telecomunicaciones. La presencia de revistas españolas en Scopus es significativamente superior a la de WoS, y aquí se extiende por un mayor número de disciplinas, entre las que destacan veterinaria y matemáticas, con una cobertura superior al 50% de sus revistas, así como otras como ingeniería civil, ciencias médicas, química y geología. La penetración del acceso abierto entre las revistas españolas que muestra el directorio DOAJ permite observar cómo algunas disciplinas han alcanzado un notable uso del OA en sus revistas, como es el caso de arquitectura y urbanismo,ingeniería industrial, electrónica y telecomunicaciones y ciencias de la computación; mientras que en otras como derecho o ciencias médicas y de la salud tiene en cambio una presencia muy baja.

 

Redes sociales y altmetrics: nuevos retos para las revistas científicas

redes-sociales-tematicas

Ollé, Candela and López-Borrull, AlexandreRedes sociales y altmetrics: nuevos retos para las revistas científicas., 2017 In: Revistas científicas: situación actual y retos de futuro. Universitat de Barcelona, pp. 197-219. [Book chapter]

Texto completo

En la primera parte se han seleccionado seis redes sociales generalistas o académicas para hacer una breve descripción de ellas, conocer sus prestaciones, ver en cuáles hay actualmente presencia de revistas y explicar los retos que enfrentan. Dichas redes nos permiten relatar usos y ventajas que las redes sociales pueden ofrecer a las revistas. Las redes sociales académicas tienen planteados otros retos que atañen también a las revistas científicas y que tienen que ver con la gestión de los datos de la investigación y el acceso abierto a dichos datos y a sus contenidos. Entre dichos retos, el económico, ya que actualmente son gratuitas y se están planteando ofrecer servicios de pago para ser totalmente rentables. La propiedad de los contenidos subidos por los investigadores es un tema no resuelto, y habrá que establecer políticas y controles al respecto. En la segunda parte se definen las altmetrics, y se analizan los indicadores que se pueden utilizar (visualización, descarga, citación, recomendación,etc.) así como sus posibles implicaciones de futuro. En este caso, las métricas alternativas están aún en fase experimental y tienen que convencer todavía a la comunidad científica de que son una aportación válida para evaluar la ciencia.

Clarivate Analytics adquiere Kopernio para acelerar el ritmo de la innovación científica

 

daqz5f4x0aa-qgw

kopernio.com

Clarivate Analytics anunció la adquisición estratégica de la startup de tecnología AI Kopernio, para crear la plataforma definitiva independiente del editor para el flujo de trabajo y análisis de investigación para investigadores científicos, editores e instituciones de todo el mundo. La visión de Kopernio es proporcionar legalmente acceso con un solo clic a millones de artículos de revistas y trabajos académicos de investigación en todo el mundo, mejorando y facilitando dramáticamente el acceso al conocimiento científico.

 

Esta adquisición abordará el  tema del descubrimiento y acceso a la investigación científica y académica actual, que se deriva de las tortuosas, laboriosas y manuales rutas que los investigadores toman para acceder a los artículos de revistas que necesitan, incluso cuando sus instituciones y organizaciones tienen acceso legítimo a suscripciones. Lo que ha llevado a los investigadores a utilizar servicios alegales como SCI-Hub por cuestiones de usabilidad y facilidad de acceso.

Kopernio utiliza la inteligencia artificial para permitir a los usuarios acceder sin problemas a los artículos de las revistas con un solo clic, ahorrando a los investigadores tiempo y frustración al acceder a sus suscripciones institucionales. Kopernio detecta automáticamente las suscripciones individuales o institucionales que ya posee un usuario y facilita el acceso instantáneo al artículo elegido. También sugerirá versiones legales alternativas y gratuitas del contenido que podría ya existir en plataformas abiertas si un usuario carece de las suscripciones necesarias para acceder al contenido detrás de un servidor de pago.

Kopernio fue fundada por Jan Reichelt y Ben Kaube, los cofundadores de Mendeley y Newsflo, respectivamente, ambos con un historial probado en la creación de soluciones tecnológicas innovadoras para la comunidad investigadora, Reichelt se unirá al grupo como Director General, Web of Science, e informará a Annette Thomas (CEO, Investigación Científica y Académica), mientras continúa apoyando el crecimiento y la dirección estratégica de Kopernio como Presidente de la compañía. Kaube se incorporará como Director General de Kopernio.

Clarivate Analytics invertirá y ampliará Kopernio, a la vez que lo integrará con otros productos y servicios de Clarivate junto con plataformas y socios de terceros. Kopernio pretende construir rápidamente una valiosa oferta comercial para editoriales e instituciones académicas.

Annette Thomas, CEO de la división de Investigación Científica y Académica de Clarivate Analytics, explicó: «Esta es una inversión estratégica para adquirir y escalar un negocio altamente complementario; cuyo efecto combinado abordará un tema importante en la investigación científica y académica actual. La escala, el alcance y la red única de citas de Web of Science, el índice de citas y la plataforma de análisis de investigación más fiable y extensa del mundo para la neutralidad de los editores, junto con el producto de Kopernio destinado a los investigadores, permitirá aumentar significativamente el acceso a los artículos de investigación y proporcionar soluciones novedosas a los problemas de la investigación en todo el ecosistema. Además, establece el compromiso de desarrollar productos innovadores a nivel mundial para hacer frente a los desafíos críticos en uno de los campos más importantes en los que se basa nuestra sociedad: la ciencia y la investigación».

Jan Reichelt, cofundador de Kopernio y nuevo Director General de Web of Science añadió: «La escala global, así como la posición neutral con respecto a los editores de Clarivate Analytics, nos permitirá escalar rápidamente Kopernio y, finalmente, ayudar a resolver uno de los problemas de investigación más frustrantes y que más tiempo lleva hoy en día. Es asombroso tener otra oportunidad para ayudar a avanzar las tecnologías que apoyan a los investigadores en su trabajo diario. Nuestra asociación con Clarivate nos permitirá desarrollar nuevas funciones que estarán disponibles para diez millones de investigadores y científicos de todo el mundo y, además, proporcionará un valioso apoyo y conocimientos para editores e instituciones académicas».

Tanto Clarivate como Kopernio comparten un fuerte compromiso para transformar la forma en que se entregan los artículos a los investigadores, a la vez que apoyan el ecosistema existente entre editores e instituciones. Cada año, 10 millones de investigadores de todo el mundo acceden a 2.500 millones de artículos de revistas (en formato PDF) para llevar a cabo sus investigaciones, mientras que las universidades invierten millones para proporcionar acceso a revistas académicas.

Acerca de Kopernio: Kopernio es una startup con sede en Londres, fundada en 2017 por los fundadores de Mendeley y Newsflo. La visión de Kopernio es proporcionar acceso inmediato con un solo clic a los artículos de revistas académicas, mejorando y facilitando dramáticamente el acceso al conocimiento científico en todo el mundo.

 

Las bibliotecas son un activo valioso para sus comunidades en términos de compromiso social, capacidad formativa y desarrollo económico de su entorno

 

2018-04-12_17-42-14

 

Tal como demuestra el estudio de ImpactED para Free Library of Philadelphia las bibliotecas son un importante activo para las personas y sus comunidades en términos de compromiso social, capacidad formativa y desarrollo económico de su entorno.

 

Free Library of Philadelphia trabajó recientemente con ImpactED para analizar el impacto de la biblioteca en sus visitantes. En el año fiscal 2017, 640,000 personas en Filadelfia tenían una tarjeta de biblioteca, y la Biblioteca recibió aproximadamente 5 millones de visitas en persona; el estudio reveló detalles clave sobre la manera en que estos usuarios usan y ven la biblioteca. La investigación del equipo de ImpactED examinó específicamente el impacto de la biblioteca en cuatro áreas clave: compromiso con la comunidad, alfabetización, desarrollo de la fuerza laboral y desarrollo de la pequeña empresa.

El estudio, que se llevó a cabo en el otoño de 2017, destaca el hecho de que el 96% de los usuarios de la Biblioteca dicen que la institución es un activo valioso para su comunidad.

Hallazgos clave:

  1. Compromiso con la Comunidad
  • Los visitantes de la biblioteca son suficientemente representativos (demográficamente) de los ciudadanos de Filadelfia en general.
  • Los visitantes de la biblioteca valoran muy positivamente la labro desarrollada por la biblioteca y su personal.
  • El 97% se siente seguro en la Biblioteca.
  • El 96% cree que la Biblioteca es una parte valiosa de su comunidad.
  • Los visitantes ven la Biblioteca como un lugar de reunión y de relación entre las personas

2. Alfabetización y Formación

  • Sólo una pequeña proporción de los padres o cuidadores que visitan la Biblioteca tienen hijos inscritos en los diferentes programas de alfabetización que se ofrecen.
  • Los padres cuyos hijos han asistido a los programas de alfabetización de la Biblioteca informan de impactos positivos.
  • El 95% dice que la hora del cuentos fue valioso para que su hijo aprendiera a leer.
  • El 95% dice que la biblioteca contribuyo al éxito de su hijo en la escuela.
  • El 94% dice que el programa de lectura ofrecido por la biblioteca fue valioso para la alfabetización de sus hijos.

 

3. Hallazgos del Desarrollo de la Fuerza Laboral

  • Las personas que buscan empleo visitan a menudo la biblioteca para encontrar empleo o mejores trabajos como parte de los programas y recursos de la biblioteca.
  • El 29% de los visitantes dice que ha visitado la biblioteca en los últimos 12 meses para buscar un nuevo trabajo o aprender nuevas habilidades para un trabajo.
  • El 32% de las personas que buscan empleo consiguieron un nuevo trabajo con la ayuda de los programas y recursos de la biblioteca; el 23% informa haber conseguido un trabajo mejor.
  • El 62% de los solicitantes de empleo solicitaron un nuevo empleo gracias a los recursos e información de la biblioteca.
  • El 80% de los demandantes de empleo conoce el servicio de Wi-Fi gratuito; el 54% la utiliza habitualmente.
  • El 28% de los solicitantes de empleo conoce la guía para la búsqueda de empleo; el 21% la utiliza.

4. Desarrollo de la pequeña empresa

Los visitantes al Centro de Recursos e Innovación Empresarial (BRIC) y al Centro de Fundaciones Regionales (RFC) adquirieron habilidades tangibles necesarias para iniciar o mejorar pequeñas empresas y crecer organizaciones sin fines de lucro en el futuro.
BRIC y RFC dan acceso a la gente a programas y recursos que no están disponibles en otros lugares y son muy valorados por los usuarios y quienes trabajan en el desarrollo de la pequeña empresa en la ciudad.

  • El 15% de los usuarios encuestados iniciaron una pequeña empresa con la ayuda proporcionada por el programa BRIC de la biblioteca
  • El 17% de los usuarios que asistieron a estos programas informa que les sirvió para mejorar y hacer crecer su pequeña empresa.
  • El 9% de los usuarios del programa RFC dice que este les sirvió de gran ayuda para recibir una subvención o financiación.

 

 

Enfoques para evaluar el impacto científico en Humanidades y Ciencias Sociales

cfhss-report-cover_opt

Approaches to Assessing Impacts in the Humanities and Social Sciences [e-Book]  Federation for the Humanities and Social Sciences, 2018

Texto completo

 

El presente informe se basa en el documento de trabajo de 2014 y examina con mayor detalle los factores clave que determinarán el éxito de los esfuerzos de evaluación de impacto, centrándose en las humanidades y las ciencias sociales. Este informe proporciona una visión general de los beneficios previstos de la evaluación de impacto, los riesgos potenciales de sistemas de evaluación defectuosos, las características de la investigación de FSS que afectan los esfuerzos para evaluar el impacto, y las fortalezas y debilidades de varios enfoques de evaluación. Concluye con un conjunto de recomendaciones que describen un enfoque flexible, pluralista e integral de la evaluación de impacto.

 

Relación entre las altermetrías y las medidas tradicionales de medición científica

altmetrics2
MaggioLauren A ; Leroux,  Todd ; MeyerHolly S ; Anthony R Artino. «Exploring the relationship between altmetrics and traditional measures of dissemination in Health professions education«. BioArxiv, 2018. doi: https://doi.org/10.1101/260059

 

Los investigadores, financiadores e instituciones están interesados en comprender y cuantificar la difusión y el impacto de la investigación, especialmente en lo que se refiere a la comunicación con el público. Tradicionalmente, las citaciones han sido una medida de impacto primario; sin embargo, las citaciones requieren de un lento proceso para acumularse y enfocarse en el uso académico.

Recientemente se ha sugerido la utilización medidas altmétricas, que registran formas alternativas de difusión (por ejemplo, los medios sociales) como complemento de las métricas basadas en citaciones. Este estudio examina la relación entre la altermetria y las medidas tradicionales: citas de artículos de revistas y recuento de accesos. Los investigadores recopilaron en Web of Science y Altmetric.com  artículos publicados en revistas de HPE entre 2013-2015. Identificaron 2.486 artículos.

Los datos se analizaron mediante modelos binomiales y de regresión lineal negativa. En este recuento, los blogs se asociaron con el mayor aumento de citas (13% de incremento), mientras que los Tweets (1,2%) y Mendeley (1%) se asociaron con aumentos menores. El factor de impacto en revistas (JIF) se asoció con un aumento del 21% en las citas. Los artículos libremente accesibles al público se asociaron con una disminución del 19%, pero el efecto interactivo entre los artículos accesibles y el Factor de impacto se asoció con un aumento del 12%. Al examinar las cuentas de acceso, los artículos libremente accesibles al público tuvieron un aumento de 170, mientras que los blogs se asociaron con una disminución de 87 accesos.

Este estudio sugiere que varios puntos de las métricas alternativas están positivamente asociados con las citas, y que la accesibilidad pública, manteniendo constantes todas las demás variables independientes, está positivamente relacionada con el acceso al artículo. Dado el enfoque evolutivo de la comunidad científica en la difusión-incluyendo al público-los hallazgos tienen implicaciones para las partes interesadas, proporcionando una visión de los factores que pueden mejorar las citas y el acceso a los artículos.

The Metrics Toolkit: un recurso para investigadores y evaluadores que proporciona una guía para demostrar y evaluar las evidencias del impacto de la investigación

 

3217ddfdb169a49922fd60fc1a5516e9

Metrics Toolkit

http://www.metrics-toolkit.org/

 

Metrics Toolkit es un recurso para investigadores y evaluadores que proporciona una guía para demostrar y evaluar las evidencias del impacto de la investigación. El Toolkit pretende ayudar a comprender rápidamente lo que significa una métrica, cómo se calcula y si es adecuada para un propósito determinado. 

 

Metrics Toolkit fue desarrollado gracias al 2016 Force11 PitchIt! con el apoyo de OHSU, IUPUI y Altmetric y proporciona información basada en la evidencia acerca de las métricas de investigación entre disciplinas, incluyendo cómo se calcula cada métrica, dónde puede encontrarse y cómo debe (y no debe) aplicarse cada una de ellas. También proporciona ejemplos de cómo utilizar las métricas en solicitudes de acreditación académica, subvenciones y currículos.

La herramienta ofrece dos opciones fundamentales para explorar métricas y elegir una métrica.

  • Explorar métricas
  • Seleccionar una métrica

 

26127467458_6b3dc1582b_b_d

 

EXPLORAR MÉTRICAS

Dentro de la opción explorar métricas podemos aprender más sobre métricas específicas, lo que miden y lo que no miden. Dando la opción para diversos formatos como capítulos de libros, Libros, Datasets, artículos de revistas y software. Y sobre métricas concretas como

  • Puntuación de la atención de Altmetric
  • Calificaciones y comentarios en Amazon
  • Menciones del blog
  • Citas de artículos
  • Citas de libros y capítulos de libros
  • Citas de datos
  • Citas de software
  • Descargas de artículos
  • Descargas de libros y capítulos de libros
  • Descargas de software
  • Comentarios, gustos y acciones en Facebook
  • Faculty 1000 Prime: FFa, calificaciones, comentarios
  • Github
  • Goodreads: Valoraciones y comentarios
  • h-index
  • Tasa de aceptación de la revista
  • Factor de impacto en revistas
  • Lectores de Mendeley
  • Reservas de monografías
  • Monografía Ventas y Ranking
  • Noticias Menciones
  • Menciones de política
  • Puntuación Publons
  • Comentarios de Pubpeer
  • Relación de Mención Relativa
  • Menciones en Twitter
  • Citas de Wikipedia

 

SELECCIONAR MÉTRICAS

Podemos buscar las métricas correctas para demostrar el impacto de la investigación o evaluar el impacto de productos específicos. Pudiendo elegir el tipo de impacto, tipo de documento y área de conocimiento o disciplina.

Dentro de cada métrica nos aparecen datos tales como su aplicación, definición métrica, cálculo, fuentes de datos, uso apropiado, limitaciones,casos de uso inapropiado, fuentes métricas disponibles, auditabilidad y periodo que cubre cada métrica.

  • Nombre El nombre de la métrica (por ejemplo, h-index)
  • Aplicación. Indicación de como se aplica la métrica (por ejemplo, un investigador individual, un trabajo, una revista, etc.).
  • Definición de la métrica. Definición narrativa de lo que calcula la métrica
  • Cálculo métrico Definición matemática/cuantitativa de la métrica (cuando está disponible)
  • Fuentes de datos . Fuentes de datos utilizadas para calcular la métrica
  • Casos de uso apropiado Enumera las preguntas relacionadas con la atención/impacto que la métrica puede ayudar a resolver
  • Limitaciones. Describe las limitaciones de la métrica, identificadas en la literatura.
  • Casos de uso inapropiado. Describe las situaciones relacionadas con la atención/impacto en que la métrica no debe ser usada-
  • Fuentes disponibles Individuos u organizaciones que mantienen y publican la métrica, con enlaces a esas fuentes.
  • Transparencia La capacidad de acceder y verificar los datos y algoritmos fuente para obtener métricas.
  • Página web Enlace a la página web oficial de la métrica, cuando corresponda
  • Plazo Ámbito temporal o cobertura utilizada en el cálculo de la métrica.