Archivo de la etiqueta: Altmetrics

Uso de ORCID, DOI y otros identificadores abiertos en la evaluación de investigación

frma-03-00028-g001

Haak LL, Meadows A and Brown J (2018) Using ORCID, DOI, and Other Open Identifiers in Research EvaluationFront. Res. Metr. Anal. 3:28. doi: 10.3389/frma.2018.00028

Texto completo

 

En este trabajo, se discute el uso de identificadores persistentes en la evaluación de la investigación – para los individuos, sus contribuciones y las organizaciones que los patrocinan y financian su trabajo. Los sistemas de identificación global se encuentran en una posición única para compilar los datos de todas  las interacciones,  movilidad y colaboración global que se produce en torno a un documento de investigación. Al aprovechar las conexiones entre las infraestructuras locales y los recursos de información globales, los evaluadores pueden mapear las fuentes de datos que antes no estaban disponibles o que requerían de una mano de obra que podría ser prohibitiva.

Se consideran identificadores persistentes aquellos sistemas normalizados tales como ORCID iDs y DOIs, que están siendo incorporados en los flujos de trabajo de investigación a través de la ciencia, la tecnología, la ingeniería, las artes y las matemáticas; cómo esto está afectando la disponibilidad de datos para propósitos de evaluación; y proporcionamos ejemplos de evaluaciones que están aprovechando los identificadores. También se discute la importancia de la procedencia y la preservación para establecer la confianza en la fiabilidad y confiabilidad de los datos y las relaciones, y en la disponibilidad a largo plazo de los metadatos que describen los objetos y sus interrelaciones. Se concluye  con una discusión sobre las oportunidades y riesgos del uso de identificadores en los procesos de evaluación.

¿Qué puede decirnos Altmetrics sobre el impacto de los libros en el “mundo real”?

 

thumb

Engineering, Altmetric; Konkiel, Stacy; Adie, Euan (2018): What altmetrics can tell us about the “real world” impacts of books. figshare. Paper., 2018

Texto completo

Libro blanco que analiza el impacto de los datos de atención en línea de los libros y capítulos publicados.

 

En los pocos años transcurridos desde que surgió el concepto de altmetrics, ha aumentado el número de los editores han recurrido a estos datos no tradicionales de la web social para entender cómo las audiencias se comprometen con la investigación que publican. Junto con la bibliometría tradicional (“¿Cuántas citas se han hecho a esta obra recibida?”), altmetrics puede añadir textura y profundidad a las narrativas y los números se utiliza para entender la influencia de la investigación publicada en una amplia variedad de formatos.

Hasta hace muy poco, gran parte de los datos de altmetrics disponibles sobre el compromiso con el mundo de la investigación se centraba en el artículo de la revista. Pero desde 2016, cuando nace Altmetric.com la medición altmétrica para monografías ha creciendo rápidamente en términos de interés, cobertura y tecnología.

Lo que está menos claro es hasta qué punto la altmetría de los libros difiere de los patrones utilizados en altmetría para artículos de revistas y otros formatos de investigación. En este libro blanco, proporciona una mirada de alto nivel a la altmetría para libros y capítulos de libros, examinando los patrones de discusión en las diecisiete fuentes de datos que Altmetric.com.

Los medios digitales y sociales son la plataforma más rentable para la publicación y difusión de revistas revisadas por pares en abierto

pros

Gedela, Srinubabu.”Digital and Social media emerges as the cost effective platform for peer reviewed journal publication and dissemination” PRESS RELEASE PR Newswire Jun. 24, 2018, 05:00 PM

 

Ver completo

Ver además

El surgimiento de los medios digitales en línea estña cambiado por completo el escenario de publicación científica. Ya que, además de las citas a los artículos y el factor de impacto, se empieza a tener en cuenta la cantidad de clics recibidos por el artículo, las vistas, descargas, comentarios, recursos compartidos, y los “me gusta”. De este modo, las plataformas de redes académicas como ResearchGate, LinkedIn, GoogleScholar y las redes sociales como Facebook y Twitter están desempeñando un papel crucial en la mejora del factor de impacto del artículo.

 

También este nuevo contexto, la publicación en acceso abierto está ganando popularidad a medida que el mundo cada vez está mas interconectado, facilitando el archivo, la indexación, la minería de datos, la recuperación y la rápida distribución de la investigación. Las publicaciones de acceso abierto generan un millón de artículos al año y dan empleo a entre 25.000 y 30.000 personas. El número de investigadores y autores que están adoptando los foros y plataformas de acceso abierto está creciendo gradualmente, se calcula que un 10% de los investigadores se suman a ellos cada año, en la actualidad 5,5 millones de autores contribuyen a las publicaciones de acceso abierto. Sin duda, la publicación de acceso abierto va a seguir siendo el modelo de publicación preferido en el futuro, ya que los sitios de publicación e indexación basados en suscripciones están desapareciendo gradualmente a medida que los académicos y científicos obtienen fuentes de información relevantes en las revistas de acceso abierto.

Por otro lado, a ello han contribuido la mayoría de las agencias de financiación como la OMS, EMBL, NIH, Welcometrust, etc. que obligan a que las investigaciones financiadoas por ellos se publiquen en revistas de acceso abierto. De los 25.000 millones de dólares del valor del mercado editorial, el valor de las revistas científicas de Science, Technology and Medical (STM) fue de 12.000 millones de dólares en 2016. Mientras que el mercado de revistas STM basadas en suscripciones se redujo drásticamente a 8.000 millones de dólares en 2016, -un importante descenso frente a los 12.500 millones de dólares que obtuvieron en en 2014-, la publicación de revistas STM de acceso abierto alcanzó los 900 millones de dólares en 2017 y produjeron 2.5 millones de artículos al año, aumentando el número de artículos en un 10%.

 

 

Gestores de referencias sociales comparación de usuarios entre Zotero y Mendeley: una encuesta de demografía e ideologías

29511046058_c9aee6ec3e_b_d

Chen, P.-Y., E. Hayes, et al. “Social Reference Managers and Their Users: A Survey of Demographics and Ideologies.” PLoS ONE 13(7) vol. 13, n. 7 (2018). URL.: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0198033

 

Los indicadores altrmétricos están cada vez más presentes en el panorama de la investigación. Dentro de este ecosistema de indicadores heterogéneos, los gestores sociales de referencia han sido propuestos como indicadores de un uso más amplio del trabajo académico. Sin embargo, se ha investigado poco para comprender los datos que subyacen a este indicador. El presente trabajo lanzó una encuesta a gran escala para estudiar a los usuarios de dos destacados gestores sociales de referencia: Mendeley y Zotero. La encuesta pretendía determinar las características demográficas, el uso de las plataformas, así como las actitudes hacia temas clave en la comunicación académica, tales como el acceso abierto, la revisión por pares, la privacidad y el sistema de recompensas de la ciencia.

Los resultados muestran fuertes diferencias entre plataformas:

  • Los usuarios de Mendeley son más jóvenes y están más equilibrados en cuanto a género; los usuarios de Zotero están más comprometidos con los medios sociales y es más probable que provengan de las ciencias sociales y las humanidades.
  • Los usuarios de Zotero son más propensos a utilizar las funciones de búsqueda de la plataforma y a organizar sus bibliotecas, mientras que los usuarios de Mendeley son más propensos a aprovechar algunas de las funciones de descubrimiento y establecimiento de redes, como navegar por documentos y grupos y conectarse con otros usuarios. Se discuten  las implicaciones de usar métricas derivadas de estas plataformas como indicadores de impacto.

 

En conclusión, las métricas de audiencia son generadas por una variedad de diferentes tipos de usuarios y estos usuarios aportan prácticas e ideologías competitivas. Una de las únicas características unificadoras de aquellos que usan gerentes de referencia social es que tienen un buen nivel de formación. Esto sugiere que los conteos de lectores de Mendeley no deben ser vistos como un indicador de impacto social, sino más bien para representar otra dimensión del impacto académico. Sin embargo, el uso funcional de las plataformas varió significativamente tanto entre las plataformas como entre los distintos grupos de usuarios dentro de la plataforma. Por lo tanto, los recuentos de lectores no deben considerarse como monolíticos, sino que representan diversos conceptos para diferentes comunidades de usuarios. Estas comunidades también variaban considerablemente en sus ideologías hacia la comunicación académica y los valores que atribuían a las métricas. Estos sistemas de valores en competencia y la ambigüedad general hacia las métricas de los medios de comunicación social debe instar a la cautela en torno a la inclusión de las métricas de lectores en el uso de indicadores altimétricos.

Disponibilidad de datos: los archivos de datos de la encuesta de Mendeley / Zotero están disponibles públicamente en http://hdl.handle.net/2022/22043 de IUScholarWorks, un servicio institucional de acceso abierto de repositorio provisto por las Bibliotecas de la Universidad de Indiana para diseminar y preservar el rendimiento intelectual de Estudiantes de la Universidad de Indiana.

Recomendaciones sobre métricas de académicas para bibliotecas de investigación

 

screen-shot-2018-06-20-at-09-31-13

Scholarly Metrics Recommendations for Research Libraries: Deciphering the Trees in the Forest. [e-Book] The Hague, LIBER, 2018.

Texto completo

La Ciencia Abierta requiere algunas transformaciones valientes en este campo. Esto incluye un énfasis en métricas de próxima generación basadas en la transparencia, la apertura y la colaboración: tanto para las áreas científicas tradicionales como para las emergentes.

El uso de métricas académicas es uno de los más desafiantes en el campo de la investigación actual. La proliferación de nuevos modelos de comunicación académica, los cambios en el campo de la evaluación de la investigación y el uso extensivo de las aplicaciones de los medios sociales han sacudido los cimientos de los paradigmas métricos tradicionales.

Para fomentar esta visión de un panorama de investigación transformado en 2022, el Grupo de Trabajo de Métricas Innovadoras de LIBER ha publicado un nuevo informe: Scholarly Metrics Recommendations for Research Libraries: Deciphering the Trees in the Forest.

En el informe se formulan recomendaciones sobre la manera en que las bibliotecas de investigación y las infraestructuras de información pueden abordar las métricas académicas, y sobre cómo empezar a desarrollar servicios que las apoyen. Las recomendaciones se agrupan en cuatro tipos importantes de actividades relacionadas con las métricas:

  • Descubrimiento y Descubribilidad
  • Mostrar los Logros
  • Desarrollo de Servicios
  • Evaluación de la investigación

LIBER reconoce que no todas las bibliotecas parten del mismo punto. El contexto de la investigación en los países europeos es bastante diverso, con bibliotecas que operan en muchos niveles diferentes de experiencia y con diferentes niveles de recursos a su disposición. Por lo tanto, las recomendaciones del informe se organizan en tres niveles de compromiso: Inicial, Intermedio y Avanzado. Las bibliotecas pueden elegir qué recomendaciones adoptar, basándose en su nivel actual de compromiso con las métricas académicas. El orden en que aparecen las recomendaciones se correlaciona con la importancia potencial que pueden tener para una institución

 

 

Desarrollo de directrices internacionales para un proceso eficaz de evaluación del impacto de la investigación

Ampliar imagen

Adam, P., P. V. Ovseiko, et al. “ISRIA statement: ten-point guidelines for an effective process of research impact assessment.” Health Research Policy and Systems vol. 16, n. (2018). pp. 8. https://doi.org/10.1186/s12961-018-0281-5

Texto completo

 

Pavel Ovseiko, Paula Adam, Kathryn Graham y Jonathan Grant presentan las directrices internacionales iniciales para un proceso eficaz de evaluación del impacto de la investigación e invitan a los lectores del Impact Blog a ponerlas en práctica y compartir su experiencia, evidencia y competencia cultural con la comunidad global.

Los gobiernos, los organismos de financiación y las organizaciones de investigación de todo el mundo se han comprometido a medir el impacto de la investigación más allá de las publicaciones académicas. En consecuencia, se está desarrollando rápidamente una práctica multidisciplinaria llamada evaluación del impacto de la investigación. Sin embargo, esta práctica permanece en sus etapas formativas, por lo que actualmente no se dispone de recomendaciones sistematizadas o estándares aceptados para guiar a los investigadores y profesionales.

Poco después de articular la idea de método científico en su Novum Organum Scientiarum de 1620, Francis Bacon subrayó la importancia de que la investigación sea “útil y práctica para la vida del hombre”. Sin embargo, no fue hasta hace mucho tiempo que los gobiernos, los organismos de financiación y las organizaciones de investigación de todo el mundo se dieron cuenta de la necesidad de medir el impacto de la investigación más allá de las publicaciones académicas, comprender cómo funciona la ciencia y optimizar su impacto social y económico.

Para ayudar a los investigadores y profesionales a mejorar el proceso, se han propuesto unas directrices iniciales para un proceso eficaz de evaluación del impacto de la investigación. La eficacia de estas directrices se basa en el conocimiento experto y la experiencia de los profesionales de la International School on Research Impact Assessment. En un documento publicado recientemente, con los puntos de vista de más de 450 expertos y profesionales de 34 países que participaron en la escuela durante los últimos cinco años (2013-2017) se sistematizan en directrices de diez puntos (Figura 1).

1. Analice su contexto
La investigación y su impacto están determinados por el contexto en el que se lleva a cabo y se evalúa la investigación. Por eso es importante entender tanto los entornos de investigación internos (por ejemplo, una institución o un grupo de investigación) como externos (por ejemplo, un país o un campo de investigación).

2. Reflexione continuamente sobre sus propósitos
Las preguntas y la metodología de la evaluación dependen de los objetivos principales. Los investigadores y los profesionales necesitan reflexionar continuamente sobre los propósitos de la evaluación del impacto de la investigación y su relación con la investigación que se está evaluando, sobre todo porque éstos pueden evolucionar con el tiempo.

3. Identificar a las partes interesadas y sus necesidades
Los financiadores de la investigación, los participantes en la investigación, los investigadores, los usuarios de la investigación y los beneficiarios de la investigación tienden a tener diferentes expectativas y usos previstos. Por lo tanto, es imperativo identificar y analizar a las partes interesadas y sus necesidades, priorizar sus intereses y desarrollar estrategias de compromiso apropiadas.

4. Comprometerse con las partes interesadas clave desde el principio
El compromiso de los grupos de interés es clave para valorar la co-creación con la evaluación del impacto de la investigación. Aumenta la solidez social de la misma al hacerla más transparente y participativa. La participación de las partes interesadas también hace que la puesta en práctica de los resultados de manera más eficaz y eficiente al reducir la necesidad de una fase de difusión separada.

5. Elegir críticamente los marcos conceptuales
Al tiempo que proporcionan orientación metodológica y claridad analítica, los marcos conceptuales inevitablemente reducen la riqueza y complejidad de la investigación que se está evaluando. Por lo tanto, los marcos conceptuales deben elegirse de manera crítica, prestando atención al contexto y propósito de un determinado ejercicio de evaluación del impacto de la investigación y a las limitaciones de los marcos.

6. Utilizar métodos mixtos y fuentes de datos múltiples
La evaluación del impacto de la investigación desde la perspectiva de las diferentes partes interesadas aumenta la solidez y la fiabilidad de las evaluaciones del impacto contextual. La mejor manera de lograrlo es desarrollar informes ricos sobre el impacto de la investigación utilizando una combinación de métodos y una variedad de fuentes de datos.

7. Seleccionar indicadores y métricas de manera responsable
Los indicadores cuantitativos y las métricas a menudo se utilizan indebidamente, lo que conduce a resultados sesgados e incentivos perversos. Para evitar estas consecuencias imprevistas, los indicadores cuantitativos y las métricas deben utilizarse de manera equilibrada en relación con el contexto de las evaluaciones del impacto ambiental y en apoyo de otros tipos de pruebas.

8. Anticipar y abordar las cuestiones éticas y los conflictos de intereses
Como en el caso de cualquier investigación y evaluación, la evaluación del impacto de la investigación puede plantear problemas éticos y crear conflictos de intereses. Para maximizar el valor social de la evaluación del impacto de la investigación, los investigadores y los profesionales deben anticipar y abordar estas cuestiones éticas y los conflictos de intereses.

9. Comunicar los resultados a través de múltiples canales
Las diferentes partes interesadas suelen preferir diferentes canales de comunicación y mensajes adaptados a sus necesidades y capacidades de asimilación de conocimientos. Por lo tanto, la traducción efectiva de los resultados de las evaluación del impacto de la investigación en la práctica requiere una estrategia de comunicación integral y diversificada, que incluya blogs de investigación, redes sociales y feeds web, entre otros.

10. Comparta su aprendizaje con la comunidad de evaluación del impacto de la investigación
Dado que la evaluación del impacto de la investigación se encuentra todavía en su etapa formativa, su desarrollo se sustenta en el conocimiento empírico y las habilidades prácticas de la comunidad de práctica. Por lo tanto, es imperativo que los investigadores y profesionales compartan sus experiencias y aprendizajes con la comunidad de práctica sobre la evaluación del impacto de la investigación.

Conclusiones

Estas directrices internacionales pueden ayudar a los profesionales y a los responsables de la formulación de políticas de los organismos de financiación, el gobierno, la industria, las organizaciones benéficas y el mundo académico a mejorar el proceso  evaluación del impacto de la investigación. Pero como estas las directrices no son exhaustivas, requieren evaluación y mejora continua. se invita a los lectores a poner en práctica las directrices y a compartir su experiencia, evidencia y competencia cultural adquirida a través de la implementación de las directrices en nuevos contextos con la comunidad global de práctica de RIA.

 

¿Qué importancia tiene twitter en la medición del impacto de una investigación? comprensión de lo que los tweets pueden y no pueden medir en el contexto de la evaluación de la investigación

 

twitschervogel01_derived_from_twitter-t-svg_

Haustein, S. “Scholarly Twitter metrics.” arXiv:1806.02201 [cs] vol., n. (2018). URL: http://arxiv.org/abs/1806.02201

 

 

Twitter ha sido posiblemente el más popular entre las fuentes de datos que forman la base de la llamada altmetría. Los tweets a los documentos académicos han sido anunciados como indicadores tempranos de citas así como medidas de impacto social. Este capítulo proporciona una visión general de la actividad de Twitter como base para las métricas académicas desde un punto de vista crítico y describe igualmente el potencial y las limitaciones de las métricas de Twitter. Al revisar la literatura sobre Twitter en la comunicación académica y analizar 24 millones de tweets que enlazan con documentos académicos, su objetivo es proporcionar una comprensión básica de lo que los tweets pueden y no pueden medir en el contexto de la evaluación de la investigación. Más allá del limitado poder explicativo de las bajas correlaciones entre los tweets y las citas, este capítulo considera qué tipos de documentos académicos son populares en Twitter, y cómo, cuándo y por quién se difunden, con el fin de comprender lo que miden los tweets en los documentos académicos. Aunque este capítulo no es capaz de resolver los problemas asociados con la creación de métricas significativas a partir de los medios de comunicación social, pone de relieve cuestiones particulares y tiene como objetivo proporcionar la base para las métricas avanzadas eruditas de Twitter.