En prácticamente todos los ámbitos de investigación, las herramientas digitales se han convertido en indispensables, la aparición de nuevos paradigmas como el acceso abierto, métricas alternativas y redes sociales son un ejemplo importante de cómo estos cambios han afectado a la forma en que los estudiosos piensan en el futuro de las publicaciones académicas. Estos acontecimientos han creado nuevas posibilidades y desafíos en la evaluación de la calidad de la investigación, también a nivel de investigadores individuales y desarrollos de carrera.  Pero para que esto sea una realidad es muy importante entender las similitudes potenciales o diferencia en las cifras a través de diferentes agregadores altmetrics. Para ello es necesario recurrir a las mejores prácticas en la recopilación de datos altmetric tanto por parte de los proveedores altmetric como de los agregadores y editores. Para ello es conveniente desarrollar normas, directrices y recomendaciones para introducir transparencia y coherencia a través de proveedores y agregadores.

La Declaración Universal de los Derechos Humanos establece la universalidad de la Ciencia como un principio fundamental e igualitario, que incluye el derecho a participar en el progreso científico y en los beneficios de la ciencia “… la libertad de comunicación para científicos, así como el acceso equitativo a los datos, información y recursos para la investigación”.

Esto está en correlación con los principios de las métricas alternativas, ya que según Open access to scientific data and literature and the assessment of research by metrics del International Council of Science. Las métricas utilizadas en la evaluación de la investigación y los investigadores debieran ayudar a promover el acceso abierto abierto y la ciencia abierta, y la comunidad científica debe participar en el plenamente en su diseño.

Los medios sociales están cambiando la forma de interactuar, presentar las ideas e información, y juzgar la calidad de los contenidos y contribuciones. En los últimos años han surgido cientos de plataformas que permiten compartir libremente todo tipo de información y conectarnos a través de redes. Estas nuevas herramientas generan estadísticas de actividad e interacciones entre sus usuarios tales como menciones, retweets, conversaciones, comentarios en Blogs o en Facebook; gestores de referencias que muestran índices de popularidad de las referencias más compartidas por otros investigadores o repositorios que generan estadísticas de visitas, o descargas de artículos.

Los educadores, los estudiantes, investigadores y el público en general utilizan habitualmente los medios sociales para compartir noticias sobre los avances científicos y otros campos de estudio. El impacto de estos cambios en la comunicación científica y en la credibilidad de la información todavía está por verse, pero es evidente que los medios sociales han encontrado una importante tracción en casi todos los sectores de la educación y como consecuencia de ello están generando una influencia en los procesos de comunicación científica y en los hábitos y comportamientos de los investigadores de todas las disciplinas.

La influencia generada por los medios sociales ha sido calificada como Investigación 2.0, Social reference, Altmetrics ..etc. Varios autores han investigado la influencia en Twitter, en Blogs y gestores de referencias (Jiang, He, Ji, 2001) Sin lugar a dudas la mayor parte de los investigadores han trasladado sus actividades de investigación a la web. Y con el éxito de los medios sociales esta situación se ha hecho más evidente, ya que estas herramientas tienen más potencialidad para desarrollar un rango mayor de influencia académica que los entornos tradicionales de publicación. A pesar de que aún las publicaciones impresas siguen teniendo una fuerte influencia en la comunidad académica, los medios sociales como blogs, repositorios, redes sociales y gestores de referencias en línea están empezando a ser considerados con el objetivo de obtener una imagen más completa acerca del impacto de las publicaciones. Sitios como Google Scholar incluyen muchos tipos de publicaciones como preprits, presentaciones, artículos o tesis, que no aparecen en los sistemas tradicionales como Web of Science o Scopus, y que de alguna manera reflejarían una más amplia tipología de impacto (Aguillo, 2010).

La transición a esta nueva era presenta tanto retos como oportunidades. Quienes participan en la administración de la investigación utilizan métricas tradicionales para la evaluación de la importancia y el impacto de la investigación Estas métricas a su vez afectan el comportamiento de investigadores, tales como la elección de revistas, ya que se busca maximizar su desempeño, aspecto que tiene que ver con las métricas utilizadas, lo que contribuye al mantenimiento de los altos precios de las publicaciones. La apertura y el compartir, permite un nuevo reconocimiento del impacto de la investigación a través de nuevas contribuciones y la generación de conjuntos de datos, software, código, blogs, wikis y foros.

Bibliotecas digitales, repositoiros OA, revistas y bases de datos de artículos permiten descargar un documento y disponer de estadísticas de uso, estas tienen un importante potencial para establecer la popularidad de un artículo, y su potencial de lectura, lo que en alguna manera es un buen indicador de su valor o influencia científica. Algunos estudios también han hecho la correlación entre el número de vistas y descargas a un documento y el número de citas recibidas, lo que sugiere en alguna manera que las estadísticas de uso tienen una relación directa con su impacto (Brody, Harnad, Carr, 2006) ; aunque también existen algunos problemas prácticos respecto al uso de estás estadísticas para evaluación de la investigación, como la falta de uniformidad y normalización, o que los propios editores las manipulen para obtener una mayor influencia. Aunque las mayores críticas se centran en decir que se trata de una simple medida de uso, y no de influencia científica (Neylon, Wu, 2009). Una serie de investigadores han trabajado en la identificación de nuevos métodos cuantitativos de evaluación de la investigación para la Web con el objetivos de complementar el análisis de citas tradicional.

En conclusión, Altmetric aporta una medida más real y más objetiva del impacto social de la investigación. Pero el objetivo principal para que la aplicación de las de las métricas alternativas sea adecuada tiene que fundamentalmente con la coherencia de los datos entre los proveedores  altmetrics y agregadores para el mismo conjunto de publicaciones. Por coherencia se entiende tener unas puntuaciones razonablemente similares para fuentes con el mismo DOI a través de diferentes proveedores o agregadores  altmetrics.

El informe Users, narcissism and control – tracking the impact of scholarly publications in the 21st century recomienda iniciar un programa de investigación concertada en la dinámica, propiedades y uso potencial de las métricas web basados en las nuevos sistemas de medición de impacto de la publicación. Su objetivo es contribuir al desarrollo de las herramientas más útiles para la comunidad científica y académica. Este programa considera relevantes para la medición alternativa las siguientes herramientas:  F1000, Microsoft Academic Research, Impact story,PlosONE altmetrics, and Google Scholar. El programa, además deberán desarrollar los siguientes temas: conceptos clave de la investigación de nuevas métricas web y altmetrics, la estandarización de herramientas y de datos, y el uso y la normalización de las nuevas métricas.

Users, narcissism and control – tracking the impact of scholarly publications in the 21st century

.

Hace unos meses anunciamos en Universo Abierto que la Universidad de Utrech estaba haciendo una encuesta sobre las herramientas más populares utilizadas por los investigadores de todo el mundo “Most popular tools for single research activities“ ya disponemos de resultados preliminares al respecto. Estas cifras representan los primeros 1.000 respuestas. En conjunto, los 1.000 encuestados mencionan más de 1000 herramientas diferentes algunas no incluidas en la encuesta preliminar. Estos datos son de gran utilidad para conocer que herramientas están utilizando los investigadores, cuales son las herramientas emergentes que tienen una mayor proyección de futuro, y de esta manera los responsables en bibliotecas universitarias orientar la formación que impartimos a nuestros investigadores hacia estos recursos. Es importante poner de relieve que quienes han contestado a la encuesta son investigadores que utilizan estos recursos.

A la pregunta de que sitios web utilizan para buscar literatura profesional ponen de manifiesto que la herramientas más utilizadas son Google Schoolar en un 92% de los casos, seguido de Web of Science en un 47%, PubMed un 45%, Scoupus un 29%, Mendeley un 22% y WorldCat en en 20%.

La mayoría de los investigadores recurren al repositorio de su propia institución para depositar y dar visibilidad a sus trabajos de investigación en un 53% de las respuestas. Otro sitio popular para depositar los trabajos de investigación es ResearchGate (50%) en el que difunden sus investigaciones prácticamente la mitad de los autores. De los repositorios temáticos los más populares y utilizados son PubMed y ArXix con un 18 y un 19% respectivamente. En el ámbito de las Ciencias Sociales SSRN (5%)

Además la mitad de los investigadores utilizan Web of Science para medir el impacto de su investigación,Journal Citation Report de Thompson es utilizado por el 45%, y Almetric.com (44%) se configura como la tercera herramienta utilizada para este fin, incluso por delante de Scopus, y otros recursos altmétricos como ImpactStory o Ploos article level metrics.

La comprensión de las diferencias en los recuentos obtenidos utilizando diferentes métodos es importante para el desarrollo de altmetrics. Recientemente se ha publicado el estudio How consistent are altmetrics providers? Study of 1000 PLOS ONE publications using the PLOS ALM, Mendeley and Altmetric.com APIs.  para ello se recogió una muestra aleatoria de 30.000 DOIs obtenidos de Crossref (15.000) y WoS (15.000), publicados en 2013. El resultado del estudio es que se encontraron importantes discrepancias e inconsistencias entre los proveedores de datos de métricas para los mismos conjuntos de datos. Es de destacar que los recuentos de lectores de Mendeley fueron muy similares entre los distintos agregadores, ya que los los datos proceden directamente de Mendeley. Pero sin embargo los resultados para el recuento de tweets y comentarios de Facebook existen diferencias enormes respecto a la recopilación y notificación de estas métricas. entre Altmetric.com y Lagotto la aplicación de código abierto utilizada por Plos Almetrics.

Las posibles razones de inconsistencia son:

– Las diferencias en las métricas de informes (entre datos filtrados y datos en bruto / mensajes públicos y mensajes privados)
– Diferentes metodologías en las métricas de recolección y procesamiento (Twitter API)
– Diferentes actualizaciones: con posible demoras en la recolección de datos o problemas de actualizaciónUtilizando diferentes identificadores (DOI, PMID, Identificación del arXiv) para las métricas de seguimiento
– Dificultades en la especificación de la fecha de  de recogida de datos de influencia la publicación (por ejemplo, diferentes fechas de publicación entre WoS y Crossref)
– Los problemas de accesibilidad que difieren en diferentes plataformas de los editores  (DOI resolver cuestiones URLs, problemas de cookies, denegación de acceso)

Las métricas utilizadas en la evaluación de la investigación y los investigadores debieran ayudar a promover el acceso abierto abierto y la ciencia abierta, y la comunidad científica debe participar en el plenamente en su diseño. Por lo que el Consejo Internacional para la Ciencia hace las siguientes recomendaciones adicionales:

1. Los modelos de negocio para las publicaciones científicas se deben construir en beneficio del bien científico, y tener en cuenta las necesidades de los países en desarrollo y desarrollados científicamente.

2. Los mecanismos para lograr el acceso abierto varían según la disciplina, y para algunos campos de la investigación puede haber restricciones éticas o legales legítimas sobre el acceso a datos de investigación y, en casos muy limitados a los resultados de investigación en sí mismos. Sin embargo, la apertura debe ser la norma, a no ser que existan circunstancias claramente justificadas.

3. Se requiere una vigilancia para que los nuevos modelos de publicación y difusión no comprometan la calidad. Hay una necesidad urgente revindicada desde hace años por las comunidades de investigación y publicación para desarrollar formas de señalización a los autores y los lectores las revistas y repositorios de datos que tienen las garantías necesarias de calidad y archivo seguro a través de los procedimientos implantados.

4. Los editores y redactores de publicaciones científicas requieren que los autores proporcionen referencias explícitas de los trabajos conjuntos de datos de instrumentos subyacentes publicados, utilizando identificadores persistentes individuales. Requiere también que los conjuntos de datos de la investigación sean depositados y disponibles en repositorios digitales fiables y sostenibles. Citándose los datos en las listas de referencia utilizando un formato estándar aceptado.

5. El Consejo Internacional para la Ciencia suscribe los principios y directrices para el acceso a datos de la investigación financiada con fondos públicos de la OCDE  referidos a acceso abierto: “La apertura significa acceso y agrupación en condiciones de igualdad para la comunidad científica internacional a los precios que pueden tener un costo marginal de difusión. El acceso abierto a los datos de investigación con financiación pública debe ser accesible a través de internet, de forma adecuada y fácil de utilizar”.

6. La falta de claridad en lo que a usos permitidos se refiere, o a los requisitos que requieren pedir permiso para usar datos específicos, son obstáculos a la apertura y a la reutilización. Por lo tanto, todos los conjuntos de datos debe ir acompañados de una licencia en regla que aclare los usos permitidos, así también, el generador de los datos debe ser reconocido, y, en su caso los datos de a quien necesita un investigador dirigirse para obtener el correspondiente permiso adicional para usar los datos.

7. Junto con los beneficios que se obtienen a través de la información de completa, abierta y gratuita de datos, los propios científicos tienen la responsabilidad de hacer que sus propios datos y resultados científicos estén ampliamente disponibles tan pronto como sea posible. Los períodos de embargo no contribuyen a  la buena ciencia.

8.  la preparación de la gestión de datos y un plan de difusión y la participación temprana de los administradores de datos “premium” deberían ser “requisitos para todos – o al menos para aquellos financiados con fondos públicos – como proyectos y programas de investigación. La evaluación del desempeño y el éxito de los programas y proyectos de investigación ofrecidos por los financiadores y las partes interesadas incluyen prácticas de gestión y difusión de datos.

9. Editores y redactores de publicaciones científicas requieren que los autores proporcionen referencias explícitas al software o código utilizado.

10.  En la evaluación de la investigación, las métricas deben considerarse como una ayuda, y no como un sustituto, para la buena toma de decisiones. Las citas únicamente no deberían utilizarse de forma aislada para la evaluación al desempeño de los investigadores, como el único método para distribuir fondos a personas o grupos de investigación. Es necesario además la opinión de expertos.

11. El Consejo Internacional para la Ciencia suscribe la Declaración de San Francisco de Evaluación de la Investigación (DORA), en la que se reconoce la necesidad de implementar metodologías sobre como se evalúan los resultados de la investigación.

12. Los términos de los contratos que se rigen para la adquisición de publicaciones periódicas científicas y bases de datos de las bibliotecas de las universidades y centros de investigación debe ser accesibles al público.

También la Organización Nacional de Información de Normas (NISO) ha puesto en marcha un grupo de trabajo sobre la calidad de los datos altmetricos a principios de 2015, NISO Alternative Assessment Metrics (Altmetrics) Initiative, que tiene como objetivo desarrollar directrices claras para la recolección, procesamiento, difusión y reutilización de los datos altmetricos en beneficio de todos los agentes participantes en este proyecto.

En conclusión en prácticamente todos los ámbitos de investigación, las herramientas digitales se han convertido en indispensables, la aparición de nuevos paradigmas como el acceso abierto, métricas alternativas y redes sociales son un ejemplo importante de cómo estos cambios han afectado a la forma en que los estudiosos piensan en el futuro de las publicaciones académicas. Estos acontecimientos han creado nuevas posibilidades y desafíos en la evaluación de la calidad de la investigación, también a nivel de investigadores individuales y desarrollos de carrera.  Pero para que esto sea una realidad es muy importante entender las similitudes potenciales o diferencia en las cifras a través de diferentes agregadores altmetrics.

Para ello es necesario recurrir a las mejores prácticas en la recopilación de datos altmetric tanto por parte de los proveedores altmetric como de los agregadores y editores. Para ello es conveniente desarrollar normas, directrices y recomendaciones para introducir transparencia y coherencia a través de proveedores y agregadores.

.

Ver

Aguillo, I. “Is Google Scholar Useful for Bibliometrics? A Webometrics Analysis.” 3th International Conference of the International Society for Scientometrics & Informetrics.13-14 (2011).Texto completo

Alonso-Arévalo, Julio Alfabetización en Comunicación Científica: Acreditación, OA, redes sociales, altmetrics, bibliotecarios incrustados y gestión de la identidad digital., 2014 . In Alfabetización informacional: Reflexiones y Experiencias, Lima (Perú) , Lima-Perú, 20 Y 21 de marzo del 2014. Texto completo

Alonso Arévalo, Julio. “Los Gestores De Referencias Sociales: Índices De Popularidad Y Descubrimiento Científico.” Comunidades de prácticas 2.0 de la SEDIC (2009). Texto completo

Alonso Arévalo, Julio, José Antonio Cordón García, and Helena Martín Rodero. “Citeulike Y Connotea: Herramientas 2.0 Para El Descubrimiento De La Información Científica.” El Profesional de la Información 19.1 (2010): 86-94. Texto completo

Brody, T. Carr L. Harnad S., and Alma Swan. “Time to Convert to Metrics.” ECS EPrints Repository (2007).  Texto completo

Charlando con Julio Alonso Arévalo sobre visibilidad científica e impacto en la red. Social media en investigación Publicado en Mayo 7, 2015 por julio Leer la entrevista completa

Consistency challenges across altmetrics data providers/aggregators. 2:am amsterdan 2015Texto completo

International Council of Science. (2014). [e-Book]  Open access to scientific data and literature and the assessmentof research by metrics, International Council of Science. Texto completo

Jiepu Jiang, Daqing He, and Chaoqun Ni. “Social Reference: Aggregating Online Usage of Scientific Literature in Citeulike for Clustering Academic Resources.” JCDL’11, June 13–17, 2011, 11 (2011): 401-02. Texto completo

Neylon, Cameron “Re-Use as Impact: How Re-Assessing What We Mean by “Impact” Can Support Improving the Return on Public Investment, Develop Open Research Practice, and Widen Engagement “ Altmetrics (2011).  Texto completo

Wouters, Paul  and Rodrigo  Costas. [e-Book]  Users, narcissism and control – tracking the impact of scholarly publications in the 21st century, SURFfoundation, 2012. Texto completo

Zahedi, Zohreh; Fenner, Martin; Costas, Rodrigo (2014): How consistent are altmetrics providers? Study of 1000 PLOS ONE publications using the PLOS ALM, Mendeley and Altmetric.com APIs. figshare. Texto completo