Archivo de la etiqueta: Bibliometría

Características de los documentos con más de 1000 citas en ISI hasta 2011

Deja un comentario

[]

Ho, Y.-S. and M. Kahn “A bibliometric study of highly cited reviews in the Science Citation Index expanded™.” Journal of the Association for Information Science and Technology vol. 65, n. 2 (2014).  pp. 372-385.
http://dx.doi.org/10.1002/asi.22974

Algunos de los documentos muy citados, aquellos que se citaron al menos 1000 veces desde su publicación hasta 2011 (un total de 1,857), fueron identificados en la base de datos Science Citation Index Expanded ™ (Thomson Reuters, Nueva York) entre 1899 y 2011. Los datos se desglosan por fecha de publicación, número de citas, revistas, áreas temáticas, ciclos de vida de la citación, y publicaciones de los ganadores del Premio Nobel. Todo ello se dividió entre seis indicadores, publicaciones totales, publicaciones independientes, publicaciones colaborativas, publicaciones del primer autor, y publicaciones de un único autor para evaluar la publicación de las instituciones y los países. Autoría. Entre los autores más citados, en el 33% de los casos eran obras de un sólo autor, el 61 % eran de una sola institución, y el 83 % eran  de un único país.

Declaración de San Francisco sobre Evaluación de la Investigación (DORA)

14 respuestas

[]

La Declaración de San Francisco sobre Evaluación de la Investigación (DORA)

Descargar

La Declaración de San Francisco sobre Evaluación de la Investigación (DORA), impulsada por la Sociedad Americana de Biología Celular (BCSV), junto con un grupo de directores y editores de revistas científicas, reconoce la necesidad de mejorar la forma en que se evalúan los resultados de la investigación científica . El grupo se reunió en diciembre de 2012 durante la reunión anual  BCSV en San Francisco e hizo circular un proyecto de declaración entre los diversos grupos de interés.Se trata de una iniciativa mundial que abarca todas las disciplinas académicas. Animamos a las personas y organizaciones que están preocupados por la evaluación adecuada de la investigación científica a que firmen DORA.

Poniendo ciencia en la evaluación de la investigación. 

Hay una necesidad apremiante de mejorar la forma en que los resultados de la investigación científica son evaluados por las agencias de financiación, instituciones académicas y otros. Para solucionar este problema, un grupo de directores y de editores de revistas académicas se reunió durante la Reunión Anual de la Sociedad Americana de Biología Celular (BCSV) en San Francisco, CA, el 16 de diciembre de 2012. El grupo desarrolló una serie de recomendaciones, conocidas como la Declaración de San Francisco de Evaluación de la Investigación. Invitamos a los interesados en todas las disciplinas científicas que indiquen su apoyo al añadir  sus nombres a la presente Declaración.

Los resultados de la investigación científica son muchos y variados, que incluyen: artículos de investigación que reportan nuevos conocimientos, datos, reactivos y software, propiedad intelectual, así como jóvenes científicos altamente capacitados. Los organismos de financiación, las instituciones que emplean los científicos y los propios científicos, necesitan, y es necesario, evaluar la calidad e impacto de la producción científica. Por tanto, es imperativo que la producción científica se mida con precisión y se evalúe con prudencia. El índice de impacto de las revistas se utiliza con frecuencia como parámetro primario con el que comparar la producción científica de las personas y las instituciones. El índice de impacto de revistas, según los cálculos de Thomson Reuters, fue creado originalmente como una herramienta para ayudar a los bibliotecarios a identificar revistas que comprar, no como una medida de la calidad científica de la investigación en un artículo. Con esto en mente, es importante entender que el índice de impacto tiene una serie de deficiencias bien documentadas como herramienta para la evaluación de la investigación. Estas limitaciones incluyen:

a) la distribución de citas en revistas está muy sesgada [1-3],
b) las propiedades del índice de impacto son específicas del campo científico considerado: es una combinación de varios tipos de artículos, muy diversos, incluyendo artículos de investigación primaria y opiniones [1, 4];
c) Los índice de impacto se pueden manipular (o “trastear”) por la política editorial [5],y d) los datos utilizados para el cálculo de los índices de impacto de las revistas no son ni transparentes ni están abiertamente a disposición del público [4 , 6, 7].

A continuación se hace una serie de recomendaciones para mejorar la forma en que se evalúa la calidad de los resultados de la investigación. Los resultados que no sean artículos de investigación crecerán en importancia en la evaluación de la eficacia de la investigación en el futuro, pero el trabajo de investigación revisado por pares continuará como un resultado central para informar sobre la evaluación de la investigación. Por lo tanto, nuestras recomendaciones se centran principalmente en las prácticas relativas a los artículos de investigación publicados en revistas revisadas por pares, pero pueden y deben ampliarse mediante el reconocimiento de productos adicionales, tales como bases de datos, como resultados de la investigación importantes. Estas recomendaciones están dirigidas a los organismos de financiación, las instituciones académicas, las revistas, las organizaciones que suministran métricas, y a los investigadores individuales.

Una serie de temas recorren estas recomendaciones: 

• la necesidad de eliminar el uso de métricas basadas en revistas, tales como índice de impacto de revistas, en la financiación, en los nombramientos, y en las consideraciones de promoción;

• la necesidad de evaluar la investigación por sus propios méritos y no en base a la revista en la que se publica la investigación, y

• la necesidad de aprovechar las oportunidades que ofrece la publicación en línea (como relajar los límites innecesarios en el número de palabras, figuras y referencias en artículos, y la exploración de nuevos indicadores de la importancia y el impacto).

Reconocemos que muchas agencias de financiación, instituciones, editores e investigadores ya están alentando prácticas mejoradas en la evaluación de la investigación. Estas medidas están empezando a aumentar el impulso hacia enfoques más complejos y significativos para la evaluación de investigación que ahora se puede realizar y que son adoptadas por todos los principales grupos involucrados.

Los firmantes de la Declaración de San Francisco en la evaluación de la investigación apoyan la adopción de las siguientes prácticas en la evaluación de la investigación.

Recomendación General. 

1. No utilice métricas basadas en revistas, tales como índices de impacto de revistas, como una medida sustitutiva de la calidad de los artículos de investigación individuales, con el fin de evaluar las contribuciones de un científico, o en la contratación, promoción, o en las decisiones de financiación.

Para los organismos de financiación. 

2. Sea explícito acerca de los criterios utilizados en la evaluación de la productividad científica de los solicitantes de subvenciones y resaltar claramente, sobre todo para los investigadores en fase inicial, que el contenido científico de un artículo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado.

3. A efectos de la evaluación de la investigación, considerare el valor y el impacto de los resultados de la investigación (incluidos los conjuntos de datos y software), además de las publicaciones de investigación, y considerare una amplia gama de medidas de impacto que incluya indicadores cualitativos del impacto de la investigación, como la influencia sobre la política y la práctica.

Para las instituciones. 

4. Sea explícito acerca de los criterios utilizados para llegar a la contratación, la tenencia y las decisiones de promoción, destacando con claridad, sobre todo para los investigadores en fase inicial, que el contenido científico de un artículo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado.

5. A efectos de la evaluación de la investigación, considerare el valor y el impacto de los resultados de la investigación (incluidos los conjuntos de datos y software), además de las publicaciones de investigación, y considerare una amplia gama de medidas de impacto que incluya indicadores cualitativos del impacto de la investigación, tales como la influencia sobre la política y la práctica.

Para editoriales. 

6. Reduzca en gran medida el énfasis en la revista del índice de impacto como una herramienta de promoción, idealmente dejando de promover el índice de impacto o mediante la presentación de la métrica en el contexto de una variedad de métricas basadas en revistas (por ejemplo, índice de impacto de 5 años, Eigenfactores [8] , SCImago [9], índice h, editorial y tiempos de publicación, etc) que proporcionan una visión más rica del rendimiento de la revista.

7. Ponga a disposición una serie de indicadores a nivel de artículo para fomentar un cambio hacia la evaluación basada en el contenido científico del artículo en lugar de métricas sobre la revista en que fue publicado.

8. Fomente prácticas de autoría responsables y la provisión de información sobre las contribuciones específicas de cada autor.

9. Si la revista es de libre acceso o suscripción, elimine todas las limitaciones de reutilización en las listas de referencias de artículos de investigación, que estarán disponibles bajo la licencia “Creative Commons Public Domain Dedication” [10].

10. Elimine o reduzca las restricciones en el número de referencias en artículos de investigación y, en su caso, dirija la citación de la literatura primaria en favor de las revisiones con el fin de dar crédito al grupo(s) que registró por primera vez un hallazgo.

Para las organizaciones que proveen métricas. 

11. Sea abierto y transparente, proporcionando datos y métodos utilizados para el cálculo de todos los indicadores.

12. Proporcione los datos bajo una licencia que permita la reutilización sin restricciones, y facilite el acceso a los datos de cálculo, siempre que sea posible.

13. Tenga claro que la manipulación inadecuada de los indicadores no será tolerada; sea explícito acerca de lo que constituye la manipulación inadecuada y qué medidas se tomarán para combatir esto.

14. Cuando se utilizan, agregan o comparan indicadores tenga en cuenta las diferencias existentes entre los distintos tipos de artículos (por ejemplo, revisiones frente a artículos de investigación), y en las diferentes áreas científicas.

Para los investigadores. 

15. Cuando participe en los comités de toma de decisiones sobre la financiación, la contratación, la tenencia, o la promoción, realice evaluaciones basadas en el contenido científico en lugar de en las métricas de publicación.

16. Siempre que sea necesario, cite la literatura primaria en que las observaciones fueron por primera vez publicadas con el fin de dar el crédito a quien merece ese crédito.

17. Use una variedad de métricas de artículos e indicadores sobre las declaraciones personales o de apoyo, como evidencia del impacto de los artículos publicados individuales y otros productos de la investigación [11].

18. Cambie las prácticas de evaluación de la investigación que se basan inadecuadamente en los índices de impacto y promueva y enseñe las mejores prácticas que se centran en el valor y la influencia de los resultados específicos de la investigación.

Referencias

1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union. www.mathunion.org/publications/report/citationstatistics0
2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502.
3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004.
4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometrics 92, 211–238.
5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
8. http://www.eigenfactor.org/
9. http://www.scimagojr.com/
10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
11. http://altmetrics.org/tools/

Bookmetrix : métricas alternativas a nivel de libros y capítulos

Deja un comentario

Bookmetrix es un programa de Springer que reúne una colección de métricas de rendimiento, que ayuda a ver cómo se están discutiendo, citado y utilizado los libros en todo el mundo. La aplicación incluye métricas tanto de libros como de capítulos. Facilita encontrar los libros y capítulos más populares dentro de temas específicos, y explorar los que tienen mejor desempeño para cada categoría de dato para determinar el uso, alcance e impacto de los libros. Para ello recoge medidas altmétricas relativas a citas en línea, reseñas de libros, y descargas en cada libro o capítulo.

Bookmetrix recupera los metadatos del libro y capítulo desde Springer y CrossRef, y luego agrega las métricas de libros y capítulos relacionados de una variedad de fuentes de datos. Recopila datos proporcionados por Altmetric.com, que reúne una variedad de diferentes fuentes en línea. A nivel de libro se totalizan en tiempo real todo que se han recogido para los capítulos y el libro mismo. Así mismo también recupera las referencias compartidas en Mendeley, es decir recuentos de lectores, datos demográficos y ubicaciones geográficas Los datos de Mendeley se actualizan semanalmente.

Cada página de detalles Bookmetrix contiene dos componentes:

– Información del libro y una lista de todos los capítulos (lado izquierdo)

– Métricas y visualizaciones de datos de libros y capítulos  (lado derecho)

Aquí se puede ver un ejemplo de como funciona y que datos recoge Bookmetrix

[]

 

Acreditación ANECA ¿Qué tiene que saber un investigador para mejorar los resultados de su investigación?

5 respuestas

Emacs!

Ver Slide SHARE

¿Qué tiene que saber un investigador para mejorar los resultados de su investigación? por Julio Alonso Arévalo

Oir PODCAST de PLANETA BIBLIOTECA

¿Qué tiene que saber un investigador sobre acreditación y calidad científica?

Las nuevas posibilidades de comunicación también ofrecen nuevas oportunidades para la formación, el análisis y evaluación de la investigación. Los científicos y los investigadores están utilizando de forma rutinaria las aplicaciones basadas en web en sus investigaciones. En prácticamente todos los ámbitos de investigación, las herramientas digitales se han convertido en indispensables, la aparición de nuevos paradigmas como el acceso abierto, métricas alternativas y redes sociales son un ejemplo importante de cómo estos cambios han afectado a la forma en que los estudiosos piensan en el futuro de las publicaciones académicas. Estos acontecimientos han creado nuevas posibilidades y desafíos en la evaluación de la calidad de la investigación, también a nivel de investigadores individuales y desarrollos de carrera. Es en este nivel donde la biblioteca juega un papel indispensable en la formación de competencias, destrezas y habilidades informativas que repercutirá en la valoración social del profesional, su satisfacción laboral y en última instancia en la calidad de la propia institución. Se destacan los aspectos más sobresalientes en los nuevos paradigmas de comunicación y difusión científica y se recomiendan las acciones de formación más adecuadas al respecto. Se dan 5 recomendaciones básicas para que un investigador mejore el impacto de sus trabajos.

s

La lucha contra las falsas revistas científicas fraudulentas

3 respuestas

 

 

Cada vez son más las estafas que están enmascarando publicaciones que no lo son como revistas académicas que requieren del pago para aceptar y publicar trabajos sin ningún tipo de revisión por pares. Estas revistas son generalmente fáciles de detectar. Pero ahora hay un nuevo problema: el propio proceso de revisión por pares está siendo hackeado gracias a los servicios de terceros a los que se paga para fabricar falsas revisiones por pares.

 

La condición sine quanum para que consideremos que una revista es científica es que haya sido sometida a un proceso de revisión por parte de expertos o pares. El proceso de revisión por pares es crucial para la integridad de las publicaciones académicas, y es una tarea clave para asegurar que la información que se publica se ha examinado a fondo y es lo más precisa posible. Si una revista afirma que los documentos que publica son revisadas por expertos, se supone que este hecho proporciona  a los lectores un grado de confianza de que un grupo de expertos ha evaluado los contenidos que se publican en la misma, y que han pasado un examen concienzudo.

El proceso de revisión científica da validez como tal a una investigación, el desarrollo del proceso de revisión lo lleva a cabo el comité científico de la revista o publicación. El comité científico en general es designado por el editor de la revista entre aquellos expertos más cualificados o con mayor experiencia en ese área de conocimiento.  Cuando un autor envía un original a una revista, el editor designa a dos o tres de esos expertos para que revisen la calidad de la publicación; normalmente este proceso se lleva a cabo por lo que se denomina doble ciego; es decir los revisores no saben quién es el autor de la publicación y a la viceversa, el investigador desconoce quienes son los que hacen la revisión de su publicación. Cuando el comité científico emite el juicio de evaluación normalmente se dan tres posibilidades

1. Publicación del artículo sin modificaciones

2. Aceptación del artículo con modificaciones

3. Rechazo

En resumen los revisores analizan la metodología de investigación utilizada en el trabajo y hacen sugerencias para mejorar y optimizar la calidad de lo publicado. También pueden optar por rechazar un trabajo si la investigación es poco sólida. y como vimos anteriormente los revisores normalmente no tienen contacto directo con los investigadores, si no que les comunican sus comentarios, críticas y preocupaciones por medio de los editores de la revista, sea directamente o a través de la plataforma de la revista (OJS), que luego son quienes deciden finalmente si aceptan o no el documento para su publicación en base al consenso respecto al juicio emitido por aquellos otros. En el caso de que haya una diferencia fuerte de criterio entre ambos revisores se designa a un tercero.

La presencia de entidades falsas que fingen validar la investigación no es nuevo en el mundo académico, pero en los últimos años  con el auge del libre acceso, los falsos informes de investigación fraudulenta han ido siendo objeto cada vez de más atención. El hecho de que el nombre del revisor asignado a un trabajo suene legítimo no quiere decir que en realidad lo sea. Según una noticia aparecida esta semana en The Dai ly Dot, no es ningún secreto que cualquiera puede fingir casi todo en Internet: referencias falsas de trabajos, noticias falsas, falsas audiencias, falsas credenciales académicas y ciencia falsa. Incluso las revistas universitarias que distribuyen importantes investigaciones de universidades de todo el mundo comienzan a ser objeto de estos mismos tipos de influencias, ya que en los últimos años es bastante frecuente encontrar revistas evaluadas por falsos revisores que proliferan en el mundo académico, según Retraction Watch una página web dedicada a la vigilancia científica al menos un total de 250 revistas de este tipo han sido denunciadas en los últimos tres años.

La tendencia reciente que permite a los autores del original e incluso a los propios revisores recomendar a otros investigadores para hacer revisiones por pares de su trabajo ha sido en parte el factor desencadenante de la corrupción en el sistema. En algunos casos incluso se está produciendo el robo de identidad, ya que los pares falsos suelen utilizar nombres de importantes científicos pertenecientes al área de investigación del documento a revisar, sin que los verdaderos científicos sepan que su identidad ha sido robada y está siendo utilizada para la emisión de opiniones falsas sobre una investigación a evaluar.

El proceso está mucho más extendido de lo que podríamos creer en un principio. El número total de documentos con revisiones por pares falsos desde 2012 sólo representa el 15 por ciento del número total de las denuncias hechas por Retraction Watch, una cifra relativamente importante respecto a miles de artículos científicos que se publican cada año en el que además se han visto implicadas importantes firmas editoriales. En el último año la revista Nature informó que parte de su plataforma, un software de gestión y publicación de servicios llamado ScholarOne, había sido utilizado para enlazar a más de un centenar de cuentas falsas de falsos revisores, las cuales redirecionaban  de nuevo a un único autor en Taiwán. Incluso sistemas tan sólidos como el de Elsevier también son vulnerable, aunque se sabe que esta importante editorial está trabajando para no permitir a los usuarios agregar cuentas fraudulentas, o hackear cuentas de editores y asignarlas a  colaboradores fraudulentos.

La buena noticia es que a medida que han ido apareciendo falsas revisiones científicas también lo han hecho los sitios de vigilancia que identifican revistas que ofrecen revisiones por pares falsos, e incluso en algunos casos de estafas por parte de revisores reales que ofrecen a los autores buenas críticas a cambio de dinero para crear reseñas falsas.

Todo esto tiene importantes daños colaterales para muchos autores, ya que muchos de los trabajos de investigación que aparecen en estas revistas fraudulentas son legítimos, y sus autores no tienen nada que ver con el falso proceso de revisión por pares, de modo que estos autores son víctimas de esta pantomima de sistema de revisión por pares, y una vez que sus documentos se retraen, será muy difícil para ellos volver a dar a conocer los resultados de su trabajo legítimos de investigación.

Basado en

Academic journals are facing a battle to weed out fake peer reviews.

El principal reto para la aplicación de métricas alternativas de medición científica es la consistencia en los datos

1 respuesta

 

En prácticamente todos los ámbitos de investigación, las herramientas digitales se han convertido en indispensables, la aparición de nuevos paradigmas como el acceso abierto, métricas alternativas y redes sociales son un ejemplo importante de cómo estos cambios han afectado a la forma en que los estudiosos piensan en el futuro de las publicaciones académicas. Estos acontecimientos han creado nuevas posibilidades y desafíos en la evaluación de la calidad de la investigación, también a nivel de investigadores individuales y desarrollos de carrera.  Pero para que esto sea una realidad es muy importante entender las similitudes potenciales o diferencia en las cifras a través de diferentes agregadores altmetrics. Para ello es necesario recurrir a las mejores prácticas en la recopilación de datos altmetric tanto por parte de los proveedores altmetric como de los agregadores y editores. Para ello es conveniente desarrollar normas, directrices y recomendaciones para introducir transparencia y coherencia a través de proveedores y agregadores.

La Declaración Universal de los Derechos Humanos establece la universalidad de la Ciencia como un principio fundamental e igualitario, que incluye el derecho a participar en el progreso científico y en los beneficios de la ciencia “… la libertad de comunicación para científicos, así como el acceso equitativo a los datos, información y recursos para la investigación”.

Esto está en correlación con los principios de las métricas alternativas, ya que según Open access to scientific data and literature and the assessment of research by metrics del International Council of Science. Las métricas utilizadas en la evaluación de la investigación y los investigadores debieran ayudar a promover el acceso abierto abierto y la ciencia abierta, y la comunidad científica debe participar en el plenamente en su diseño.

Los medios sociales están cambiando la forma de interactuar, presentar las ideas e información, y juzgar la calidad de los contenidos y contribuciones. En los últimos años han surgido cientos de plataformas que permiten compartir libremente todo tipo de información y conectarnos a través de redes. Estas nuevas herramientas generan estadísticas de actividad e interacciones entre sus usuarios tales como menciones, retweets, conversaciones, comentarios en Blogs o en Facebook; gestores de referencias que muestran índices de popularidad de las referencias más compartidas por otros investigadores o repositorios que generan estadísticas de visitas, o descargas de artículos.

Los educadores, los estudiantes, investigadores y el público en general utilizan habitualmente los medios sociales para compartir noticias sobre los avances científicos y otros campos de estudio. El impacto de estos cambios en la comunicación científica y en la credibilidad de la información todavía está por verse, pero es evidente que los medios sociales han encontrado una importante tracción en casi todos los sectores de la educación y como consecuencia de ello están generando una influencia en los procesos de comunicación científica y en los hábitos y comportamientos de los investigadores de todas las disciplinas.

La influencia generada por los medios sociales ha sido calificada como Investigación 2.0, Social reference, Altmetrics ..etc. Varios autores han investigado la influencia en Twitter, en Blogs y gestores de referencias (Jiang, He, Ji, 2001) Sin lugar a dudas la mayor parte de los investigadores han trasladado sus actividades de investigación a la web. Y con el éxito de los medios sociales esta situación se ha hecho más evidente, ya que estas herramientas tienen más potencialidad para desarrollar un rango mayor de influencia académica que los entornos tradicionales de publicación. A pesar de que aún las publicaciones impresas siguen teniendo una fuerte influencia en la comunidad académica, los medios sociales como blogs, repositorios, redes sociales y gestores de referencias en línea están empezando a ser considerados con el objetivo de obtener una imagen más completa acerca del impacto de las publicaciones. Sitios como Google Scholar incluyen muchos tipos de publicaciones como preprits, presentaciones, artículos o tesis, que no aparecen en los sistemas tradicionales como Web of Science o Scopus, y que de alguna manera reflejarían una más amplia tipología de impacto (Aguillo, 2010).

La transición a esta nueva era presenta tanto retos como oportunidades. Quienes participan en la administración de la investigación utilizan métricas tradicionales para la evaluación de la importancia y el impacto de la investigación Estas métricas a su vez afectan el comportamiento de investigadores, tales como la elección de revistas, ya que se busca maximizar su desempeño, aspecto que tiene que ver con las métricas utilizadas, lo que contribuye al mantenimiento de los altos precios de las publicaciones. La apertura y el compartir, permite un nuevo reconocimiento del impacto de la investigación a través de nuevas contribuciones y la generación de conjuntos de datos, software, código, blogs, wikis y foros.

Bibliotecas digitales, repositoiros OA, revistas y bases de datos de artículos permiten descargar un documento y disponer de estadísticas de uso, estas tienen un importante potencial para establecer la popularidad de un artículo, y su potencial de lectura, lo que en alguna manera es un buen indicador de su valor o influencia científica. Algunos estudios también han hecho la correlación entre el número de vistas y descargas a un documento y el número de citas recibidas, lo que sugiere en alguna manera que las estadísticas de uso tienen una relación directa con su impacto (Brody, Harnad, Carr, 2006) ; aunque también existen algunos problemas prácticos respecto al uso de estás estadísticas para evaluación de la investigación, como la falta de uniformidad y normalización, o que los propios editores las manipulen para obtener una mayor influencia. Aunque las mayores críticas se centran en decir que se trata de una simple medida de uso, y no de influencia científica (Neylon, Wu, 2009). Una serie de investigadores han trabajado en la identificación de nuevos métodos cuantitativos de evaluación de la investigación para la Web con el objetivos de complementar el análisis de citas tradicional.

En conclusión, Altmetric aporta una medida más real y más objetiva del impacto social de la investigación. Pero el objetivo principal para que la aplicación de las de las métricas alternativas sea adecuada tiene que fundamentalmente con la coherencia de los datos entre los proveedores  altmetrics y agregadores para el mismo conjunto de publicaciones. Por coherencia se entiende tener unas puntuaciones razonablemente similares para fuentes con el mismo DOI a través de diferentes proveedores o agregadores  altmetrics.

El informe Users, narcissism and control – tracking the impact of scholarly publications in the 21st century recomienda iniciar un programa de investigación concertada en la dinámica, propiedades y uso potencial de las métricas web basados en las nuevos sistemas de medición de impacto de la publicación. Su objetivo es contribuir al desarrollo de las herramientas más útiles para la comunidad científica y académica. Este programa considera relevantes para la medición alternativa las siguientes herramientas:  F1000, Microsoft Academic Research, Impact story,PlosONE altmetrics, and Google Scholar. El programa, además deberán desarrollar los siguientes temas: conceptos clave de la investigación de nuevas métricas web y altmetrics, la estandarización de herramientas y de datos, y el uso y la normalización de las nuevas métricas.

Users, narcissism and control – tracking the impact of scholarly publications in the 21st century

.

Hace unos meses anunciamos en Universo Abierto que la Universidad de Utrech estaba haciendo una encuesta sobre las herramientas más populares utilizadas por los investigadores de todo el mundo “Most popular tools for single research activities“ ya disponemos de resultados preliminares al respecto. Estas cifras representan los primeros 1.000 respuestas. En conjunto, los 1.000 encuestados mencionan más de 1000 herramientas diferentes algunas no incluidas en la encuesta preliminar. Estos datos son de gran utilidad para conocer que herramientas están utilizando los investigadores, cuales son las herramientas emergentes que tienen una mayor proyección de futuro, y de esta manera los responsables en bibliotecas universitarias orientar la formación que impartimos a nuestros investigadores hacia estos recursos. Es importante poner de relieve que quienes han contestado a la encuesta son investigadores que utilizan estos recursos.

 

 

A la pregunta de que sitios web utilizan para buscar literatura profesional ponen de manifiesto que la herramientas más utilizadas son Google Schoolar en un 92% de los casos, seguido de Web of Science en un 47%, PubMed un 45%, Scoupus un 29%, Mendeley un 22% y WorldCat en en 20%.

La mayoría de los investigadores recurren al repositorio de su propia institución para depositar y dar visibilidad a sus trabajos de investigación en un 53% de las respuestas. Otro sitio popular para depositar los trabajos de investigación es ResearchGate (50%) en el que difunden sus investigaciones prácticamente la mitad de los autores. De los repositorios temáticos los más populares y utilizados son PubMed y ArXix con un 18 y un 19% respectivamente. En el ámbito de las Ciencias Sociales SSRN (5%)

Además la mitad de los investigadores utilizan Web of Science para medir el impacto de su investigación,Journal Citation Report de Thompson es utilizado por el 45%, y Almetric.com (44%) se configura como la tercera herramienta utilizada para este fin, incluso por delante de Scopus, y otros recursos altmétricos como ImpactStory o Ploos article level metrics.

La comprensión de las diferencias en los recuentos obtenidos utilizando diferentes métodos es importante para el desarrollo de altmetrics. Recientemente se ha publicado el estudio How consistent are altmetrics providers? Study of 1000 PLOS ONE publications using the PLOS ALM, Mendeley and Altmetric.com APIs.  para ello se recogió una muestra aleatoria de 30.000 DOIs obtenidos de Crossref (15.000) y WoS (15.000), publicados en 2013. El resultado del estudio es que se encontraron importantes discrepancias e inconsistencias entre los proveedores de datos de métricas para los mismos conjuntos de datos. Es de destacar que los recuentos de lectores de Mendeley fueron muy similares entre los distintos agregadores, ya que los los datos proceden directamente de Mendeley. Pero sin embargo los resultados para el recuento de tweets y comentarios de Facebook existen diferencias enormes respecto a la recopilación y notificación de estas métricas. entre Altmetric.com y Lagotto la aplicación de código abierto utilizada por Plos Almetrics.

Las posibles razones de inconsistencia son:

– Las diferencias en las métricas de informes (entre datos filtrados y datos en bruto / mensajes públicos y mensajes privados)
– Diferentes metodologías en las métricas de recolección y procesamiento (Twitter API)
– Diferentes actualizaciones: con posible demoras en la recolección de datos o problemas de actualizaciónUtilizando diferentes identificadores (DOI, PMID, Identificación del arXiv) para las métricas de seguimiento
– Dificultades en la especificación de la fecha de  de recogida de datos de influencia la publicación (por ejemplo, diferentes fechas de publicación entre WoS y Crossref)
– Los problemas de accesibilidad que difieren en diferentes plataformas de los editores  (DOI resolver cuestiones URLs, problemas de cookies, denegación de acceso)

Las métricas utilizadas en la evaluación de la investigación y los investigadores debieran ayudar a promover el acceso abierto abierto y la ciencia abierta, y la comunidad científica debe participar en el plenamente en su diseño. Por lo que el Consejo Internacional para la Ciencia hace las siguientes recomendaciones adicionales:

1. Los modelos de negocio para las publicaciones científicas se deben construir en beneficio del bien científico, y tener en cuenta las necesidades de los países en desarrollo y desarrollados científicamente.

2. Los mecanismos para lograr el acceso abierto varían según la disciplina, y para algunos campos de la investigación puede haber restricciones éticas o legales legítimas sobre el acceso a datos de investigación y, en casos muy limitados a los resultados de investigación en sí mismos. Sin embargo, la apertura debe ser la norma, a no ser que existan circunstancias claramente justificadas.

3. Se requiere una vigilancia para que los nuevos modelos de publicación y difusión no comprometan la calidad. Hay una necesidad urgente revindicada desde hace años por las comunidades de investigación y publicación para desarrollar formas de señalización a los autores y los lectores las revistas y repositorios de datos que tienen las garantías necesarias de calidad y archivo seguro a través de los procedimientos implantados.

4. Los editores y redactores de publicaciones científicas requieren que los autores proporcionen referencias explícitas de los trabajos conjuntos de datos de instrumentos subyacentes publicados, utilizando identificadores persistentes individuales. Requiere también que los conjuntos de datos de la investigación sean depositados y disponibles en repositorios digitales fiables y sostenibles. Citándose los datos en las listas de referencia utilizando un formato estándar aceptado.

5. El Consejo Internacional para la Ciencia suscribe los principios y directrices para el acceso a datos de la investigación financiada con fondos públicos de la OCDE  referidos a acceso abierto: “La apertura significa acceso y agrupación en condiciones de igualdad para la comunidad científica internacional a los precios que pueden tener un costo marginal de difusión. El acceso abierto a los datos de investigación con financiación pública debe ser accesible a través de internet, de forma adecuada y fácil de utilizar”.

6. La falta de claridad en lo que a usos permitidos se refiere, o a los requisitos que requieren pedir permiso para usar datos específicos, son obstáculos a la apertura y a la reutilización. Por lo tanto, todos los conjuntos de datos debe ir acompañados de una licencia en regla que aclare los usos permitidos, así también, el generador de los datos debe ser reconocido, y, en su caso los datos de a quien necesita un investigador dirigirse para obtener el correspondiente permiso adicional para usar los datos.

7. Junto con los beneficios que se obtienen a través de la información de completa, abierta y gratuita de datos, los propios científicos tienen la responsabilidad de hacer que sus propios datos y resultados científicos estén ampliamente disponibles tan pronto como sea posible. Los períodos de embargo no contribuyen a  la buena ciencia.

8.  la preparación de la gestión de datos y un plan de difusión y la participación temprana de los administradores de datos “premium” deberían ser “requisitos para todos – o al menos para aquellos financiados con fondos públicos – como proyectos y programas de investigación. La evaluación del desempeño y el éxito de los programas y proyectos de investigación ofrecidos por los financiadores y las partes interesadas incluyen prácticas de gestión y difusión de datos.

9. Editores y redactores de publicaciones científicas requieren que los autores proporcionen referencias explícitas al software o código utilizado.

10.  En la evaluación de la investigación, las métricas deben considerarse como una ayuda, y no como un sustituto, para la buena toma de decisiones. Las citas únicamente no deberían utilizarse de forma aislada para la evaluación al desempeño de los investigadores, como el único método para distribuir fondos a personas o grupos de investigación. Es necesario además la opinión de expertos.

11. El Consejo Internacional para la Ciencia suscribe la Declaración de San Francisco de Evaluación de la Investigación (DORA), en la que se reconoce la necesidad de implementar metodologías sobre como se evalúan los resultados de la investigación.

12. Los términos de los contratos que se rigen para la adquisición de publicaciones periódicas científicas y bases de datos de las bibliotecas de las universidades y centros de investigación debe ser accesibles al público.

También la Organización Nacional de Información de Normas (NISO) ha puesto en marcha un grupo de trabajo sobre la calidad de los datos altmetricos a principios de 2015, NISO Alternative Assessment Metrics (Altmetrics) Initiative, que tiene como objetivo desarrollar directrices claras para la recolección, procesamiento, difusión y reutilización de los datos altmetricos en beneficio de todos los agentes participantes en este proyecto.

En conclusión en prácticamente todos los ámbitos de investigación, las herramientas digitales se han convertido en indispensables, la aparición de nuevos paradigmas como el acceso abierto, métricas alternativas y redes sociales son un ejemplo importante de cómo estos cambios han afectado a la forma en que los estudiosos piensan en el futuro de las publicaciones académicas. Estos acontecimientos han creado nuevas posibilidades y desafíos en la evaluación de la calidad de la investigación, también a nivel de investigadores individuales y desarrollos de carrera.  Pero para que esto sea una realidad es muy importante entender las similitudes potenciales o diferencia en las cifras a través de diferentes agregadores altmetrics.

Para ello es necesario recurrir a las mejores prácticas en la recopilación de datos altmetric tanto por parte de los proveedores altmetric como de los agregadores y editores. Para ello es conveniente desarrollar normas, directrices y recomendaciones para introducir transparencia y coherencia a través de proveedores y agregadores.

.

Ver

Aguillo, I. “Is Google Scholar Useful for Bibliometrics? A Webometrics Analysis.” 3th International Conference of the International Society for Scientometrics & Informetrics.13-14 (2011).Texto completo

Alonso-Arévalo, Julio Alfabetización en Comunicación Científica: Acreditación, OA, redes sociales, altmetrics, bibliotecarios incrustados y gestión de la identidad digital., 2014 . In Alfabetización informacional: Reflexiones y Experiencias, Lima (Perú) , Lima-Perú, 20 Y 21 de marzo del 2014. Texto completo

Alonso Arévalo, Julio. “Los Gestores De Referencias Sociales: Índices De Popularidad Y Descubrimiento Científico.” Comunidades de prácticas 2.0 de la SEDIC (2009). Texto completo

Alonso Arévalo, Julio, José Antonio Cordón García, and Helena Martín Rodero. “Citeulike Y Connotea: Herramientas 2.0 Para El Descubrimiento De La Información Científica.” El Profesional de la Información 19.1 (2010): 86-94. Texto completo

Brody, T. Carr L. Harnad S., and Alma Swan. “Time to Convert to Metrics.” ECS EPrints Repository (2007).  Texto completo

Charlando con Julio Alonso Arévalo sobre visibilidad científica e impacto en la red. Social media en investigación Publicado en Mayo 7, 2015 por julio Leer la entrevista completa

Consistency challenges across altmetrics data providers/aggregators. 2:am amsterdan 2015Texto completo

International Council of Science. (2014). [e-Book]  Open access to scientific data and literature and the assessmentof research by metrics, International Council of Science. Texto completo

Jiepu Jiang, Daqing He, and Chaoqun Ni. “Social Reference: Aggregating Online Usage of Scientific Literature in Citeulike for Clustering Academic Resources.” JCDL’11, June 13–17, 2011, 11 (2011): 401-02. Texto completo

Neylon, Cameron “Re-Use as Impact: How Re-Assessing What We Mean by “Impact” Can Support Improving the Return on Public Investment, Develop Open Research Practice, and Widen Engagement “ Altmetrics (2011).  Texto completo

Wouters, Paul  and Rodrigo  Costas. [e-Book]  Users, narcissism and control – tracking the impact of scholarly publications in the 21st century, SURFfoundation, 2012. Texto completo

Zahedi, Zohreh; Fenner, Martin; Costas, Rodrigo (2014): How consistent are altmetrics providers? Study of 1000 PLOS ONE publications using the PLOS ALM, Mendeley and Altmetric.com APIs. figshare. Texto completo