Archivo de la etiqueta: Evaluación

Monográfico: Impacto y Evaluación de los repositorios OA

Acceso abierto. Impacto

Más MONOGRÁFICOS SOBRE BYD

Los repositorios juegan ya un papel importante en la comunicación científica, debido principalmente al creciente éxito de las iniciativas open access como el Ranking Web de repositorios que, utilizando técnicas cibermétricas, clasifica los repositorios académicos institucionales y temáticos más importantes.

También se han desarrollado indicadores cuantitativos que permitan describir sus contenidos y evaluar su uso e impacto. Existen estudios relevantes y directorios sobre la situación de los repositorios institucionales basados en su identificación/censo y en recoger las características que los definen (básicamente: software, disciplina y tipo y cantidad de documentos).

Existen otros trabajos en este ámbito que tienen como objetivo documentar la proliferación de alternativas al factor de impacto que han surgido en los últimos cinco años, coincidiendo con el aumento de la prominencia de la publicación de acceso abierto, y si esta tiene una incidencia sobre el impacto de las publicación en la comunicación científica. Entre los retos que tienen planteados los repositorios institucionales está el demostrar y cuantificar con datos objetivos que los trabajos disponibles en abierto se citan y se utilizan más que el resto. Algunos repositorios están incluyendo análisis del uso de sus documentos. También existen proyectos a nivel internacional dedicados a la elaboración de índices de citas. De momento estas iniciativas son aisladas. Para obtener una evaluación precisa será necesario integrar los resultados procedentes de distintas instituciones y disciplinas tendentes a obtener indicadores globales que permitan la comparación entre autores, instituciones, etc

En este monográfico de InfoDoc recogemos las publicaciones más relevantes que han tratado este tema.

El libro blanco de la revisión por pares

 

peer-review-in-2015

Peer review in 2015: a global view: Taking peer review’s pulse with today’s researchers, 2015. [e-Book] London, Taylor & Francis Group, 2015

Texto completo

Suplemento

.

El libro blanco, “La revisión por pares en 2015: Una visión global” fue publicado el pasado viernes por Taylor & Francis. En él, los lectores encontrarán un resumen de una encuesta en línea a seis grupos de enfoque. El documento va acompañado de un suplemento que recoge las preguntas formuladas en la encuesta y sus resultados. El libro aborda algunas de las cuestiones esenciales que nos estamos planteando hoy en día en torno a la revisión científica ¿Cual piensan los investigadores de hoy en día qué es el propósito de la revisión por pares, y cuáles son sus expectativas actuales? ¿Que importancia tienen las cuestiones éticas en la revisión por pares? ¿Cómo es el proceso de revisar un documento? ¿Qué validez tiene o sigue teniendo este proceso? Sin dudas se trata de uno de los estudios de investigación más serios sobre la revisión por pares en los últimos años.

A hombros de gigantes: El creciente impacto de los artículos más antiguos

 

[]

Verstak, A., A. Acharya, et al. “On the Shoulders of Giants: The Growing Impact of Older Articles.” arXiv:1411.0275 [cs] vol., n. (2014).

Texto completo

A hombros de gigantes: El creciente impacto de los artículos más antiguos

 

En este trabajo se analiza la evolución del impacto de los artículos más antiguos. Se intenta responder a cuatro preguntas.

1. Con qué frecuencia se citan los artículos más antiguos, y cómo ha cambiado su citación a lo largo del tiempo

2. Como varía el impacto de los artículos  más antiguos en diferentes campos de investigación.

3. Si el cambio en el impacto de los artículos más antiguos se acelera o frena con el tiempo.

4. Cuales son las diferentes tendencias  de cita de los artículos más antiguos.

Para responder a estas preguntas, se estudiaron las citas de artículos publicados entre 1990 y 2013. Y se calculó la fracción de citas recibidas por los artículos más antiguos publicados cada año. Por ello se consideraron los artículos que se publicaron al menos 10 años antes de que el artículo fuera citando como antiguo. La muestra recoge 261 categorías temáticas y 9 áreas de investigación. Por último, se repitió el cálculo para otras dos categorías de artículos, aquellos con 15 años y 20 años de antigüedad.

Se extraen tres conclusiones del estudio:

En primer lugar, el impacto de los artículos más antiguos ha crecido sustancialmente entre 1990 y 2013. En 2013, el 36% de las citas fueron de artículos que tenían al menos 10 años de edad; esta categoría creció un 28% desde 1990. La proporción de citas de artículos de más edad aumentó durante 1990 a 2013 para 7 de los 9 grandes áreas de conocimiento y para 231 de las 261 categorías temáticas.

En segundo lugar, el incremento de citas en la segunda mitad (2002-2013) fue el doble del acaecido en el primer periodo (1990-2001).

En tercer lugar, la tendencia a un impacto cada vez mayor de los artículos más antiguos también es válida para los artículos aún más antiguos. En 2013, el 21% de las citas fueron a artículos de 15 años o más, con un aumento del 30% desde 1990, y el 13% de las citas fueron a artículos de 20 años o más, con un aumento del 36%.

Elsevier expande sus perspectivas métricas con el lanzamiento de proyecto piloto altmetrics

 

Elsevier que ha sido durante mucho tiempo un defensor a ultranza de la informetría robusta, parece ser que está particularmente interesada en la comprensión de cómo se pueden utilizar estas nuevas medidas en relación con los datos de uso y citación de sus artículos de revista, para proporcionar nuevos indicadores significativos para la comunidad investigadora.

Altmetrics, (la medida de la actividad académica en las redes sociales y en las herramientas sociales), es una palabra de moda importante en este momento, y aunque es una disciplina muy nueva, su interés está creciendo rápidamente, como lo demuestran los volúmenes de búsqueda relativas en el siguiente gráfico.

Con Internet y los avances en el análisis de ‘big data’ cada vez más interconectados, en la actualidad hay muchas maneras para medir el impacto de la investigación. Las estadísticas de Mendeley, por ejemplo, parece proporcionar más conocimientos sobre el uso académico de un documento que Twitter.

 

Los datos bibliométricos tradicionales pueden ser complementados con datos de uso (visitas y descargas), mientras que el éxito de las comunidades y las herramientas en línea han dado lugar a una visibilidad más amplia para un comentario erudito, las estadísticas de lectores, y otras medidas de atención en línea. Altmetrics abarcan la actividad social en la forma de menciones en las redes sociales, la actividad académica en las bibliotecas digitales, índices de popularidad en los gestores de referencias, comentarios erudito a través de blogs científicos y referencias en los medios sociales.

Altmetrics ofrecen una visión alternativa sobre el uso e impacto de la investigación por parte de los lectores de artículos académicos, y esta información ha impulsado a autores, investigadores, editores a tratar de entender cual es la importancia de estos datos. Por ello, Elsevier ha empezado a participar en la proyecto NISO Altmetrcs y esta linea sigue en su proyecto Article Usage Reports, un programa que informa a los autores que han publicado en las revistas de Science Direct y Elsevier.com sobre cómo se está visualizando su artículo.

 

 

Los datos proporcionados por Mendeley -que Elsevier adquirió el año pasado-, siguen proporcionando una fuente de datos invaluable y libre sobre situación de los investigadores en su disciplina. Ya que Mendeley recoge datos de más de 2 millones de investigadores a través de más de 100 millones de referencias compartidas que tienen el gestor de referencias.

También Elsevier ha establecido relaciones  con alguna start-ups relacionada con altmetrics como Altmetric.com explorer un  producto para comprender y analizar las tendencias, así como informar a algunas de las campañas de marketing. Y se ha unido a un piloto  a través de Kudos para investigar cómo los autores de Elsevier pueden publicitar sus investigaciones. Incluso ha empezado a participar en un proyecto piloto en altmetric.com

SciELO Citation Index : la integración de las revistas de Scielo en WoK

SciELO (Scientific Electronic Library Online) es un programa de la Fundación de Investigación de Sao Paulo para la publicación cooperativa de revistas de acceso abierto en Internet. Es apoyado por el Consejo Nacional de Desarrollo Científico y Tecnológico y es producto de una colaboración con el Centro Latinoamericano y del Caribe de Información en Ciencias de la Salud. Los contenidos de SciELO incluye revistas regionales de América Latina y el Caribe, así como algunos títulos de revistas de España, Portugal y Sudáfrica.

SciELO Citation Index posibilitará conectar SCielo con la plataforma de medición de investigación con más más influencia  en la evaluación del mundo. Lo que permitirá tener una visión global más completa mediante el descubrimiento de nuevas perspectivas de la investigación en América Latina, España, Portugal, el Caribe y África del Sur.

Esto supondrá que se podrá tener un perfil más adecuado de aquel contenido regional con influencia internacional y obtener datos críticos  del contenido regional con impacto internacional para obtener una imagen completa de los factores de influencia y los mecanismos conductores de la investigación regional.

Hacer conexiones con el panorama de la investigación más amplia, con la adición de la SciELO * Citation Index . Obtener una visión global más completa mediante el descubrimiento de nuevas perspectivas de la investigación en América Latina, España, Portugal, el Caribe y África del Sur.

SciELO Citation Index (SciELO CI) integrado a la plataforma del Web of Science (WoS) comenzó a operar regularmente a partir de enero de 2014. Representa un avance notable en la visibilidad internacional de las 750 revistas de SciELO, SciELO CI comparte las mismas funciones, recursos y la navegabilidad de la interfaz de WoS, en conjunto con las otras bases de datos que integran la plataforma WoS. De esta manera, los artículos publicados por las revistas en SciELO CI tendrán contabilizadas las citaciones que reciben de otros artículos de SciELO, de WoS y de las otras bases de datos. Todas las revistas SciELO con publicación actualizada serán indexadas en SciELO CI.

Se estima que SciELO CI integre entre 700 a 750 revistas, -ya hay incluidas unas 350r revistas- y más de de 4 millones de referencias citadas, y acceso abierto a muchas de ellas a través de Scielo. La actualización de los datos será semanal y el ingreso o exclusión de revistas será semestral. SciELO CI estará disponible a todos los suscriptores de la plataforma WoS sin costos adicionales.

 

de: SciELO Citation Index en el Web of Science. SciELO en Perspectiva. [viewed 08 March 2014]. Available from: http://blog.scielo.org/es/2014/02/28/scielo-citation-index-en-el-web-of-science/

Rankings ISSUE 2014 Indicadores sintéticos de las universidades españolas

Pérez, F., J. Aldás, et al.  [e-Book]  Rankings ISSUE 2014 Indicadores sintéticos de las universidades españolas. Madrid, Fundación BBVA, 2014.

Texto completo

El Proyecto U-Ranking, desarrollado en colaboración por la Fundación BBVA y el Instituto Valenciano de Investigaciones Económicas (Ivie), es una pieza central de un programa de actividades de ambas instituciones dirigido a documentar y analizar el papel del conocimiento en el desarrollo social y económico. Este documento presenta uno de los productos básicos de dicho proyecto, los Rankings ISSUE (Indicadores Sintéticos del Sistema Universitario Español), su metodología y los resultados correspondientes a la edición de 2014, la segunda que se presenta. El enfoque de ISSUE, la selección de las variables en las que se basan los rankings elaborados y la metodología seguida en el tratamiento de la información han sido exhaustivamente discutidos por el equipo del Ivie y con un amplio grupo de expertos en evaluación de universidades, información y gestión universitaria. Este documento presenta los resultados de la investigación desarrollada por el Ivie para construir la segunda edición de los Indicadores Sintéticos del Sistema Universitario Español (ISSUE), a partir del análisis de las actividades docentes, de investigación y de innovación y desarrollo tecnológico de las universidades. Los indicadores elaborados sirven de base para la elaboración de diversos rankings de las universidades españolas: dos rankings generales —uno de volumen de resultados (ISSUE-V) y otro de productividad (ISSUE-P)— así como otros más específicos: de docencia, de investigación, de innovación y desarrollo tecnológico, y de titulaciones concretas. Todos estos rankings constituyen aproximaciones a los resultados de las universidades que permiten compararlas desde distintas perspectivas. Mediante esas comparaciones, los indicadores sintéticos permiten evaluar su funcionamiento.

Guía para la evaluación de repositorios institucionales científico

Guía para la evaluación de repositorios institucionales científicos  (2014). [e-Book] Guía para la evaluación de repositorios institucionales científico. Madrid, REBIUN, 2014

Texto completo

Esta guía tiene como principal finalidad la de servir de herramienta de auditoria interna para mejorar la calidad de los repositorios, tanto si ya están en funcionamiento, detectando sus puntos fuertes y sus puntos débiles, como si están en fase de planificación, proporcionando diferentes aspectos a tener en cuenta. Para alcanzar un elevado estándar de calidad, la presente versión de la Guía para la evaluación de repositorios institucionales de investigación ofrece a toda la comunidad nacional un conjunto de directrices, basadas en criterios internacionales ya existentes, que garantizan la interoperabilidad de todos los recursos de acceso abierto y aseguran un acceso de calidad a sus contenidos. Además, en esta guía también se recogen los criterios obligatorios que marca RECOLECTA para ingresar en su plataforma.

¿Qué tiene que saber un investigador sobre acreditación y visibilidad científica?

 

24768137685_753538be92_b_d

Escuchar programa

Ir a descargar

Más programas de PLANETA BIBLIOTECA «Donde vive la información»

PLANETA BIBLIOTECA

En el programa de hoy hemos hablado y proporcionado algunos consejos sobre que cuestiones que tiene que tener en cuenta un investigador cuando desea ganar visibilidad científica de cara a los procesos de acreditación para plazas docentes. Hemos visto como se mide la ciencia, cuestiones sobre que es el factor de impacto de una revista, como conocer el factor de impacto, como buscar las citas de nuestras publicaciones, como generar un perfil en Google Académico y algunos consejos de cara a potenciar la visibilidad científica a través de gestores de referencias sociales, medidas altmétricas, participación en redes sociales de investigadores, acceso abierto. Un programa con algunas recomendaciones de utilidad para cualquier investigador que desee potenciar su identidad digital para acreditarse.

Cómo funciona Altmetric.com

 

 

Altmetric.com muestra el impacto de la investigación a sus autores y lectores en un modo muy visual por medio de los “Donut almetrics”. Monitorear, buscar y medir todas las conversaciones acerca de los artículos de una revista, así como los publicados por sus competidores.  Recoge las menciones de artículos académicos de todas partes de la Web mediante la recopilación de menciones en los periódicos, blogs, redes sociales y otros sitios web. En cuestión de minutos, permite al autor disponer de los datos Altmetrics para insertarlos y mostrarlos en su plataforma o aplicación. Hoy en día la base de datos Altmetric contiene menciones de más de 4 millones de fuentes de investigación (incluyendo artículos de revistas, bases de datos, imágenes, documentos, informes y más), y está en constante crecimiento. Para realizar un seguimiento de las menciones en línea para una parte específica de la investigación, se tiene en cuenta tres cuestiones

  1. Un documento fuente (artículo de revista, informes, imágenes)
  2. Un identificador (DOI, RePeC, PUbMed id, Arxiv ID, SSRN… )
  3. Menciones recibidas

 

Screen Shot 07/09/2015 a 15.49.47

los identificadores también ayudan a reconocer las diferentes versiones de una investigación y a su desambiguación. Por ejemplo, un artículo de una revista puede estar originalmente disponible en una plataforma editorial y con un DOI, y luego estar alojado en PubMed o en un repositorio institucional.

 

Cada uno de los colores de la rosca Altmetric representan una fuente diferente de la atención recibida por la publicación:

 

La cantidad de cada color en el donut cambiará dependiendo de qué fuentes ha recibido la atención los resultados de una salida de la investigación. En la siguiente figura vemos que cuando la atención ha sido recibida por medios de comunicación tiene fundamentalmente colores rojos, cuando las menciones vienen de blog tendrá un color predominantemente amarillo, y en el tercer donut la atención fundamental proviene de twitter

24655094031_3681b652ca_c_d

La ficha resumen proporciona los datos demográficos de los usuarios y la «puntuación en contexto» y cada pestaña muestra el nivel de atención que la investigación ha recibido y se compara con otros productos publicados en la misma época, o en la misma revista.

details

Ver sample de ficha resumen

La puntuación Altmetric es calculada automáticamente, por conteo ponderado en función de la atención recibida por la investigación. Se basa en 3 factores principales:

  • Volumen. número de menciones
  • Fuente. Cada categoría es puntuada de diferente forma. Por ejemplo puntúa más la mención en un artículo de prensa que en un blog. (ver tabla)
  • Autores. Puntúa en función de la categoría del autor que haya hecho la medición, o en que revista se haya hecho en función de su impacto o audiencia

En conjunto, el resultado final de la puntuación representa una aproximación ponderada de todas las menciones que se han hecho en diferentes medios a esa investigación. La puntuación para los artículos de Wikipedia es estática. Esto significa que si una investigaciónse ha  menciionado en Wikipedia, la puntuación se incrementará en 3 puntos. El redondeo siempre es con números enteros. En el caso de Twitter y Sina Weibo, los re-tweets se puntúan con 0.85 puntos, en lugar de 1, ya que reciben una mención de segunda mano en lugar de la atención inicial. El total combinado de estos re-tweets siempre se redondea al número entero más próximo. En el caso de noticias en medios de comunicación se les asigna un nivel, basado en el alcance que tiene ese medio. la puntuación por lo tanto depende del nivel de esa fuente de la noticia. Esto significa que una mención de un medio de comunicación nacional y popular, como The New York Times contribuirá más a la puntuación que una mención noticias de una publicación de nicho más pequeño, como Medicina 2minute.

24630924012_c191f0bed6_o_d

El algoritmo Altmetric.com calcula una puntuación global teniendo en cuenta el volumen, la fuente y el autor en función de las menciones que recibe un documento. Esto incluye las menciones de artículos académicos sobre los sitios de medios sociales (por ejemplo, Twitter, Facebook, Pinterest, Google+), blogs científicos, muchos medios de comunicación convencionales, incluyendo The New York Times, The Guardian, las publicaciones en idiomas distintos al inglés, como Die Zeit y Le Monde, y publicaciones de interés especial como Scientific American y New Scientist, y sitios de revisión por pares de referencia como Publons.

 

 

Las dinámica se basa en que noticias se ponderan más a través de los blogs y los blogs se ponderan más de tweets. El algoritmo también mide factores de carácter de autoridad de los autores, por lo que una mención por un experto en el campo vale más que una mención por un laico. La representación visual – la rosquilla Altmetric.com – muestra la distribución proporcional de menciones por tipo de fuente. Cada tipo de fuente viene representado por un color diferente – azul para Twitter, amarillo para los blogs, y el rojo para los principales medios de comunicación. Los enlaces a las fuentes de datos también están disponibles. Altmetric.com recoge alrededor de cien mil menciones a la semana, con cerca de 3.000 artículos nuevos incluidos cada día.

 

Planes y precios

Comparación de los indicadores altmetricos con las citas desde una perspectiva multidisciplinar

Costas, R., Z. Zahedi, et al. “Do “altmetrics” correlate with citations? Extensive comparison of altmetric indicators with citations from a multidisciplinary perspective.” Journal of the Association for Information Science and Technology vol., n. (2014).  pp. n/a-n/a.  Texto completo por suscripción

 

Análisis de la presencia de diferentes indicadores altmetricos proporcionados por Altmetric.com en distintos campos científicos, centrándose especialmente en su relación con las citas. Los resultados confirman que la presencia y densidad de los recuentos altmétricos siguen siendo muy bajas y es muy frecuente entre las publicaciones científicas, encontrar entre sólo un un 15% a un 24% de publicaciones que presentan alguna actividad altmétrica concentrada en las publicaciones más recientes, aunque su presencia ha aumentado con el tiempo. Las publicaciones de las ciencias sociales, humanidades y las ciencias médicas y de la vida muestran la más alta presencia de indicadores altmétricos, indicando su valor potencial y el interés para estos campos. El análisis de las relaciones entre altmetrics y citas confirma afirmaciones anteriores de correlaciones positivas pero relativamente débiles, lo que apoya la idea de que altmetrics no reflejan el mismo tipo de impacto que las citas. Además, los recuentos altmetrics no siempre presentan un mejor filtrado de las publicaciones más citadas de la revista. El valor de altmetrics como una herramienta complementaria de análisis de citas es evidente, aunque se sugiere que se debe investigar más profundamente sobre esta cuestión para desentrañar el significado y el valor de los indicadores para la evaluación de su potencial.