Archivo de la etiqueta: Evaluación

De la medición de los servicios bibliotecarios a la satisfacción del cliente

356373_cover

Ventura, R. (2004). [e-Book]  Dalla misurazione dei servizi alla customer satisfaction. Firenze Firenze University Press, 2014

Texto completo

 

Las actividades para la evaluación del Sistema de Biblioteca de la Universidad de Florencia se han materializado recientemente en una encuesta de satisfacción del cliente. El libro relata esta experiencia e ilustra sus premisas, las fases de implementación, los métodos estadísticos y bibliotecarios. La encuesta representa la etapa final de un itinerario iniciado a través de la reorganización del sistema de bibliotecas en 1994. A partir de ese año se ha confirmado la práctica del monitoreo como un elemento esencial del proceso de gestión. Después de varios años dedicados a la mejora de la calidad, los usuarios han sido invitados a expresar sus opiniones sobre los servicios a propósito del uso efectivo y el grado de satisfacción.

Los guardianes de nuestro futuro digital: una evaluación de las políticas de preservación digital entre 2013-2016

35299637986_9ac137691b_o_d

 

DeWitt, S., C. Williford, et al. (2016). [e-Book] Keepers of Our Digital Future: An Assessment of the National Digital Stewardship Residencies, 2013–2016. Washington, DC, Council on Library and Information Resources, 2016.

Texto completo

En septiembre de 2015, IMLS otorgó a CLIR una subvención para investigar los primeros impactos de los programas NDSR (National Digital Stewardship Residency), con el fin de informar el desarrollo posterior de programas similares por otros con un interés en crear capacidad profesional para preservar la información digital. Keepers of Our Digital Future ofrece una evaluación formativa de los primeros sitios y políticas de preservación, basada en encuestas y entrevistas con participantes de NDSR y supervisores de los programas de Washington, D.C., Nueva York y Boston. Los autores ofrecen una serie de conclusiones y recomendaciones para futuros programas, observando que a medida que se reproduce el modelo, existe una mayor necesidad de coordinación y comunicación a nivel nacional a través de los programas.

 

Sobre la manipulación de las citas en la evaluación científica. ¿Hasta donde es aceptable la manipulación de las citas?

5cb00472b6c6dbb776e084f2d419c5ac

How Much Citation Manipulation Is Acceptable?.The Scholarly Kitchen, 30 de mayo de 2017

Ver completo

En todos los sistemas de medición científica existe un margen de error debido en buena parte a patrones de citas anómalos, un eufemismo para referirse a la autocita sistémica, una práctica bastante común con la que algunas revistas coaccionen a sus autores que desean publicar en ellas para que citen artículos de la misma revista con el objetivo de mejorar su posicionamiento en los rankings, entre los argumentos que utilizan algunos editores para justificar esta práctica poco ética es que también recurren a esta práctica sus competidores, y que por lo tanto es una manera de reequilibrar la situación. Según datos de Clarivate Analytics, la compañía  que publica Journal Citation Report (JCR), el año pasado, 18 títulos de revistas fueron suspendidos del JCR, 16 por altos niveles de auto-cita, los otros dos para “apilar citas”. Entre estas revistas está Land Degradation & Development (LDD), en la que durante 2015, casi la mitad de las auto-citas de esta revistas (46%) se centraron en los artículos de los dos años anteriores de la publicación, en comparación con sólo 4% de las citas que desde LDD se hicieron a otras revistas. Esta cuestión es importante, ya que el Factor de Impacto mide las citas que se recibió la revista los dos años anteriores en relación con el total de artículos publicados en esos dos años. Sin estas citas el factor de impacto de LDD habría sido menos de la mitad (3.982) de la puntuación que recibió (8.145). Por lo tanto hay que preguntarse: ¿Hasta donde es aceptable la manipulación de las citas?

Indicadores de medición del impacto de las citas bibliográficas

 

Indicators

Citation Performance Indicators — A Very Short Introduction
By PHIL DAVIS. Scholary Kitchen may 15, 201710

Texto completo

Phil Davis acaba de publicar en The Scholarly Kitchen un post en el que proporciona un breve resumen de los principales indicadores de citas utilizados hoy en día. Se trata de una publicación divulgativa, pero muy aclaratoria, no tanto de interés para bibliometras, como para el conocimiento por parte de investigadores, bibliotecarios y público en general. No se pretende que sea exhaustivo, ni se pretende opinar sobre el indicador que es mejor

Los indicadores son parámetros de medición que permite dar seguimiento y evaluar el cumplimiento de los objetivos de la actividad institucional respecto del logro o resultado en la entrega de bienes o servicios.

Lo más importante de un buen indicador es que tiene que tener una estrecha conexión teórica con la construcción subyacente que intenta medir. Un buen indicador simplifica los datos subyacentes, es fiable en sus informes y proporciona transparencia a los datos subyacentes.

Por último, cualquier discusión de los indicadores de desempeño invita a opiniones contrastadas tales como su uso indebido, abuso, implicaciones sociales, culturales y políticas que el alguna manera son ajenas al propio indicador.

Davis estructura los indicadores en tres grupos en función del diseño del algoritmo en el que se basa el indicador:

  1. Indicadores basados ​​en la ratio  se construye sobre el mismo modelo que el factor de impacto, dividiendo las citas recibidas entre el número de documentos publicados por la revista.
  2. Indicadores basados ​​en la gama (portfolio) calculan una puntuación basada en un conjunto clasificado de documentos.
  3. Indicadores basados ​​en la red, busca medir la influencia dentro de una red de citas mayor.

 

 

Indicadores basados en la ratio

Impact Factor: Total de citas en un año dado a todos los trabajos publicados en los últimos 2 años divididos por el número total de artículos y reseñas publicadas en los últimos 2 años. PROS: Fórmula sencilla con datos históricos. CONTRAS: el periodo de publicación de 2 años es demasiado corta para la mayoría de las disciplinas. PRODUCTOR: Clarivate (anteriormente Thomson Reuters), publicado anualmente en junio.

Impact Factor (5-yr): Abarca un periodo de publicación de 5 años en lugar de 2. PROS: La métrica preferida en campos en los que el ciclo de vida de la citación largo, por ejemplo, ciencias sociales. PRODUCTOR: Clarivate, publicado anualmente en junio.

CiteScore: Citas en un año dado a todos los documentos publicados en los últimos 3 años divididos por el número total de documentos publicados en los últimos 3 años. PROS: No intenta clasificar y limitar por tipo de artículo; Basado en un conjunto de datos Scopus más amplio; Recurso libre. CONTRAS: Preconcebido para las revistas que publican editoriales, noticias, cartas, etc.. PRODUCTOR: Elsevier, basado en los datos de Scopus, actualizado mensualmente.

Impact per Publication (IPP): Similar al Factor de Impacto con diferencias notables: 3 años. Periodo de publicación de 3 años; Incluye sólo citas a artículos clasificados como artículo,actas de conferencia o revisiones; Basado en un conjunto de datos Scopus. PROS: Periodo de análisis más largo; Las citas se limitan a aquellos documentos contados en el denominador. CONTRAS: Al igual que el factor de impacto, definir cual es el tipo de artículo correcto puede ser problemático. PRODUCTOR: CWTS, Universidad de Leiden, basada en los datos de Scopus, publicados cada mes de junio.

Source-Normalized Impact per Paper (SNIP): Similar a IPP, pero las puntuaciones de citas que se normalizan para tener en cuenta las diferencias entre los campos científicos, donde el campo está determinado por el conjunto de documentos que citan esa revista. PROS: Puede comparar el rendimiento de la revista entre entre disciplinas y campos. CONTRAS: La normalización hace que el indicador sea menos transparente. PRODUCTOR: CWTS, Universidad de Leiden para Elsevier, publicada cada mes de junio.

Indicadores basados ​​en la gama

H-index: Una medida de la cantidad y el rendimiento de un autor individual. Un autor con un índice de h habrá publicado h artículos, cada uno de los cuales ha sido citado por lo menos h veces. Si el índice h de un autor es 21, quiere decir que tiene almenos 21 documentos que se han citado 21 veces PROS: Mide el rendimiento profesional; No influenciado por valores atípicos (documentos altamente citados). CONTRAS: Dependiente del campo; Ignora el orden de la autoría; Aumenta con la edad y productividad del autor; Sensible a la autocitación, especialmente en Google Scholar. PRODUCTOR: Descrito por el cinetífico aleman J. E. Hirsch, muchas fuentes calculan los valores del índice h para los autores individuales.

h-5 : Variación del índice h que se limita a artículos publicados en los últimos 5 años. Utilizado por Google Scholar para comparar el rendimiento de la revista. PROS: Permite comparar autores jóvenes con autores más antiguos. CONTRAS: Dependiente del campo; Ignora el orden de la autoría en la publicación; Sensibles a la autocitación y al juego, especialmente en Google Scholar. Google Scholar también utiliza h5-median, que pretende reducir el sesgo de tamaño. PRODUCTOR: Google Académico. Publicado anualmente en junio.

Indicadores basados en la red

Eigenfactor: Mide la influencia de una revista en una red de citas. El cálculo de las puntuaciones se basa en la centralidad de los vectores propios, calculada a través de la ponderación iterativa, de manera que las citas de una revista tienen más influencia que otras. PROS: Ofrece una métrica que refleja de forma más clara la influencia científica como un entorno determinado. CONTRAS: Computacionalmente complejo, no fácilmente replicable. PRODUCTOR: Clarivate (anteriormente Thomson Reuters), publicado anualmente en junio.

Scimago Journal & Country Rank (SJCR): Similar al Eigenfactor pero calculado sobre la base de datos de Scopus. SJR asigna puntuaciones relativas a todas las fuentes en una red de citas. Su metodología se inspira en el algoritmo de Google PageRank, en que no todas las citas son iguales. Una fuente transfiere su propio “prestigio”, o estado, a otra fuente a través del acto de citarlo. Una citación de una fuente con una SJR relativamente alta vale más que una citación de una fuente con una SJR más baja. PROS.  SJR permite al usuario clasificar su propio conjunto de fuentes personalizadas, independientemente de sus campos temáticos. PRODUCTOR: Elsevier, publicado anualmente en junio.

Relative Citation Ratio (RCR): Una métrica de citas normalizadas para artículos basados ​​en la base de datos PubMed del NIH. Un campo se define por las referencias en los artículos co-citado con el documento de interés. PROS: Permite que cada artículo sea definido por su propia cita En lugar de basarse en la clasificación de campos externos. CONS: Sensible a citas interdisciplinarias y revistas multidisciplinarias. El RCR depende del Factor de Impacto para ponderar las revistas que figuran en las referencias. PRODUCTORA: NIH.

 

 

 

 

Un estudio demuestra la correlación entre el uso de las bibliotecas universitarias y los buenos resultados académicos del estudiante

 

<> on October 20, 2011 in Munich, Germany.

Soria, K. M., J. Fransen, et al. “Beyond Books: The Extended Academic Benefits of Library Use for First-Year College Students.” College & Research Libraries vol. 78, n. 1 ( 2017). pp.: http://crl.acrl.org/index.php/crl/article/view/16564

El propósito de este trabajo fue investigar si existen relaciones entre el uso de labibliotecas por parte de los estudiantes universitarios y los resultados académicos: compromiso académico, participación en actividades académicas, desarrollo de habilidades académicas y promedio de calificaciones. Los resultados de los análisis de regresión sugieren que el uso de libros por parte de los estudiantes (préstamos de colección, libros electrónicos y préstamos interbibliotecarios) y los servicios basados en la web (base de datos, diario y sitios web de la biblioteca) tuvieron las relaciones más positivas y significativas con los resultados académicos. El uso de los servicios de referencia por parte de los estudiantes se asoció positivamente con su compromiso académico y sus habilidades académicas, mientras que la inscripción en los cursos de la biblioteca estuvo positivamente asociada con los promedios de calificaciones.

Gestión por procesos, indicadores y estándares para unidades de información

ciclo_bpm
Contreras Contreras, F., J. Olaya Guerrero, et al. [e-Book] Gestión por procesos, indicadores y estándares para unidades de información, OSREVI. 2017

Texto completo:

PDF

La gestión por procesos resurge con mayor vitalidad ante los cambios marcados en las necesidades, demandas y satisfacción de los clientes; la necesidad de hacer más eficiente la organización y porque las estructuras funcionales no responden a las necesidades de la organización y del mercado. Este libro contribuye a repensar un cambio obligado en los diseños organizacionales de las unidades de información y no podía ser más oportuno su contribución, además de aportar en incrementar la poca bibliografía en la Bibliotecología existentes en el país.

Métricas de próxima generación: métricas responsables y evaluación para ciencia abierta: Informe del Grupo de Expertos de la Comisión Europea sobre Altmetrics.

icinghower_bookmarklet

“Open Science está cambiando cada aspecto del método científico para ser más abierto, inclusivo e interdisciplinario … Garantizar que Europa esté a la vanguardia de la Ciencia Abierta significa promover el acceso abierto a los datos y publicaciones científicas junto con los más altos estándares de integridad de la investigación”.

Carlos Moedas, Comisario de Investigación, Ciencia e Innovación

Next-generation metrics: Responsible metrics and evaluation for open science: Report of the European Commission Expert Group on Altmetrics. . [e-Book] Brussels, European Commission, 2017.

Texto completo

Impulsado tanto por las tecnologías digitales como por el cambio social, la ciencia abierta representa una innovación en la forma en que se lleva a cabo la investigación: en cómo los científicos colaboran y comparten el conocimiento con el mundo en general, y cómo se organizan las instituciones científicas para un mayor impacto social.  

La tecnología nos proporciona nuevos modos de comunicación y genera enormes volúmenes de datos. El conocimiento juega un papel cada vez más importante en todos los ámbitos de la vida. Estos cambios han acelerado la globalización de la investigación, al mismo tiempo que han aumentado enormemente la disponibilidad pública del conocimiento científico.

La ciencia hoy está en transición desde un sistema relativamente cerrado, disciplinario y basado en la profesión, hacia una estructura abierta e interdisciplinaria donde la creación de conocimiento es más accesible directamente a las partes interesadas a través de la sociedad. La Comisión Europea dio su firme apoyo a esta transición en su informe de 2016 “Open Innovation, Open Science, Open to the World – A Vision for Europe” (EC,2016).

El objetivo de este Grupo de Expertos es revisar las fortalezas, debilidades y posibilidades futuras de las métricas de próxima generación para avanzar en la agenda de ciencia abierta. Para algunos, el resultado ideal podría parecer el desarrollo de una sola métrica a través de la cual medir la ciencia abierta. Consideramos esto como algo imposible e indeseable. El mejor resultado sería el desarrollo de una serie de métricas que ofrezcan una imagen dinámica del progreso logrado hacia los objetivos de la ciencia abierta.

Las puntuaciones métricas típicamente indican que se ha hecho algún tipo de conexión entre una fuente y un destinatario. Aumentar esas puntuaciones no sólo depende de los esfuerzos de las comunidades científicas por el “lado de la oferta” para proporcionar mejor información a la sociedad. Igualmente importante es el “lado de la demanda”: la receptividad de la sociedad a la información y las perspectivas científicas. Los acontecimientos políticos recientes destacan el La receptividad cambia con el tiempo, a medida que cambian los valores de la sociedad. Las métricas de la siguiente generación, entonces, deben atender a ambos lados de esta ecuación.