Archivo de la etiqueta: Evaluación

Correlación entre evaluación e impacto social de la investigación científica

Deja un comentario

 

cmilojjwkaamb8n

HEFCE. [e-Book] Publication patterns in research underpinning impact in REF2014: A report to HEFCE by Digital Science July 2016. London, HEFCE, 2016

Texto completo

Este informe, encargado por HEFCE, analiza todas las publicaciones presentadas para la evaluación de la investigación entre 1988 y 2014.

El análisis abarca casi 1 millón de documentos de investigación y más de 35.000 evidencias de impacto de estudios de casos en 25 años y cinco ejercicios de evaluación. El informe considera que hay una correlación entre los productos presentados (como prueba de la calidad de la investigación académica) y las referencias de evidencias del impacto como prueba de impacto social y económico. Se evalúa que aspectos y características proporcionan los datos acerca de la selección de los productos de investigación para la evaluación, y los cambios en el comportamiento de esta selección como una respuesta a los mecanismos de evaluación.

Las principales conclusiones son:

  • Con el tiempo, artículos de revistas se han convertido en un tipo de documento más comúnmente presentado a las convocatorias de evaluación científica (en comparación con los libros, actas de conferencias y otros medios de comunicación). Esto a pesar del hecho de que el análisis comparando de calidad  HEFCE en función del tipo de documento encontró que las monografías fueron valoradas  con la puntuación más alta .
  • En los ciclos de evaluación tempranos de la investigación, los resultados de la investigación presentados tendían a ser los publicados hacia el final del período de publicación. En Ciencia e Ingeniería en los ejercicios recientes se presentaron documentos anteriores.
  • De las referencias de estudios de caso de impacto con identificadores de objetos digitales, el 42 por ciento fueron sometidas a Evaluación de la Investigación de la investigación 2014 Marco (REF2014) como productos de la investigación; éstos se distribuyen por igual entre los años de publicación 1996-2013.
  • Las referencias más tempranas están sesgadas hacia las últimas publicaciones de ciencias sociales y humanidades. En la ciencia y la ingeniería, la fecha de la primera referencia en cada caso de estudio de impacto se distribuye de manera uniforme a través del período de publicación.
  • El solapamiento entre las referencias de estudios de casos y resultados presentados para su evaluación parece ser mayor en las áreas más aplicadas, y menor en las ciencias humanas básicas y las ciencias puras.
  • Para la áreas de Ciencia e Ingeniería, las referencias de estudios de casos tienen mayor coincidencia con los resultados de la investigación presentados en los primeros ciclos. El solapamiento entre las referencias de estudios de casos y resultados de las evaluaciones presentadas al REF2014 es mayor en las ciencias sociales.

Guía de apoyo para la redacción, puesta en práctica y evaluación de los resultados del aprendizaje

2 respuestas

 

aneca-presenta-la-guia-para-la-redaccion-y-evaluacion-de-los-resultados-del-aprendizaje_right_column_bigbanner

 Guía de apoyo para la redacción, puesta en práctica y evaluación de los resultados del aprendizaje  [e-Book]. Versión 1.0. Madrid, ANECA. 2014

Texto completo

Los resultados del aprendizaje son declaraciones de lo que se espera que un estudiante conozca, comprenda y/o sea capaz de hacer al final de su recorrido formativo. Una correcta definición de los mismos permite informar a la sociedad y a los estudiantes sobre cuáles son las exigencias de aprendizaje de cada nivel, además de suministrar información a los empleadores sobre cuáles son las correspondientes competencias de quienes van a ser empleados. Definirlos y alinearlos correctamente es un reto para los agentes implicados, especialmente dentro del contexto universitario actual sometido a evolución constante para estrechar sus relaciones con una sociedad avanzada, global y cambiante. La Guía de apoyo para la redacción y evaluación de los resultados del aprendizaje orienta, de forma flexible, sobre cómo redactarlos y cómo proceder para su desarrollo y evaluación. De este modo, los resultados del aprendizaje se perfilan como un elemento integrador clave a la hora de definir el marco nacional de cualificaciones. Como indicó Rafael van Grieken, director de ANECA, en el acto de presentación de la Guía: “Se trata de un documento que resultaba necesario y que aportará claridad y definición a los criterios para valorar los resultados del proceso”; también destacó el papel crucial de los resultados de aprendizaje en la internacionalización de la enseñanza universitaria, ya que constituyen un elemento clave para todos los sistemas de garantía de calidad europeos.

La bibliometría que viene: ALMetrics (Author Level Metrics) y las múltiples caras del impacto de un autor

Deja un comentario

27643042553_44f87a2c63_o_d

 

Orduña-Malea, E., A. Martín-Martín, et al. «La bibliometría que viene: ALMetrics (Author Level Metrics) y las múltiples caras del impacto de un autor» El Profesional de la Información vol. 25, n. 3 (2016).

Texto completo

La principal meta de este trabajo es fijar el objeto y contenido de una nueva rama de la bibliometría, a la que denominamos ALMetrics (Author-Level Metrics), que está centrada en el análisis cuantitativo del rendimiento de los autores científicos a través de la medición de todas las dimensiones de su actividad intelectual con los más variados indicadores métricos. El trabajo se dirige específicamente a listar, definir y clasificar las diferentes métricas que se ofrecen a día de hoy en los nuevos portales de información creados para mostrar la actividad científica de los autores. Se agrupan las métricas en siete conjuntos: publicación, citación, uso, participación, valoración, conectividad social y combinados. Se justifica el nacimiento de esta nueva especialidad bibliométrica en las nuevas tendencias que se avizoran en la evaluación científica, y que nos transportan desde una vieja bibliometría (basada en el análisis de la revista y la utilización del factor de impacto como indicador estrella) hacia una nueva bibliometría basada directamente en el análisis de los documentos y los autores a través de un crisol de indicadores que se alimentan no sólo de la avidez de los investigadores por el conocimiento, sino por el reconocimiento.

Implementación y evaluación de programas de formación sobre servicios de referencia en bibliotecas universitarias

Deja un comentario

ref-desk-location

Todorinova, L. and M. Torrence «Implementing and Assessing Library Reference Training Programs.» The Reference Librarian vol. 55, n. 1 (2014). pp. 37-48.

Acceso completo mediante suscripción

Evaluaciones exhaustivas han demostrado que los usuarios de las bibliotecas universitarias prefieren un ambiente acogedor que ofrece la oportunidad para la autosuficiencia. Las bibliotecas deben cumplir con estas expectativas y mejorar la calidad del servicio de referencia de la biblioteca mediante la creación de un amplio programa de capacitación para los bibliotecarios, el personal y los estudiantes. Este artículo revisa las normas para la formación de referencia en las bibliotecas universitarias con un enfoque en los puntos de servicio y considerar las mejores prácticas para la planificación, implementación y evaluación de programas de capacitación para el personal, los estudiantes y los bibliotecarios.

 

Cómo gestionar la visibilidad y el impacto de la investigación

6 respuestas

 

27858843511_2741ec3f00_o_d

¿Qué es la visibilidad? ¿Cómo se ha medido la ciencia los últimos 60 años? El nuevo ecosistema de comunicación científica. Impacto del OA – Crear un perfil en Google Scholar
Una ciencia interconectada – Crear un perfil en ORCID . Altmetrics – Mendeley el Facebook de los científicos.

Rankings ISSUE 2015 Indicadores sintéticos de las universidades españolas

Deja un comentario

issue-2015-200x222

Pérez, F. and J. Aldás (2016). [e-Book] Rankings ISSUE 2015 Indicadores sintéticos de las universidades españolas. Madrid, Fundación BBVA, 2016

Texto completo

El Proyecto U-Ranking, desarrollado en colaboración por la Fundación BBVA y el Instituto Valenciano de Investigaciones Económicas (Ivie), es una pieza central de un programa de actividades de ambas instituciones dirigido a documentar y analizar el papel del conocimiento en el desarrollo social y económico. Este documento presenta uno de los productos básicos de dicho proyecto, los Rankings ISSUE (Indicadores Sintéticos del Sistema Universitario Español), su metodología y los resultados correspondientes a la edición de 2015, la tercera que se presenta, cuya novedad más relevante es la inclusión por primera vez de universidades privadas. El enfoque de ISSUE, la selección de las variables en las que se basan los rankings elaborados y la metodología seguida en el tratamiento de la información han sido exhaustivamente discutidos por el equipo del Ivie junto a un amplio grupo de expertos en evaluación de universidades, información y gestión universitaria.

grafico_ranking_universidad

Este documento presenta los resultados de la investigación desarrollada por el Ivie para construir la tercera edición de los Indicadores Sintéticos del Sistema Universitario Español (ISSUE), a partir del análisis de las actividades docentes, de investigación y de innovación y desarrollo tecnológico de las universidades. Los indicadores elaborados sirven de base para la elaboración de diversos rankings de las universidades españolas: dos rankings generales —uno de volumen de resultados (ISSUE-V) y otro de productividad (ISSUE-P)— así como otros más específicos: de docencia, de investigación, de innovación y desarrollo tecnológico, y de titulaciones concretas.

Todos estos rankings constituyen aproximaciones a los resultados de las universidades que permiten compararlas desde distintas perspectivas. Mediante esas comparaciones, los indicadores sintéticos permiten evaluar su funcionamiento respondiendo a preguntas relevantes, como las siguientes:

  • ¿Cuáles son las universidades españolas con mayor volumen de resultados?, ¿cuáles son las universidades más productivas o eficientes?, ¿coinciden las mejor situadas en los rankings según cada una de estas dos perspectivas?
  • ¿Responden las posiciones de las universidades españolas en los rankings internacionales a criterios de volumen de actividad, o más bien a criterios de productividad?, ¿están correlacionados los rankings ISSUE con las posiciones de las universidades españolas en los rankings internacionales más conocidos, como el de Shanghai2?
  • ¿Destacan las universidades con mejores resultados de investigación por sus resultados Academic Ranking of World Universities (ARWU) (Clasificación de las universidades del mundo).docentes?, ¿están correlacionados los resultados de investigación con los de innovación y desarrollo tecnológico?
  • ¿Presentan las posiciones de las universidades en los distintos rankings generales la suficiente regularidad como para clasificarlas en grupos homogéneos, o es demasiado variable la situación en unas u otras ordenaciones
    para establecer una tipología? ¿se mantienen estables a lo largo del tiempo las posiciones alcanzadas por las universidades?
  • ¿Son similares los rankings generales correspondientes al conjunto de actividades de una universidad con los que se obtienen cuando se comparan titulaciones concretas?, ¿es elevada la heterogeneidad interna de las
    universidades?

Obtener respuestas para todas estas cuestiones puede ser de mucho interés para construir una visión del sistema universitario español que identifique las fortalezas y debilidades de cada una de las instituciones que lo integran, así como para ordenar la posición dentro del mismo de las universidades. Ese es el propósito de este proyecto y de este informe pues, como se señalaba en un estudio anterior del Ivie, publicado por la Fundación BBVA (Pérez y Serrano [dirs.] 2012), el sistema universitario español ha aumentado mucho su dimensión en las últimas décadas pero dista de ser un conjunto homogéneo. No reconocer su heterogeneidad dificulta su evaluación, a pesar de que esta requiere tener en cuenta la distinta especialización, las cambiantes características de cada universidad y sus posibilidades efectivas de competir en distintos ámbitos.

Altmetrics: medición de la influencia de los medios en el impacto social de la investigación

13 respuestas

figura-midias-sociais

Alonso Arévalo, Julio,  Cordón-Garcia, José Antonio, Maltrás Barba, Bruno. Altmetrics: medición de la influencia de los medios en el impacto social de la investigación. Cuadernos de Documentación Multimedia Vol 27, No 1 (2016)

Texto completo: 

Post print

PPS


Los medios sociales están cambiando la forma de interactuar, presentar las ideas e información y juzgar la calidad de los contenidos y contribuciones. En los últimos años han surgido cientos de plataformas que permiten compartir libremente todo tipo de información y conectarnos a través de redes. Estas nuevas herramientas generan estadísticas de actividad e interacciones entre sus usuarios tales como menciones, retweets, conversaciones, comentarios en Blogs o en Facebook; gestores de referencias que muestran índices de popularidad de las referencias más compartidas por otros investigadores o repositorios que generan estadísticas de visitas o descargas de artículos. En este documento se analiza que implicaciones y significado tiene altmetrics, cuáles son sus ventajas y críticas, plataformas (Almetric.com, ImpactStory, Plos Altmetrics, PlumX), avances y que beneficios reporta para autores, editores y bibliotecarios. Concluyendo que el valor de las métricas alternativas como una herramienta complementaria de análisis de citas es evidente, aunque se sugiere que se debe investigar más profundamente sobre esta cuestión para desentrañar el significado y el valor potencial de estos indicadores para la evaluación de todo su potencial.


Análisis de los estudios sobre las ventajas del acceso abierto y la ventaja de cita

Deja un comentario

27315960525_8df0fb7d4e_z_d

The Open Access Citation Advantage Service. SPARC, 2016

http://sparceurope.org/oaca/

El proyecto ha OpCit desde hace años mantiene al día una lista de estudios sobre el impacto del acceso abierto. SPARC Europa completo esta lista con otros estudios  sobre si existe o no una cierta ventaja de cita para los artículos de acceso abierto a través de su página The Open Access Citation Advantage Service. Haciendo un análisis de los 70 estudios recopilados por ambas páginas para determinar cuantos de ellos son concluyentes o no respecto a si existe una ventaja de citación de los artículos depositados en acceso abierto.

En cada una de las investigaciones indiviudales se tuvieron en cuenta los siguientes puntos:

  • Área disciplinar
  • Muestra
  • Enfoque analítico básico
  • Filtro de autocitas
  • Ventaja de cita
  • Atribución de las ventaja  en relación con el OA en particular?

Los resultados de los 70 estudios evaluados muestran las siguientes cifras:

  • 46 estudios  encontraron que el acceso abierto tenia  una ventaja de cita
  • 17  estudios no encontraron que existía una ventaja de cita
  • 7 estudios no fueron concluyentes

Mejora de las organizaciones públicas por medio de la autoevaluación.

Deja un comentario

caf2013200

(2013). [e-Book] Mejora de las organizaciones públicas por medio de la autoevaluación. Madrid, Ministerio de Hacienda y Administraciones Públicas, 2013

Texto completo

El propósito de la autoevaluación es el análisis regular, por las propias organizaciones, de sus procesos y resultados de gestión para identificar los puntos fuertes y las deficiencias y determinar los oportunos planes de mejora. El Marco Común de Evaluación (CAF) es una herramienta de gestión de la calidad total, desarrollada por y para el sector público e inspirada en el Modelo de Excelencia de la Fundación Europea para la Gestión de la Calidad (EFQM). Está basada en la premisa de que los resultados excelentes en el rendimiento de la organización, en los ciudadanos/clientes, en las personas y en la sociedad se alcanzan por medio de un liderazgo que dirija la estrategia y planificación, las personas, las alianzas, los recursos y los procesos. El modelo examina la organización desde distintos ángulos a la vez, con un enfoque holístico del análisis del rendimiento de la organización.

Análisis cuantitativo de los hábitos de lectura

1 respuesta

Análisis cuantitativo de habitos de lectura

Fernandez-Blanco, V., J. Prieto-Rodriguez, et al. (2015). [e-Book]  A quantitative analysis of reading habits, ACCEI, 2015.

Texto completo

En este trabajo se analizan los hábitos de lectura de ocio en España como parte del proceso de consumo en un marco general de la asignación de tiempo y haciendo hincapié en el papel de la cultura. Para ello se trabajo con la encuesta de “Hábitos y Prácticas Culturales en España 2010-2011″ con el objeto de analizar los hábitos de lectura y sus factores de influencia, medida por el número de libros leídos, y el uso de un modelo de binomial negativo. Según el resultado, las restricciones de tiempo son una barrera para leer habitualmente. Las mujeres con un nivel de educación medio y alto muestran diferentes patrones. Por otra parte, las actitudes y el consumo culturales son factores determinantes de la probabilidad de ser objetivo de un lector respecto al número de libros leídos. Este efecto positivo está vinculado a las actividades clasificadas dentro de la cultura intelectual. El capital cultural, en relación al conjunto de variables relacionadas con el equipamiento cultural del hogar tiene un impacto positivo sobre los hábitos de lectura. Por último, también se detectaron diferencias entre personas que viven en el ámbito urbanas respecto al rural