Archivo de la etiqueta: Evaluación

Ranking de las Bibliotecas Españolas Universitarias

41137889590_9c938dc924_b_d

Ranking de las Bibliotecas Españolas Universitarias

Secaba-Rank es una herramienta digital abierta que incluye Secaba-Rank Universitarias y Secaba-Rank Públicas con el objeto de conocer y evaluar la realidad de las bibliotecas universitarias y las redes de lectura pública españolas para su mejora.

Ayer se anunciaba Ranking de las Bibliotecas Españolas Universitarias elaborado por el equipo de investigación Secaba-Lab de la Universidad de Granada con datos relativos a 2016. La investigación toma datos de las bibliotecas universitarias incluidos en Rebiun para dicho año

La metodología empleada basada en la teoría general de sistemas ha permitido el desarrollo de indicadores de segundo nivel centrados en la eficiencia, facilitando el benchmarking y la localización de los modelos de buenas prácticas para la mejora constante y especialmente de las que más lo necesita

 la herramienta consta de las siguientes secciones: InicioSecaba-RankFormulación del SistemaIndicadoresSeries TemporalesBenchmarking, y Estimación y Predicción. Además, en la sección general sobre la Metodología se incluye toda la información referente al proceso que va desde los datos y su procesamiento, el cálculo de indicadores y la obtención de los resultados, incluyendo la explicación de nuestra metodología.

Aquí estaría el listado de las bibliotecas que ocupan las 10 primeras posiciones en el ranking sobre eficiencia para el año 2016.

  1. Universitat Autònoma de Barcelona (1.9)
  2. UNED (1.86)
  3. Universitat Politècnica de València (1.74)
  4. Universidad de Sevilla (1.54)
  5. Universidad Autónoma de Madrid (1.49)
  6. Universidad Pablo de Olavide (1.38)
  7. Universitat Rovira i Virgili (1.31)
  8. Universidad del País Vasco (1.3)
  9. Universitat de València (1.25)
  10. Universitat de Barcelona (1.24)

 

 

 

 

Anuncios

Discrepancia entre las percepciones reales del impacto y las métricas que mide el impacto

figure-1

 

 

Rachel Borchardt and Matthew R. Hartings. The academic papers researchers regard as significant are not those that are highly cited. LSE impact blog, 2018

Ver original

 

Durante muchos años, la ciencia ha confiado en el conteo de citas como la principal forma de medir el impacto o la importancia de la investigación, informando de métricas como el Factor de Impacto y el h-index. Pero, ¿hasta qué punto estas métricas se alinean realmente con la evaluación subjetiva del impacto y la importancia de los investigadores? Rachel Borchardt y Matthew R. Hartings informan sobre un estudio que compara las percepciones de los investigadores sobre el significado, la importancia y lo que es altamente citado con los datos de citas reales. Los resultados revelan una discrepancia sorprendentemente grande entre las percepciones del impacto y la métrica que utilizamos actualmente para medirlo. Los trabajos científicos que los investigadores consideran significativos no son aquellos que son muy citados

 

Lo que comenzó como un intento de cuantificar la calidad de la investigación se nos ha escapado y ha cobrado vida propia. Este problema no es particularmente nuevo; ha sido ampliamente reconocido por académicos e investigadores y, como resultado, se está hablando de él más abiertamente. El problema es más sencillo se reduce a definir y medir el impacto.

Una descripción simple para la investigación de impacto es la investigación que se utiliza. Algunas investigaciones tienen la capacidad de transformar la sociedad a través de descubrimientos innovadores, de impactar en la política social y la regulación gubernamental a través de análisis que abren los ojos, y la capacidad de captar la atención del público con investigaciones que son relevantes para sus vidas, su medio ambiente o su bienestar. Este tipo de investigación se suele denominar “de alto impacto” y se ha convertido en el centro de atención de muchas universidades, centros de investigación y administradores que compiten por la financiación de becas, la atracción de los mejores y más brillantes estudiantes, y el prestigio y los rankings.

 

“Lo que comenzó como un intento de cuantificar la calidad de la investigación se nos ha escapado de las manos y ha cobrado vida propia.”

Rachel Borchardt and Matthew R. Hartings

 

Sin embargo, designar la investigación como de alto impacto no es tan sencillo como parece. Durante muchos años, el mundo académico ha confiado en el conteo de citas como la principal forma en que medimos el impacto o la importancia de la investigación. Como resultado, el conteo de citaciones es una de las métricas primarias usadas cuando se evalúa a los investigadores. Los recuentos de citas también forman la base de otras métricas, entre las que destacan el Factor de Impacto de Clarivate y el Índice h, que evalúan respectivamente la calidad/prestigio de la revista y la notoriedad de los investigadores.

Las citas, el JIF y el h-index han servido como el triunvirato de la evaluación de impacto durante muchos años, particularmente en los campos científico y tecnológico, donde los artículos de revistas se publican con frecuencia. Muchos estudios han señalado varios defectos con la confianza en estas métricas, y con el tiempo, se ha creado una multitud de métricas complementarias basadas en citas para tratar de abordar varias competencias. Al mismo tiempo, está emergiendo las medidas del impacto en los medios sociales (altmetrics) como una alternativa o complemento potencial a las citas, donde podemos recolectar diferentes datos sobre las formas en que la investigación es vista, guardada y compartida en línea.

Sin embargo, lo que se discute con menos frecuencia es qué tan bien todas estas métricas se alinean realmente con la evaluación subjetiva del impacto y la importancia misma. Todos hemos llegado a ver las métricas como sinónimo de impacto y, por delegación, de importancia. ¿Pero lo son?

 

Todos hemos llegado a ver las métricas como sinónimo de impacto y, por derivación, de la importancia de una investigación. ¿Pero realmente lo son?

 

Para responder a esta pregunta se encuestó a investigadores de Química para medir que percepciones tenían de aquellos documentos que consideraban importantes y sobre los materiales muy citados. En un artículo en el blog orientado a la química de Matt, se pidió a los lectores que analizaran 63 artículos de una edición de la revista Journal of the American Chemical Society y utilizaran el hastag el #JACSChallenge. Se les pidió que identificaran los tres artículos que consideraban más significativos (permitiéndoles definir el significado de la manera que consideraban adecuada); los más citados; los artículos que compartirían con otros químicos; y los artículos que compartirían más ampliamente. Se analizaron los datos de más de 350 encuestados.

Los resultados, si bien no fueron realmente sorprendentes, fueron sin embargo un claro ejemplo de lo diferentes que son estos conceptos. Para empezar, los encuestados eligieron diferentes artículos para cada una de las cuatro preguntas, aunque algunas preguntas se correlacionaron más que otras. Los artículos significativos y muy citados tenían la correlación más alta en.9, mientras que los artículos para compartir con los químicos y los artículos para compartir ampliamente tenían la correlación más baja.64 Esto demuestra que los encuestados ven diferencias en estos diferentes enfoques de lo que podríamos llamar “investigación de impacto”.

Pero quizás el descubrimiento más sorprendente fue cuando empezamos a comparar estas respuestas a las citas. Al comparar las cuatro preguntas con los recuentos de citas 10 y 13 años después de la publicación de los artículos, las correlaciones oscilaron entre 0,06 (artículos para compartir con los químicos) y 0,33 (artículos muy citados). Esto muestra una discrepancia sorprendentemente grande entre las percepciones de los investigadores sobre el impacto y la métrica que utilizamos actualmente para medir el impacto.

 

La investigación demostró que existe una una discrepancia sorprendentemente grande entre las percepciones que los investigadores tienen sobre el impacto y la métrica que utilizamos actualmente para medir el impacto.

 

¿Por qué estas correlaciones son tan bajas? Es probable que haya una serie de razones por las que la práctica real de citación no está más alineada con la percepción de los investigadores, pero resalta cuán diferente es la percepción de la práctica actual.

Estos datos dejan en evidencia que hay un problema importante con las métricas – no están midiendo lo que todos comúnmente asumimos que estamos midiendo, o al menos, no están representando con precisión las percepciones más abstractas de impacto e importancia de los documentos. lo que demuestra que el impacto va más allá del conteo de citas, y más allá del impacto académico. Pero, ¿qué podemos hacer para cambiar la práctica actual?

Parte de la responsabilidad recae en los evaluadores – los administradores, los “benchmarkers” de los rankings de prestigio de las universidades, los financiadores de la investigación. Pero la responsabilidad también recae en los investigadores y sus respectivas sociedades profesionales. Muchas sociedades profesionales tienen declaraciones amplias y generales sobre el papel de las métricas en la evaluación de los investigadores en su campo, pero hay más trabajo por hacer.

Estos datos dejan en evidencia que hay un problema importante con las métricas – no están midiendo lo que todos comúnmente asumimos que estamos midiendo, o al menos, no están representando con precisión las percepciones más abstractas de impacto e importancia de los documentos. lo que demuestra que el impacto va más allá del conteo de citas, y más allá del impacto académico.

Por una parte describir mejor los tipos de impacto en la academia y más allá, y presentarlos en un documento en el que los investigadores puedan confiar cuando se les pida que presenten sus evidencias de investigación para su revisión. Por otra parte sería necesario crear un marco de evaluación que comunique claramente los tipos de resultados de investigación y los modelos para su evaluación. Este tipo de marco se asemejaría al utilizado en el Modelo Becker, creado para la comunidad biomédica, que destaca cinco áreas diferentes de impacto, incluyendo el impacto económico y político, y describe claramente los resultados de la investigación y los modelos de evaluación para cada área de impacto.

Todas las disciplinas académicas estarían bien servidas para examinar con seriedad los resultados de la investigación de su disciplina y proporcionar una orientación significativa sobre su importancia en la comunicación científica de esa disciplina, junto con las mejores prácticas para su evaluación apropiada. Al mismo tiempo, los investigadores también pueden abogar por un cambio en las prácticas de evaluación de la investigación en sus instituciones en forma de documentos de políticas actualizados, incluidas las directrices departamentales para la promoción del investigador, que reflejen con mayor precisión su investigación disciplinaria y su impacto.

Sólo entonces empezaremos a cerrar la brecha entre la práctica “real” de impacto y la evaluación significativa de la investigación.

Esta entrada de blog se basa en el artículo co-escrito por los autores, “Perception of the importance of chemistry research papers and comparison to citation rates“, publicado en PLoS ONE (DOI: 10.1371/journal.pone.0194903).

Crédito de la imagen destacada: Dmitri Popov, via Unsplash (licenciado bajo una licencia CC0 1.0).

 

Correlación entre las altmetrías a través de Mendeley (F1000) y la calidad de la investigación

42353423662_d6e979faf7_o_d

Bornmann L and H. R “Do altmetrics correlate with the quality of papers? A large-scale empirical study based on F1000Prime data.” PLoS ONE vol. 13, n. 5 (2018). pp.: https://doi.org/10.1371/journal.pone.0197133

 

Este estudio, aborda la cuestión de si (y hasta qué punto, respectivamente) los indicadores altmétricos está relacionada con la calidad científica de los trabajos (medida por las evaluación por pares). Sólo unos pocos estudios han investigado previamente la co-relación entre altmetrics y la evaluación por pares. Primero se analizan las dimensiones subyacentes de la medición para las métricas tradicionales (recuentos de citas) y la altmetría utilizando el análisis de componentes principales (PCA) y el análisis factorial (FA). En segundo lugar, se analiza la relación entre las dimensiones y la calidad de los trabajos (medida por el sistema de revisión por pares posterior a la publicación en las evaluaciones del portal F1000Prime), utilizando un análisis de regresión. Los resultados del PCA y FA muestran que la altmetría opera a lo largo de diferentes dimensiones, mientras que los recuentos de Mendeley están relacionados con los recuentos de citas, y los tweets forman una dimensión separada. Los resultados del análisis de regresión indican que las métricas basadas en citas y los conteos de lectores están significativamente más relacionados con la calidad que con los tweets. Este resultado, por un lado, cuestiona el uso de los recuentos de Twitter para fines de evaluación de la investigación y, por otro lado, indica el uso potencial de los recuentos de lectores de Mendeley.

 

 

Encuesta sobre Alfabetización Informativa en Educación Superior 2017.

image_lj_firstyearexperiencesurvey_mar2017

First Year Experience Survey: Information Literacy In Higher Education 2017.
Research conducted by Library Journal in conjunction with Credo Reference. Library Journal, 2018

Texto completo

Descubre cómo las instituciones académicas vinculan la instrucción de alfabetización informativa con la experiencia de primer año. ¿Cuánta instrucción se da y quién la da? ¿La instrucción sobre alfabetización informacional está hecha a la medida de la disciplina? ¿Cuáles son los desafíos? ¿Cómo se mide el éxito? Los resultados de la encuesta de Library Journal responden a estas y otras preguntas. El informe presenta datos recopilados durante cuatro años en bibliotecas universitarias.

El estudio tenía como objetivo medir la necesidad y el alcance de la instrucción de conocimientos básicos de información entre estudiantes universitarios de primer año y su impacto en la experiencia de aprendizaje durante el primer curso. para ello se envío la encuesta por correo electrónico a dos listas de correo electrónico que tenían alrededor de 12.000 alumnos. La encuesta se cerró el 6 de febrero de 2017 con un total de 543 respuestas.

Cuestiones clave:

  • El estudio encontró que casi todas las instituciones académicas (97%) programan la capacitación en conocimientos básicos de información (IL) con estudiantes de primer año.
  • La capacitación programada sobre conocimientos básicos en materia de información en universidades de cuatro años se imparte más comúnmente a través de bibliotecarios en la clase (35%), seguida de cerca por talleres optativos en bibliotecas (33%).  Poco más del 20% también introducen habilidades de ALFIN durante los programas de orientación.  En las instituciones de aprendizaje de dos años, el 40% ofrece talleres de biblioteca opcionales y sólo el 23% realiza la formación a través de un bibliotecario en las clase.  El 21 % proveen instrucción sobre Alfabetización informacional a petición del profesorado.
  • La mayoría de los instructores de los cursos de alfabetización informacional  generalmente adaptan los contenidos en función de las disciplinas específicas, mientras que el 30% sólo ofrece un curso de fundamentos básicos. Las bibliotecas que proveen instrucción de alfabetización en información específica de la disciplina generalmente lo hacen para clases de lenguaje y literatura, ciencias sociales y comunicaciones, las cuales tienen un fuerte componente de escritura científica.
  • Del 23% de las instituciones que utilizan bibliotecarios integrados, la mayoría (70%) los integran en el primer año. Casi la mitad también utiliza bibliotecarios integrados en determinadas clases de ciencias sociales y más del 40% en cursos en idiomas y literatura.
  • Los bibliotecarios de referencia son las áreas de trabajo que con mayor probabilidad enseñan destrezas de alfabetización en información a los estudiantes. El 21% de las escuelas cuentan con profesores dedicados a la alfabetización informática y/o bibliotecarios con experiencia de primer año, especialmente en grandes universidades públicas.
  • Los bibliotecarios citan “la evaluación de las fuentes confiables” como el principal desafío que enfrentan los estudiantes de primer año. El segundo y tercer desafío para los estudiantes universitarios de cuatro años es la falta de conocimiento de los recursos disponibles y de cómo identificar las fuentes apropiadas para una tarea. Y los retos principales de los estudiantes de dos años de universidad incluyen no tener suficiente capacitación en conocimientos de información y dificultades con las citas sobre lectura y escritura.
  • A la mayoría de los bibliotecarios se les asignan una o dos horas programadas para enseñar a los estudiantes de primer año habilidades de alfabetización en información. En ese marco de tiempo, el enfoque es dar un recorrido por la colección, enseñando a los estudiantes cómo evaluar la relevancia e idoneidad de los recursos, y cómo leer, escribir y citar los mismos. Los retos más importantes para que los bibliotecarios involucren a los estudiantes son los malos usos arraigados y el enseñar habilidades sin que se haya establecido un contexto de aplicación de la enseñanza (pocos estudiantes de primer año tienen requisitos de cursos que requieran recursos de información).
  • Los esfuerzos de la experiencia de primer año pueden servir como un modo importante de participación del profesorado porque los programas exitosos aumentan la retención del estudiante y reducen el abandono de los estudios. Los bibliotecarios pueden necesitar pensar más allá de los talleres de Alfabetización Informacional  y asociarse con otros estudiantes, profesorado y personal administrativo de todo el campus para crear programas de colaboración. Estas colaboraciones pueden demostrar el valor de la biblioteca, la capacidad de innovación, adaptabilidad, flexibilidad y compromiso con el éxito de los estudiantes que van más allá de la mera Alfabetización Informacional.
  • El aprendizaje en grupo o el aprendizaje entre iguales puede ser una manera de involucrar a los estudiantes de primer año con aquellos que recibieron formación previamente para que muestren o enseñen a otros estudiantes que no tienen esta formación.

 

REDIB presenta el primer ‘ranking’ de publicaciones iberoamericanas, desarrollado con Clarivate Analytics

 

ddtlmjvxuaa8ndl

Ranking de Revistas REDIB

https://redib.org/recursos/Ranking/Revistas?lng=es

La Red Iberoamericana de Innovación y Conocimiento Científico (REDIB), plataforma del Consejo Superior de Investigaciones Científicas (CSIC) y Universia, ha presentado la primera clasificación de publicaciones científicas iberoamericanas, Ibero-American Journal Rankings, desarrollada con la colaboración de la compañía Clarivate Analytics. El nuevo ranking incorpora una metodología novedosa, ya que no sólo se centra en el impacto de las revistas científicas en la región, sino que además tiene en cuenta los artículos publicados.

La iniciativa nace del acuerdo que REDIB y Clarivate Analytics firmaron en julio del año pasado para consolidar un sistema de información bibliográfica que permita la generación de indicadores de calidad editorial y científica a nivel iberoamericano.

Revisión científica y revisión abierta. Planeta biblioteca 2018/05/09

40205026360_b9103c312d_b_d

Escuchar el programa de radio

Ir a descargar

 

La revisión por pares (en inglés peer review), es el sistema utilizado para evaluar la calidad de la investigación científica antes de su publicación. Los investigadores independientes en el mismo campo escrutan trabajos de investigación para otorgarles autoridad, validez, importancia y originalidad y de este modo ayudar a los editores a evaluar si los trabajos de investigación deben ser publicados en su revista. La revisión por pares generalmente se percibe como el estándar de oro y es un proceso de enorme importancia para la gestión del contenido del registro científico publicado y para la evolución de las carreras académicas de los científicos que lo producen. En el programa hablamos de como se conforman los comités científicos, como se desarrolla el proceso, que aspectos se evalúan de una investigación, las deficiencias del sistema y las alternativas al mismo, especialmente en un entorno digital en expansión que impulsa cambios en los criterios  para medir el impacto de la investigación y erudición.

En este momento, los desarrolladores de sistemas de información están experimentando con nuevas herramientas para la validación de los productos de investigación que facilita cuestiones tales como el acceso abierto a la investigación. Estas herramientas permiten a los investigadores registrar la investigación y ponerla fácilmente al alcance de otros investigadores. Por ello son muchas las voces que abogan por un sistema de revisión más abierto y transparente.

Ver además

Revisión científica: monográfico

Plataformas que practican revisión abierta:

Algunas sugerencias de lectura citadas:

  • Best Practices in Peer Review : AAUP Manual.The Association of American University Presses (AAUP) 2016 Texto completo
  • Guthrie, S., B. Guérin, et al. [eBook]  Alternatives to Peer Review in Research Project Funding. Santa Monica, CA, RAND, 2013 Texto completo
  • Buenas Prácticas para la Evaluación por Pares. [e-Book] Santiago de Chile, Association of American University Presses. Foro de Editores de Chile Texto completo
  • Wager, E., F. Godlee, et al. (2002). [e-Book] How to Survive Peer Review. London, BMJ. Texto completo
  • Burley, R. and E. Moylan (2017). [e-Book] What might peer review look like in 2030? A report from BioMed Central and Digital Science. Digital Science and BioMed Central. Texto completo
  • Alonso-Arévalo, Julio. Mejores contenidos, mayor prestigio: adquisición de originales, evaluación y rankings. VII Foro Internacional de Edición Universitaria y Académica. Feria Internacional del Libro de Guadalajara (FIL), 2016. Martes 29 de noviembre de 11:45 a 13:00 horas. Texto completo – PREZI
  • Ross,Tony Disambiguating post-publication peer review.  2016-09-14 scholarly communication en OpenAire blog Ver completo
  • Wilson, J. et al.  [e-Book] Peer Review: The nuts and bolts. London: Sense About Science, 2014 Texto completo
  • Kriegeskorte, N. and D. Deca (2012). [e-Book]  Beyond open access: visions for open evaluation of scientific papers by post-publication peer review, Frontiers, 2012. Texto completo

Análisis del entorno educativo para planificar, desarrollar y evaluar un programa de alfabetización informacional

15155256208969

Analyzing Your Instructional Environment: A Workbook. Chicago: ALA, 2018

Texto completo

 

Los programas de alfabetización no son estáticos y se ven afectados por múltiples  factores como son los objetivos y necesidades siempre cambiantes de las instituciones en las que se enmarcan. Aspectos tales como el plan estratégico de una institución,implican, la planificación, cambios en el plan de estudios y las revisiones del sistema de evaluación de la calidad que  influyen en gran medida en los programas de formación, los servicios y en el contexto.

El objetivo principal del análisis del entorno instruccional es disminuir la aleatoriedad de la información usada en la toma de decisiones y alertar a los gestores. y responsables de la toma de decisiones sobre las tendencias y cuestiones que pueden afectar a la organización. La exploración ambiental en general ayuda a las instituciones educativas a comprender las necesidades cambiantes de los alumnos y determinar cómo ofrecen sus programas y servicios para satisfacer esas necesidades.

Esta publicación tiene como objetivo servir como una guía práctica para que los coordinadores y gerentes de instrucción la usen en el análisis ambiental de sus propios proyectos. situaciones únicas. La información que se proporciona aquí incluye directrices establecidas a nivel nacional, sugerencias de posibles recursos locales, preguntas y fuentes de lectura adicionales.

Este documento pretende ser un marco de referencia, dependiendo de su institución y sus necesidades, y debe adaptarse a sus propias situaciones. Por lo tanto será de utilidad para analizar sistemáticamente los factores necesarios para planificar, desarrollar y evaluar su programa de instrucción, proporcionando un enfoque más completo.

Table of Contents

I. Programmatic Approaches to Analyzing Instructional Programs
II. Learner Characteristics
III. Current Library Instruction

A. Statistics
B. Mapping the Library’s Information Literacy Curriculum

IV. Information Literacy Across the Curriculum
V. Resources for Library Instruction and Information Literacy
VI. Modes and Methods of Instruction
VII. Beyond the Library

A. Campus environmental scanning
B. Macro-level environmental scanning