Archivo de la etiqueta: Evaluación

Marco FOREST para la comunicación académica basada en valores.

FOREST Framework for Values-Driven Scholarly Communication. Next Generation Library Publishing (NGLP), 2022

Texto completo

El equipo de Next Generation Library Publishing (NGLP) anuncia la publicación del marco FOREST Framework for Values-Driven Scholarly Communication. Este marco ha sido creado para ayudar a las organizaciones y comunidades de comunicación académica a demostrar, evaluar y mejorar su alineación con el tiempo con seis valores clave:

  • Sostenibilidad financiera y organizativa
  • Apertura
  • Gobernanza representativa
  • Equidad, accesibilidad y lucha contra la opresión
  • Compartir el conocimiento
  • Transparencia

Estos seis valores fundamentales han aparecido en docenas de manifiestos, cartas abiertas y otras declaraciones emitidas por un amplio abanico de partes interesadas del mundo académico, como profesores, estudiantes, editores, bibliotecarios y desarrolladores de herramientas de código abierto. Son representativos, si no emblemáticos, del movimiento de ciencia abierta y de las intenciones académicas en gran parte del mundo.

El marco FOREST ofrece mecanismos concretos que las comunidades pueden utilizar para evaluar cómo sus políticas y prácticas se alinean con estos valores y sus principios asociados. En lugar de adoptar un enfoque de «tarjeta de puntuación» que asume que hay un momento en el que un valor se ha realizado plenamente, el marco se centra en un enfoque de «espectro» que reconoce las mejoras incrementales en la alineación y llama la atención sobre el crecimiento y el progreso a lo largo del tiempo. Invita a reflexionar sobre las formas de manifestar y vivir los valores que adoptamos, dando cabida a organizaciones y comunidades de diferente tamaño, madurez y misión para demostrar su intención de practicar de forma ética y sostenible.

FOREST significa:


Financial and Organizational Sustainability

Openness and Interoperability

Representative Governance

Equity, Accessibility, and Anti-Oppression

Sharing of Knowledge

Transparency

¿Necesitamos todos los componentes del Marco de Excelencia en Investigación?

Do we need all the components of the Research Excellence Framework?

Mehmet Pinar
Tim Horne
May 11th, 2022

Ver original

El Marco de Excelencia en Investigación (REF) se basa en tres áreas de evaluación: resultados, impacto y entorno. Sin embargo, Mehmet Pinar y Tim Horne afirman que estos elementos se correlacionan hasta el punto de que la evaluación de todos ellos es en gran medida ineficaz. Si este es el caso, plantean la pregunta: ¿ha llegado el momento de eliminar uno de estos elementos en el próximo ciclo del Research Excellence Framework (REF)?

Pronto se publicarán los resultados del próximo marco de excelencia investigadora. El reciente REF es otra iteración de los sistemas de financiación de la investigación basados en el rendimiento empleados anteriormente en el Reino Unido, que evalúa el entorno de investigación de una institución de enseñanza superior, los resultados de la investigación y el impacto de su investigación. Este proceso de evaluación se lleva a cabo para rendir cuentas sobre el dinero público, proporcionar información de referencia y establecer criterios de reputación, además de informar sobre la asignación selectiva de la financiación de la investigación.

Desde su introducción en su forma actual en 2014, el REF ha recibido muchas críticas. Por ejemplo, la introducción del elemento de impacto en el REF causó cierta preocupación entre los académicos, ya que pensaban que se verían obligados a producir una investigación más «impactante», en lugar de llevar a cabo su propia agenda de investigación.

La investigación ha revelado que el proceso de evaluación estaba sesgado a favor de las universidades de investigación intensiva: Las universidades del Grupo Russell, o las que contaban con miembros del comité que participaban en la evaluación, tendían a obtener puntuaciones inesperadamente más altas. Incluso los miembros del comité que evaluaron los elementos de investigación tuvieron problemas para hacerlo. En resumen, la evaluación de todos los elementos -productos de la investigación, entorno de la investigación, impacto de la investigación- puede haber adolecido de parcialidad o subjetividad.

Además, el REF es caro, ya que el coste de la realización del ejercicio del REF en 2014 se estimó en 246 millones de libras.

Dada la doble preocupación por la objetividad y el coste, en un trabajo reciente, se utilizaron herramientas estadísticas para evaluar la utilidad de la REF como una evaluación que considera multitud de dimensiones. Si todas las dimensiones están positiva y altamente correlacionadas, se puede obtener una asignación de fondos y unos resultados de rendimiento similares utilizando menos dimensiones, lo que sugiere que algunos de los elementos adicionales son redundantes.

Nuestras conclusiones son las siguientes: los tres elementos de la evaluación -entorno, impacto y resultados- están muy correlacionados y son positivos. Por lo tanto, la eliminación de un componente de la evaluación conduce a cambios relativamente pequeños en la asignación de fondos y en las clasificaciones. En consecuencia, sostenemos que el REF podría simplificarse eliminando un elemento, lo que reduciría el coste de llevar a cabo el ejercicio del REF y daría lugar a asignaciones de fondos y clasificaciones más o menos similares.

Esto pone de manifiesto que el importe total de la financiación de la investigación relacionada con la calidad (QR) reasignada entre las distintas IES sería de sólo el 1,46%, 1,05% y 4,41%, respectivamente, del importe distribuido, cuando se elimina de la evaluación el elemento de entorno, impacto y producción. Evidentemente, estos porcentajes de reasignación son pequeños, por lo que un REF simplificado tendría poco efecto en la distribución de la financiación de la RQ, pero podría reducir el coste de la realización del ejercicio del REF y el estrés del personal académico y de los servicios profesionales.

Sobre la base de las conclusiones, es necesario responder a dos preguntas para el próximo ejercicio sobre REF: 1) Si los organismos de financiación tuvieran que excluir un elemento, ¿cuál de los tres elementos debería eliminarse? 2) Si los organismos de financiación tienen previsto incluir nuevos elementos en la evaluación, ¿qué tipo de criterios de evaluación podrían incluirse?

Para esta última pregunta, este documento ofrece algunas pistas. Basándose en análisis propios, se puede afirmar que si los futuros marcos incluyen nuevos elementos, estos nuevos elementos no deberían estar muy correlacionados con los otros elementos existentes, ya que de lo contrario su inclusión en la evaluación supondría un aumento de los costes de la misma, pero produciría una asignación de fondos y una clasificación más o menos similares.

Por otra parte, este documento no ofrece una respuesta específica a la primera pregunta. Sin embargo, se pueden articular las posibles consecuencias de la eliminación de diferentes elementos.

En otro trabajo reciente de Pinar y Unlu, se constata que la inclusión del elemento de impacto en la REF en 2014 y su mayor importancia en la REF2021, es probable que aumente la brecha de financiación relacionada con la calidad (algo más de 1.000 millones de libras esterlinas de financiación principal de RQ se distribuyen cada año sobre la base de los resultados de REF) entre las IES y en la mayoría de las áreas temáticas. Por tanto, si se excluye el elemento de impacto de la REF, es probable que se produzca una asignación de fondos relativamente más equitativa entre las IES. Ello se debe a que existe una gran diferencia entre las universidades que hacen un uso intensivo de la investigación y las demás en cuanto a los resultados del elemento de impacto.

Por otra parte, la diferencia de rendimiento entre las IES es relativamente menor en función de los resultados de la investigación y la eliminación de los resultados de la investigación probablemente aumentaría la diferencia entre las IES.

Al considerar el entorno de la investigación, varios trabajos indican que las medidas cuantitativas, por ejemplo, los ingresos de la investigación o la realización de doctorados, explican gran parte de la variación de las puntuaciones entre las presentaciones; y otros indican que la evaluación de las declaraciones narrativas del entorno de la investigación puede reflejar en gran medida la calidad de la redacción, más que los propios entornos de investigación subyacentes. Por lo tanto, podría considerarse un elemento de entorno simplificado, que incluya sólo métricas.

En general, como ocurre con cualquier decisión de inversión pública, la decisión se reduce a un compromiso de equidad y eficiencia. La teoría de la eficiencia sostiene que la financiación debería asignarse más a los productores más eficientes (es decir, los institutos con mejores resultados). Por otro lado, el argumento de la equidad sugiere que la financiación debería distribuirse de forma más justa entre los institutos.

Según la fórmula de financiación utilizada por los organismos de financiación, éstos favorecen claramente la eficiencia, ya que la financiación asignada a la investigación líder en el mundo es cuatro veces superior a la distribuida a la investigación excelente a nivel internacional, y no se proporciona ninguna financiación a la investigación reconocida internacionalmente. Sin embargo, también existen argumentos relevantes para asignar más fondos a las llamadas IES de bajo rendimiento: Hay que proteger a las IES que se esfuerzan por convertirse en una universidad más orientada a la investigación. Esto está estrechamente relacionado con la idea de proteger las industrias nacientes.

Los cuatro organismos de financiación de la investigación del Reino Unido (Research England, el Higher Education Funding Council for Wales, el Scottish Funding Council y el Department for the Economy of Northern Ireland) encargaron a RAND Europe una revisión en tiempo real del REF2021 y ofrecen la oportunidad de que las partes interesadas den su opinión sobre el próximo REF. Basándonos en estas conclusiones, sostenemos que la cuestión básica de la exclusión o inclusión de los criterios de evaluación debería volver a plantearse cuidadosamente como parte de esta revisión. Aunque los elementos REF han llegado a considerarse inherentes al proceso, quizás estaríamos mejor sin todos ellos.

Repensando la evaluación de la investigación Una rúbrica para analizar las condiciones y los indicadores de progreso institucional a fin de lograr buenos resultados

Hatch, A., & Schmidt, R. SPACE: La mejora de la evaluación académica. Una rúbrica para analizar las condiciones y los indicadores de progreso institucional a fin de lograr buenos resultados, DORA, 2022. Trad.: Universitat Oberta de Catalunya. 2022.

Texto completo

SPACE_DORA_ES_rubrica.pdf

SPACE_DORA_ES_plantilla.pdf

SPACE_DORA_ES_instrucciones.pdf

Rúbrica e información de soporte para analizar las condiciones institucionales y los indicadores de progreso para la reforma de la evaluación académica. La evaluación de la investigación y del personal investigador supone un reto: las instituciones que priorizan el desarrollo de infraestructuras institucionales pueden estar mejor preparadas que las que se centran solo en soluciones individuales.

Este documento forma parte de la guía práctica de recursos de la DORA para asistir a las instituciones académicas que estén en el proceso de mejora de sus políticas y sus prácticas. Pueden encontrar otros recursos en esa guía práctica.

Mejorar la evaluación de la investigación y la actividad académica exige la habilidad de analizar los resultados de acciones e intervenciones. Sin embargo, cuando solo se analizan las intervenciones individuales, dichas evaluaciones y observaciones no aprovechan la oportunidad de comprender cómo las propias condiciones institucionales condicionan el éxito de nuevas acciones o cómo el desarrollo del potencial institucional puede mejorar la efectividad y el impacto de estas nuevas prácticas a una escala mayor. La rúbrica SPACE se desarrolló para ayudar a las instituciones que se encuentran en cualquier fase de reforma de su evaluación académica a analizar su habilidad institucional de respaldar dichas intervenciones y asegurarse unos resultados satisfactorios.

Las organizaciones pueden usar la rúbrica SPACE como herramienta para la implementación de prácticas de evaluación de trayectorias académicas justas y responsables, de dos maneras. En primer lugar, puede servir para establecer como punto de partida el estado actual de las condiciones de la infraestructura, para así evaluar la capacidad de la institución para contribuir al desarrollo y la implementación de nuevas actividades y prácticas de evaluación académica. En segundo lugar, sirve para analizar con carácter retroactivo cómo las brechas y las fortalezas de dichas condiciones institucionales pueden haber tenido cierto impacto en los resultados de intervenciones concretas dirigidas a una tipología específica de actividades académicas de evaluación (como son la contratación, la promoción, la consolidación o incluso la evaluación de los estudiantes de doctorado), ya sea contribuyendo o dificultando el avance hacia esos objetivos.

La rúbrica SPACE es el resultado de la colaboración de la DORA con Ruth Schmidt, profesora del Institute of Design (Institute of Technology de Illinois), que dirigió el proceso iterativo del diseño de participación. La creación de la rúbrica se basó en la experiencia de 75 personas en 26 países de 6 continentes y se ha mejorado tras varias rondas de retroalimentación.

A medida que las instituciones adoptan progresivamente los nuevos principios y prácticas de evaluación, pueden tener dificultades para ahondar y expandir su potencial individual y desarrollar niveles más altos de integración en el sistema.

Sin embargo, debido a que de forma natural las instituciones se encuentran en distintos estadios de preparación y evolución, no hay una solución igual para todas, y los indicadores de progreso pueden no parecer los mismos.

Las bibliotecas son las instituciones mejor valoradas por los españoles

Las bibliotecas son las instituciones mejor valoradas por los españoles. El Economista, abril de 2022

Leer completo

En España, las bibliotecas son una institución valorada con un notable por los ciudadanos. Según el «Barómetro de Hábitos de Lectura y Compra de Libros en España 2021», los españoles les otorgan un 8,2 sobre 10. Por eso, los expertos afirman la importancia que estas instituciones tienen en la sociedad y que cada vez irán teniendo mayor relevancia en el conocimiento.

El Proyecto COUNTER para la medición del uso de recursos electrónicos en bibliotecas lanza una nueva mediateca con materiales de formación

Counter Media Library

COUNTER establece norma que permite a la comunidad del conocimiento contabilizar el uso de los recursos electrónicos. Conocida como «Code of Practice», la norma garantiza que los proveedores y editores puedan proporcionar a sus usuarios de las bibliotecas datos de uso coherentes, creíbles y comparables.

En esta mediateca tienes acceso a todo lo que necesita aprender sobre COUNTER: clases de fundamentos, grabaciones de seminarios web, guías y manuales.

El nuevo sitio ofrece tanto vídeos como manuales de aprendizaje descargables y se pueden realizar búsquedas cruzadas. Anteriormente, los vídeos estaban disponibles en YouTube, pero tenían poco uso y no estaban integrados con otros recursos de COUNTER.

¿Hasta qué punto es imprevisible el impacto de la investigación? Datos del Marco de Excelencia en Investigación del Reino Unido.

YaYaqub, Ohid, et al. “How Unpredictable Is Research Impact? Evidence from the Uk’s Research Excellence Framework.” SocArXiv, 9 Mar. 2022.

Texto completo

Cada vez hay más interés por el impacto más amplio de la investigación fuera del ámbito académico. En particular, preocupa hasta qué punto se puede prever el tema y los principales beneficiarios de dicho impacto antes incluso de que se financie la investigación. ¿El impacto de la investigación tiende a surgir en gran medida según lo previsto, o los impactos finales son irreconocibles respecto a los planes iniciales?

Para explorar lo inesperado del impacto, la investigación se basa en uno de los mayores ejercicios de evaluación del impacto de la investigación en el mundo: el Research Excellence Framework del Reino Unido. Se aprovechó el impacto del REF, que se remonta a las solicitudes de financiación de la investigación, como un conjunto de datos de 2.194 grupos de casos y subvenciones, para comparar los temas de impacto con los cometidos de los financiadores. Para 209 de esos grupos, se comapró directamente sus descripciones de impacto ex-ante y ex-post.

Se descubrió que las reivindicaciones de impacto en estos grupos de casos y subvenciones suelen ser congruentes entre sí, con un 76% de coincidencia. Esto indica que, condicionada a la inclusión en el REF, la investigación produce un impacto con la misma orientación que la prevista al inicio de sus proyectos. Esto es especialmente cierto cuando la investigación se produce conjuntamente con las partes interesadas. Estos resultados ofrecen un claro complemento a otros estudios preliminares sobre la REF, que han tendido a subrayar la gran diversidad y complejidad del impacto de la investigación.

Estas conclusiones sugieren que el impacto de la investigación dista mucho de ser aleatorio y que existe un amplio margen para la intervención política. En particular, se destaca el papel potencialmente importante que desempeña la colaboración en el establecimiento de la dirección del impacto de la investigación. Sin embargo, los resultados también pueden indicar que el REF excluye preferentemente los impactos no previstos y los impactos indirectos. Este efecto de selección, en el que se excluye una clase cualitativamente diferente de impactos, puede verse incrementado a medida que la parte de las recompensas de la REF se inclina más hacia el criterio de impacto.

10 consideraciones clave para elegir su sistema de gestión de impactos de la investigación

10 Key Considerations for Choosing Your Impact Management System (IMS). Vertigo Ventures, 2022

Texto completo

El impacto es complejo y puede tardar años o incluso décadas en manifestarse. Gestionar el amplio abanico de factores que intervienen en cualquier proyecto de impacto, y luego demostrar los numerosos tipos de impacto a lo largo de distintos plazos, suele suponer un reto importante para las instituciones y los individuos.

Hay varios métodos que pueden utilizarse para responder a las crecientes demandas de impacto; uno de ellos es la implantación de un Sistema de Gestión de Impacto (SGI), que puede ayudar a centralizar los hilos dispares de la actividad de impacto y catalizar el desarrollo de una cultura de apoyo en toda una institución. Sin embargo, en este ámbito en rápida evolución, hay muchos factores que deben tenerse en cuenta al considerar la adopción de una solución de este tipo.

Impacto de la investigación: una guía para crear, captar y evaluar el impacto de su investigación

Research impact: a guide to creating, capturing, and evaluating the impact of your research. Taylor & Francis,  Author Services, 2022

Texto completo

Todo investigador quiere que su trabajo tenga repercusión, ya sea en el mundo académico, en la sociedad o en ambos. Pero crear un impacto real con su trabajo puede ser una una tarea ardua y que requiere mucho tiempo, que puede parecer difícil de encajar en una carrera académica ya de por sí exigente.

Esta guía está diseñada para ayudar a entender qué significa el impacto y su trabajo, por qué es importante cómo conseguirlo y cómo medirlo. También se ha incluido inspiración e ideas para ayudarte a empezar.

Los indicadores bibliométricos : fundamentos y aplicación al análisis de la ciencia

Maltrás, Bruno. Los indicadores bibliométricos : fundamentos y aplicación al análisis de la ciencia / B. Maltrás Barba. Gijón: Trea, 2003.

Texto completo

El tamaño, la complejidad y el impacto alcanzados por la actividad científica en el siglo XX han consolidado la necesidad de estudiar la ciencia cuantitativamente; tal enfoque aspira a proporcionar descripciones objetivas y operativas acerca de un fenómeno cultural sin precedentes en la historia humana. Su reducción a un conjunto de números, por tanto, tropieza con evidentes problemas de validación: establecer los requisitos para definir medidas, garantizar su significatividad, especificar su interpretación, delimitar el ámbito de su aplicación… El presente libro trata esas cuestiones en relación con una clase particular de medidas cuantitativas sobre la ciencia, los indicadores bibliométricos, que proceden del análisis estadístico de la literatura científica. Se muestra cómo esos indicadores pueden vincularse a aspectos esenciales del proceso científico y hasta qué punto es posible construir medidas que describan adecuadamente el desarrollo, el estado y la estructura de las áreas científicas.

Más allá de los libros: evaluación de los makerspaces del Sistema Bibliotecario Municipal de Ontario

Conde, Lise, «Beyond Books: Evaluating Maker Spaces in Ontario’s Municipal Library Systems» (2020). MPA Major Research Papers. 197.

Texto completo

Este documento de investigación exploratoria examina cómo los sistemas de bibliotecas municipales de Ontario evalúan sus espacios y programas «maker». La revisión de la literatura proporciona el contexto sobre el propósito y el valor de las bibliotecas, la estructura y la agencia de las bibliotecas municipales en Ontario y los estudios académicos y aplicados de la evaluación del programa.

La investigación pretende responder a cuatro preguntas: ¿Qué bibliotecas municipales tienen espacios para creadores y cuáles son sus características? ¿Cómo han posicionado este servicio en términos de propósito y valor? ¿Cómo han medido el éxito? ¿Qué pueden aprender los sistemas de bibliotecas municipales de Ontario de la evaluación de los espacios maker para posicionarse en el futuro? Para responder a estas preguntas se utiliza un análisis de los datos estadísticos de 2018 del Ministerio de Patrimonio, Deporte, Turismo e Industrias Culturales de Ontario, así como documentos primarios de los sistemas de bibliotecas municipales que respondieron a la solicitud de investigación.

En última instancia, aunque se encontraron marcos basados en los resultados en la revisión de la literatura, esta investigación encuentra que pocos sistemas de bibliotecas municipales en Ontario consideran la evaluación de los espacios maker más allá de los recuentos de participantes y otros insumos. Dos ejemplos de la Biblioteca Pública de Toronto y de la Biblioteca Pública de Vaughan fueron las excepciones al proporcionar marcos prometedores basados en los resultados. Es importante que los sistemas bibliotecarios municipales sigan demostrando su valor a sus financiadores municipales a través de la evaluación basada en resultados, lo que garantizará que puedan seguir cumpliendo con el propósito y el valor de las bibliotecas para las comunidades a las que sirven.