Repensando la evaluación de la investigación Una rúbrica para analizar las condiciones y los indicadores de progreso institucional a fin de lograr buenos resultados

Hatch, A., & Schmidt, R. SPACE: La mejora de la evaluación académica. Una rúbrica para analizar las condiciones y los indicadores de progreso institucional a fin de lograr buenos resultados, DORA, 2022. Trad.: Universitat Oberta de Catalunya. 2022.

Texto completo

SPACE_DORA_ES_rubrica.pdf

SPACE_DORA_ES_plantilla.pdf

SPACE_DORA_ES_instrucciones.pdf

Rúbrica e información de soporte para analizar las condiciones institucionales y los indicadores de progreso para la reforma de la evaluación académica. La evaluación de la investigación y del personal investigador supone un reto: las instituciones que priorizan el desarrollo de infraestructuras institucionales pueden estar mejor preparadas que las que se centran solo en soluciones individuales.

Este documento forma parte de la guía práctica de recursos de la DORA para asistir a las instituciones académicas que estén en el proceso de mejora de sus políticas y sus prácticas. Pueden encontrar otros recursos en esa guía práctica.

Mejorar la evaluación de la investigación y la actividad académica exige la habilidad de analizar los resultados de acciones e intervenciones. Sin embargo, cuando solo se analizan las intervenciones individuales, dichas evaluaciones y observaciones no aprovechan la oportunidad de comprender cómo las propias condiciones institucionales condicionan el éxito de nuevas acciones o cómo el desarrollo del potencial institucional puede mejorar la efectividad y el impacto de estas nuevas prácticas a una escala mayor. La rúbrica SPACE se desarrolló para ayudar a las instituciones que se encuentran en cualquier fase de reforma de su evaluación académica a analizar su habilidad institucional de respaldar dichas intervenciones y asegurarse unos resultados satisfactorios.

Las organizaciones pueden usar la rúbrica SPACE como herramienta para la implementación de prácticas de evaluación de trayectorias académicas justas y responsables, de dos maneras. En primer lugar, puede servir para establecer como punto de partida el estado actual de las condiciones de la infraestructura, para así evaluar la capacidad de la institución para contribuir al desarrollo y la implementación de nuevas actividades y prácticas de evaluación académica. En segundo lugar, sirve para analizar con carácter retroactivo cómo las brechas y las fortalezas de dichas condiciones institucionales pueden haber tenido cierto impacto en los resultados de intervenciones concretas dirigidas a una tipología específica de actividades académicas de evaluación (como son la contratación, la promoción, la consolidación o incluso la evaluación de los estudiantes de doctorado), ya sea contribuyendo o dificultando el avance hacia esos objetivos.

La rúbrica SPACE es el resultado de la colaboración de la DORA con Ruth Schmidt, profesora del Institute of Design (Institute of Technology de Illinois), que dirigió el proceso iterativo del diseño de participación. La creación de la rúbrica se basó en la experiencia de 75 personas en 26 países de 6 continentes y se ha mejorado tras varias rondas de retroalimentación.

A medida que las instituciones adoptan progresivamente los nuevos principios y prácticas de evaluación, pueden tener dificultades para ahondar y expandir su potencial individual y desarrollar niveles más altos de integración en el sistema.

Sin embargo, debido a que de forma natural las instituciones se encuentran en distintos estadios de preparación y evolución, no hay una solución igual para todas, y los indicadores de progreso pueden no parecer los mismos.