Do we need all the components of the Research Excellence Framework?

Mehmet Pinar
Tim Horne
May 11th, 2022

Ver original

El Marco de Excelencia en Investigación (REF) se basa en tres áreas de evaluación: resultados, impacto y entorno. Sin embargo, Mehmet Pinar y Tim Horne afirman que estos elementos se correlacionan hasta el punto de que la evaluación de todos ellos es en gran medida ineficaz. Si este es el caso, plantean la pregunta: ¿ha llegado el momento de eliminar uno de estos elementos en el próximo ciclo del Research Excellence Framework (REF)?

Pronto se publicarán los resultados del próximo marco de excelencia investigadora. El reciente REF es otra iteración de los sistemas de financiación de la investigación basados en el rendimiento empleados anteriormente en el Reino Unido, que evalúa el entorno de investigación de una institución de enseñanza superior, los resultados de la investigación y el impacto de su investigación. Este proceso de evaluación se lleva a cabo para rendir cuentas sobre el dinero público, proporcionar información de referencia y establecer criterios de reputación, además de informar sobre la asignación selectiva de la financiación de la investigación.

Desde su introducción en su forma actual en 2014, el REF ha recibido muchas críticas. Por ejemplo, la introducción del elemento de impacto en el REF causó cierta preocupación entre los académicos, ya que pensaban que se verían obligados a producir una investigación más «impactante», en lugar de llevar a cabo su propia agenda de investigación.

La investigación ha revelado que el proceso de evaluación estaba sesgado a favor de las universidades de investigación intensiva: Las universidades del Grupo Russell, o las que contaban con miembros del comité que participaban en la evaluación, tendían a obtener puntuaciones inesperadamente más altas. Incluso los miembros del comité que evaluaron los elementos de investigación tuvieron problemas para hacerlo. En resumen, la evaluación de todos los elementos -productos de la investigación, entorno de la investigación, impacto de la investigación- puede haber adolecido de parcialidad o subjetividad.

Además, el REF es caro, ya que el coste de la realización del ejercicio del REF en 2014 se estimó en 246 millones de libras.

Dada la doble preocupación por la objetividad y el coste, en un trabajo reciente, se utilizaron herramientas estadísticas para evaluar la utilidad de la REF como una evaluación que considera multitud de dimensiones. Si todas las dimensiones están positiva y altamente correlacionadas, se puede obtener una asignación de fondos y unos resultados de rendimiento similares utilizando menos dimensiones, lo que sugiere que algunos de los elementos adicionales son redundantes.

Nuestras conclusiones son las siguientes: los tres elementos de la evaluación -entorno, impacto y resultados- están muy correlacionados y son positivos. Por lo tanto, la eliminación de un componente de la evaluación conduce a cambios relativamente pequeños en la asignación de fondos y en las clasificaciones. En consecuencia, sostenemos que el REF podría simplificarse eliminando un elemento, lo que reduciría el coste de llevar a cabo el ejercicio del REF y daría lugar a asignaciones de fondos y clasificaciones más o menos similares.

Esto pone de manifiesto que el importe total de la financiación de la investigación relacionada con la calidad (QR) reasignada entre las distintas IES sería de sólo el 1,46%, 1,05% y 4,41%, respectivamente, del importe distribuido, cuando se elimina de la evaluación el elemento de entorno, impacto y producción. Evidentemente, estos porcentajes de reasignación son pequeños, por lo que un REF simplificado tendría poco efecto en la distribución de la financiación de la RQ, pero podría reducir el coste de la realización del ejercicio del REF y el estrés del personal académico y de los servicios profesionales.

Sobre la base de las conclusiones, es necesario responder a dos preguntas para el próximo ejercicio sobre REF: 1) Si los organismos de financiación tuvieran que excluir un elemento, ¿cuál de los tres elementos debería eliminarse? 2) Si los organismos de financiación tienen previsto incluir nuevos elementos en la evaluación, ¿qué tipo de criterios de evaluación podrían incluirse?

Para esta última pregunta, este documento ofrece algunas pistas. Basándose en análisis propios, se puede afirmar que si los futuros marcos incluyen nuevos elementos, estos nuevos elementos no deberían estar muy correlacionados con los otros elementos existentes, ya que de lo contrario su inclusión en la evaluación supondría un aumento de los costes de la misma, pero produciría una asignación de fondos y una clasificación más o menos similares.

Por otra parte, este documento no ofrece una respuesta específica a la primera pregunta. Sin embargo, se pueden articular las posibles consecuencias de la eliminación de diferentes elementos.

En otro trabajo reciente de Pinar y Unlu, se constata que la inclusión del elemento de impacto en la REF en 2014 y su mayor importancia en la REF2021, es probable que aumente la brecha de financiación relacionada con la calidad (algo más de 1.000 millones de libras esterlinas de financiación principal de RQ se distribuyen cada año sobre la base de los resultados de REF) entre las IES y en la mayoría de las áreas temáticas. Por tanto, si se excluye el elemento de impacto de la REF, es probable que se produzca una asignación de fondos relativamente más equitativa entre las IES. Ello se debe a que existe una gran diferencia entre las universidades que hacen un uso intensivo de la investigación y las demás en cuanto a los resultados del elemento de impacto.

Por otra parte, la diferencia de rendimiento entre las IES es relativamente menor en función de los resultados de la investigación y la eliminación de los resultados de la investigación probablemente aumentaría la diferencia entre las IES.

Al considerar el entorno de la investigación, varios trabajos indican que las medidas cuantitativas, por ejemplo, los ingresos de la investigación o la realización de doctorados, explican gran parte de la variación de las puntuaciones entre las presentaciones; y otros indican que la evaluación de las declaraciones narrativas del entorno de la investigación puede reflejar en gran medida la calidad de la redacción, más que los propios entornos de investigación subyacentes. Por lo tanto, podría considerarse un elemento de entorno simplificado, que incluya sólo métricas.

En general, como ocurre con cualquier decisión de inversión pública, la decisión se reduce a un compromiso de equidad y eficiencia. La teoría de la eficiencia sostiene que la financiación debería asignarse más a los productores más eficientes (es decir, los institutos con mejores resultados). Por otro lado, el argumento de la equidad sugiere que la financiación debería distribuirse de forma más justa entre los institutos.

Según la fórmula de financiación utilizada por los organismos de financiación, éstos favorecen claramente la eficiencia, ya que la financiación asignada a la investigación líder en el mundo es cuatro veces superior a la distribuida a la investigación excelente a nivel internacional, y no se proporciona ninguna financiación a la investigación reconocida internacionalmente. Sin embargo, también existen argumentos relevantes para asignar más fondos a las llamadas IES de bajo rendimiento: Hay que proteger a las IES que se esfuerzan por convertirse en una universidad más orientada a la investigación. Esto está estrechamente relacionado con la idea de proteger las industrias nacientes.

Los cuatro organismos de financiación de la investigación del Reino Unido (Research England, el Higher Education Funding Council for Wales, el Scottish Funding Council y el Department for the Economy of Northern Ireland) encargaron a RAND Europe una revisión en tiempo real del REF2021 y ofrecen la oportunidad de que las partes interesadas den su opinión sobre el próximo REF. Basándonos en estas conclusiones, sostenemos que la cuestión básica de la exclusión o inclusión de los criterios de evaluación debería volver a plantearse cuidadosamente como parte de esta revisión. Aunque los elementos REF han llegado a considerarse inherentes al proceso, quizás estaríamos mejor sin todos ellos.