Archivo de la etiqueta: Evaluación

Hacia una reforma del sistema de evaluación de la investigación

Towards a reform of the research assessment system. European Commussion, nov. 2021

Texto completo

La reforma de la evaluación de la investigación se considera cada vez más prioritaria para garantizar la calidad, el rendimiento y el impacto de la investigación. La reforma, sin embargo, requiere cambios culturales y sistémicos que están resultando muy complejos y lentos de aplicar. Durante el período comprendido entre marzo y noviembre de 2021, la Comisión Europea consultó a las partes interesadas europeas sobre cómo facilitar y acelerar los cambios. Este informe de alcance presenta las conclusiones de la consulta, identifica los objetivos que deberían perseguirse con una reforma de la evaluación de la investigación y propone un enfoque coordinado basado en principios y acciones que podrían ser acordados por una coalición de organizaciones que financian la investigación y que la realizan, comprometidas con la aplicación de los cambios.

Integridad académica y calidad de la investigación

Academic Integrity and Research Quality. New Dheli: University Grants Commission (UGC) University Grants Commission, 2021

Texto completo

La ComisiUniversity Grants Commission (UGC) , en su constante esfuerzo por garantizar la calidad y la excelencia en educación superior, ha tomado la iniciativa del «Mandato de Calidad» para mejorar continuamente la calidad en las Instituciones de Educación Superior (IES) de la India. Avanzando en esta dirección, el “Quality Mandate” de la UGC, que subraya la importancia de promover la investigación de alta calidad y de crear de alta calidad y la creación de nuevos conocimientos por parte de los miembros del profesorado, estableció un Consortium for Academic Research and Ethics (CARE) con la tarea principal de mejorar la calidad de la investigación en las universidades indias y promover la integridad académica y de investigación, así como la ética de las publicaciones.

Centrándose tanto en el proceso como en el producto, la UGC, en su iniciativa, ha presentado un libro inestimable sobre «Integridad académica y calidad de la investigación». Los resultados de la investigación deben aparecer en los mejores lugares, aportando laureles y recompensas al investigador, a la institución y al país. Este libro no se limita a un conjunto de normas reglamentarias, sino que pone de relieve las normas y las mejores prácticas que todos los que participamos en la educación terciaria debemos adoptar. Es una valiosa colección de escritos de profesionales, gestores y observadores del ecosistema de la investigación en las IES indias. Los 16 artículos, bien documentados y redactados, abarcan los parámetros básicos de la ética, los códigos de publicación y los principios de la investigación en diversas disciplinas.

Actas del Segundo Taller de Indicadores de Evaluación de Bibliotecas: Tomo I

Fushimi, Marcela. Actas del Segundo Taller de Indicadores de Evaluación de Bibliotecas: Tomo I. Facultad de Humanidades y Ciencias de la Educación (UNLP), 2011

Texto completo

El segundo Taller de Indicadores de Evaluación de Bibliotecas (TIEB2) se llevó a cabo los días 27 y 28 de junio de 2011 en el Aula Magna de la Facultad de Ciencias Económicas de la Universidad Nacional de La Plata. Este evento académico fue organizado por la Biblioteca Profesor Guillermo Obiols y co-organizado por el Departamento de Bibliotecología, ambos de la Facultad de Humanidades de la Universidad Nacional de La Plata (UNLP), el Instituto de Investigaciones en Humanidades y Ciencias Sociales (IdIHCS-UNLP-CONICET), la red ROBLE de Bibliotecas de la UNLP, la Red Interuniversitaria Argentina de Bibliotecas (RedIAB) que agrupa a las bibliotecas de las 50 instituciones de educación superior de Argentina y el Módulo Bibliotecas del Consorcio SIU (Sistema de Información Universitario).

Métricas para repositorios de datos y bases de conocimiento

Metrics for Data Repositories and Knowledgebases: Working Group Report” NIH, 2021

Texto completo

Este informe presenta los resultados de una exploración del panorama actual de las métricas de los repositorios de datos biomédicos de datos biomédicos realizado por el Grupo de Trabajo NIH Lifecycle and Metrics Working Group and the NIH Metrics for Repositories (MetRe) Working Group. Los grupos de trabajo (WG) reunieron información de la comunidad de repositorios de datos biomédicos mediante un proceso de dos partes. En la primera fase, el grupo de trabajo MetRe identificó varios repositorios financiados por NIH y desarrolló una lista de métricas que se recogen con mayor frecuencia. Esta lista de Esta lista de métricas se utilizó para desarrollar un instrumento de encuesta que el grupo de trabajo sobre el ciclo de vida y las métricas utilizó para recoger las aportaciones de la comunidad de repositorios biomédicos en general en la fase 2. Este informe describe los resultados de estas dos actividades, proporcionando información sobre el estado actual de los datos y datos y métricas de los repositorios en la comunidad de la investigación biomédica y complementa los esfuerzos en curso en la en la comunidad de métricas más amplia.Este informe incluye las aportaciones de los representantes de 13 repositorios de los NIH de la fase 1 y de 92 gestores de repositorios de la fase 2. en la fase 2. Las métricas que estos encuestados declararon utilizar se dividen en varias categorías generales categorías amplias, incluyendo (de la más a la menos común) Características del comportamiento del usuario, Contribución/impacto Contribución/Impacto Científico, y Operaciones del Repositorio, y los encuestados de los dos grupos reportaron patrones similares en las métricas que recogen. La mayoría de los encuestados en la fase 2 (77%) también indicaron compartir los datos de sus métricas, un hallazgo alentador dado que dichas métricas pueden ser útiles a los NIH para comprender mejor cómo se utilizan los conjuntos de datos y los repositorios. Muchos de los encuestados de ambos grupos informaron de que utilizaban Google Analytics para recopilar métricas, principalmente en las áreas de de comportamiento de los usuarios, dada su facilidad de uso y su capacidad para realizar un seguimiento preciso de dichas métricas. Sin embargo, muchos de los encuestados también indicaron que les gustaría recopilar métricas adicionales, pero que actualmente no lo hacen o no pueden hacerlo debido a la falta de herramientas para ello.

Los resultados de este informe proporcionan una mejor comprensión de las métricas utilizadas actualmente en la comunidad de repositorios biomédicos, lo que puede informar sobre los futuros esfuerzos de los NIH para ayudar a desarrollar este espacio y para comprender los patrones de uso entre los conjuntos de datos y los repositorios. Los NIH también deberían estar al tanto de de los desarrollos en la comunidad más amplia de métricas de repositorios para asegurar la alineación.

Evaluación del alcance de la biblioteca: evaluación de los servicios de extensión bibliotecaria

Hornby, Amanda, and Emilie Vrbancic. Library Impact Practice Brief: Library Outreach Assessment. Washington, DC: Association of Research Libraries, September 17, 2021.

Texto completo

Como parte de la iniciativa Research Library Impact Framework initiative, the University of Washington (UW) Odegaard Library’s Undergraduate Student Success Team diseñó un marco de evaluación para la divulgación entre los estudiantes de grado. Este resumen de prácticas describe los procesos de planificación de la extensión y la evaluación del equipo de la UW, los métodos de evaluación cualitativos y cuantitativos empleados, los resultados de su programa de evaluación, las lecciones aprendidas y las mejores prácticas que surgieron a lo largo de varios años y varias iteraciones de la realización de la evaluación de la extensión bibliotecaria. El informe presenta tanto las reflexiones a largo plazo como las aplicaciones más recientes entre 2016-2021.

Las bibliotecas de la Universidad de Washington (UW) llevan mucho tiempo dando prioridad a la identificación de las necesidades de los usuarios y a la evaluación de los esfuerzos para satisfacerlas. Las bibliotecas de la UW utilizan cada vez más el pensamiento de diseño, los métodos de investigación cualitativa, el diseño participativo y los enfoques de métodos mixtos para evaluar todo, desde los espacios de la biblioteca hasta las prácticas de enseñanza y aprendizaje y el comportamiento de los usuarios.1 En este contexto de fuerte apoyo institucional a la evaluación, el equipo de la Biblioteca Odegaard para el Éxito de los Estudiantes de Grado (USS) trató de diseñar un marco de evaluación sólido para la divulgación entre los estudiantes de grado.

Implementación y evaluación de un programa de alfabetización en investigación de fuentes primarias de alumnos de primer curso

Burri, M. ; Everett, J. ; Herr, H. ; Keyes, J. Freshman Fellows: Implementing and Assessing a First-Year Primary-Source Research Program. ACRL, 2021

Texto completo

Se describe el proyecto de evaluación llevado a cabo por las Bibliotecas Sheridan de la Universidad Johns Hopkins como parte de la participación de la biblioteca en la iniciativa «Research Library Impact Framework initiative» de la ARL para responder a la pregunta «De que manera las colecciones especiales de la biblioteca apoyan y promueven específicamente la enseñanza, el aprendizaje y la investigación?» El equipo de investigación investigó cómo la experiencia de los Freshmen Fellows impactó en los estudios y las actividades co-curriculares de los estudiantes en la universidad. Freshmen Fellows, creado en 2016, es una oportunidad única para familiarizar a los estudiantes con las colecciones de fuentes primarias al principio de su carrera universitaria, formando equipos de cuatro estudiantes con cuatro asesores en proyectos de investigación individuales. El programa graduó su primera promoción de estudiantes en la primavera de 2020. El resumen incluye una guía de entrevista semiestructurada, directrices del programa y una rúbrica de investigación primaria.

¿Por qué es fundamental que las bibliotecas se centren menos en las transacciones y más en las relaciones?

The Truly Engaged Library User: Why It’s Critical That Libraries Focus Less on Transactions and More on Relationships.

Texto completo

Hay dos maneras de definir el compromiso en los esfuerzos de promoción de su biblioteca.

Compromiso transaccional

Una forma de hablar del compromiso en el marketing de las bibliotecas se centra exclusivamente en los números.

¿Cuántos «me gusta», «compartidos», «comentarios» y «mensajes directos» reciben sus publicaciones en las redes sociales? ¿Cuántas personas se han inscrito para asistir a su programa gracias al folleto que les ha entregado? ¿Cuántas personas utilizaron una base de datos después de la formación que se impartió sobre la misma?

Estas cifras concretas son medibles y fáciles de explicar. Realizan una acción. El compromiso transaccional son datos que demuestran que la gente interactúa con el marketing de la biblioteca.

Compromiso relacional

Pero el compromiso no puede, ni debe, definirse únicamente por las cifras concretas. También debe ser la construcción de relaciones continuas que la biblioteca hace con los usuarios.

La gente puede abrir sus correos electrónicos y hacer clic en sus publicaciones en las redes sociales. Están sacando libros y utilizando sus servicios. Pero lo más importante es cómo se sienten con respecto a su biblioteca a largo plazo.

El compromiso debe implicar la construcción de una relación más profunda con los usuarios a lo largo del tiempo. Cuando esto ocurre, la relación se manifestará en formas que van más allá de los números.

Este es el verdadero valor de su biblioteca. Los usuarios no sólo utilizarán más la biblioteca, sino que también harán más donaciones, se ofrecerán como voluntarios, hablarán para apoyarte más a menudo e influirán en otras personas para que utilicen la biblioteca.

Si este tipo de relaciones no ha estado en su lista de prioridades, no es el único. Un estudio realizado por Chief Marketing Officer descubrió que la mayoría de los profesionales del marketing no fomentan las relaciones a largo plazo. En cambio, se centran más en la naturaleza transaccional del compromiso.

Esto se debe a que el compromiso transaccional es fácil de medir. Puede presentar esas métricas a su supervisor y a la junta directiva. Puedes demostrar que lo que haces es eficaz. Y puedes sentirte bien con tu trabajo.

Es mucho más difícil explicar a los gestores de la biblioteca y a las partes interesadas que está creando una conexión emocional y una lealtad de por vida con su comunidad. Es difícil convencerles de que esto es importante. También es difícil medir este trabajo.

Y la construcción de relaciones no se produce de la noche a la mañana. Las bibliotecas pueden sentir que no tienen el lujo de dedicar tiempo a este trabajo. Pero debemos hacerlo. Y debemos hacerlo ahora mismo.

Por qué es el momento de centrarse en la creación de relaciones

Las bibliotecas se encuentran en una encrucijada. No puedo insistir lo suficiente en esto: al entrar en el mundo post-pandémico, no debemos volver a hacer las cosas como las hacíamos antes de la crisis.

Las bibliotecas ya se enfrentaban a recortes presupuestarios, apatía y acusaciones de irrelevancia. Y eso fue antes de que la pandemia nos obligara a cerrar y a cortar los tenues lazos con nuestra comunidad al separarnos físicamente de nuestros usuarios.

La pandemia nos obligó a dar un giro a nuestros modelos de servicio. Hemos demostrado que podemos cambiar y adaptarnos. Debemos aprovechar esta oportunidad para que los programas de marketing también tomen una nueva dirección. No podemos dejar que el miedo a hacer algo diferente nos impida hacer los cambios audaces necesarios para pasar a una posición real de éxito. Las bibliotecas deberían aprovechar este momento para poner sus miras en la fidelización. Vamos a necesitarla para sobrevivir en el mundo post-pandémico.

La clave es el compromiso relacional. Si nos centramos en la fidelización, aprenderemos más sobre nuestras comunidades. Podemos utilizar esos descubrimientos para crear servicios que realmente resuelvan problemas. Podemos proporcionar los servicios que nuestra comunidad necesita, no los servicios que pensamos que necesitan.

Sí, sé que esto suena un poco ambicioso y descabellado

Acabamos de salir de un gran acontecimiento que nos ha cambiado la vida. La mayoría de las bibliotecas piensan que deben centrarse únicamente en intentar que sus cifras de circulación y uso vuelvan a los niveles anteriores a la pandemia.

Pero yo creo que esta es una oportunidad para hacer algo más grande. Este momento es una oportunidad que se presenta una vez en la vida.

Los empleados de las bibliotecas suelen buscar el significado más profundo del trabajo que realizan. Quieren saber que su trabajo tiene un impacto en la comunidad. Si nos centramos en construir relaciones sostenibles de lealtad y confianza con nuestra comunidad, el personal sentirá que está contribuyendo a los objetivos generales de la biblioteca de forma significativa.

¿Cómo funciona la creación de relaciones en una biblioteca real?

Digamos que una biblioteca hace sugerencias de lectura personalizadas. Es posible que los miembros del personal consideren su trabajo como algo transaccional. Un lector pide una sugerencia y responde a unas cuantas preguntas. El personal de la biblioteca le envía una lista de libros sugeridos en función de sus preferencias de lectura. Interacción completada.

Para que esta interacción deje de ser únicamente transaccional y se convierta en una interacción de creación de relaciones, el miembro del personal de la biblioteca podría escribir un correo electrónico o una nota personal al lector para explicarle por qué ha elegido esos libros en concreto. Unas semanas más tarde, el empleado podría ponerse en contacto con el lector para preguntarle su opinión sobre las selecciones. ¿Le han gustado? ¿Qué libros han sacado? ¿Aprendieron algo nuevo sobre lo que les gusta leer?

Esta interacción lleva más tiempo, pero es más significativa. Demuestra que la biblioteca se preocupa por la persona y se esfuerza por ofrecer el mejor servicio al cliente posible. Y así es como se fideliza a la comunidad.

Aquí hay más ideas que le ayudarán a tomar las interacciones transaccionales de la biblioteca y convertirlas en un compromiso de construcción de relaciones.

Marcos de indicadores para fomentar las prácticas de conocimiento abierto en la ciencia y la erudición

Schomberg, Rene von ; Britt Holbrook, J ; Oancea, Alis ; Kamerlin, Shina Caroline Lynn ; Ràfols, Ismael ; Jacob, Merle ; Wouters, Paul. Indicator frameworks for fostering open knowledge practices in science and scholarship. Directorate-General for Research and Innovation (European Commission), 2019

Texto completo

El objetivo de este informe es contribuir a la visión europea de la Ciencia Abierta (Comisión Europea 2016) proporcionando los marcos para entender y aplicar los indicadores de ciencia y tecnología, definidos de forma amplia, para permitir la transición del sistema científico y académico actual hacia una configuración más abierta e inclusiva de las prácticas e infraestructuras del conocimiento. Los indicadores para la ciencia abierta influirán en gran medida en la forma que adopte la ciencia abierta, ya que influirán en las decisiones tanto en la política científica como en la generación de conocimientos.

La ambición formulada anteriormente por el Consejo de Competitividad en mayo de 2016 requiere iniciativas específicas para desarrollar la combinación adecuada de políticas y prácticas de Ciencia Abierta. Este informe se basa en el informe anterior sobre las métricas de próxima generación para la ciencia abierta (Wilsdon et al. 2017), las recomendaciones de la Plataforma de Políticas de Ciencia Abierta sobre las métricas de próxima generación (Hormia-Poutanen et al. 2017), así como los ejercicios de aprendizaje mutuo en varios países europeos (Leonelli 2017a, 2017b). Además, se ha estudiado el estado de la cuestión en relación con las herramientas actuales, como el Open Science Monitor (https://ec.europa.eu/info/research-and-innovation/strategy/goals-research-and-innovation-policy/open-science/open-science-monitor_en) y la emergente European Open Science Cloud (Grupo de expertos de alto nivel de la Comisión sobre la European Open Science Cloud 2016; Ayris et al. 2016). También se ha consultado a varias comunidades de interesados presentando borradores de conceptos en presentaciones en las conferencias más relevantes en relación con las prácticas de la ciencia abierta (por ejemplo, ESOF 2018, Nordic Bibliometrics 2018, DEFF 2019).

Hacia un nuevo equilibrio en el reconocimiento y la recompensa de los académicos

Room for everyone’s talent: towards a new balance in the recognition and rewards of academics. VSNU, NFU, KNAW, NWO y ZonMw

Texto completo

Las instituciones públicas holandesas de financiadoras de la investigación (VSNU, NFU, KNAW, NWO y ZonMw) redactaron este documento de posicionamiento respecto a la acreditación científica.

Los retos sociales actuales exigen una mayor cooperación y un enfoque multidisciplinar por parte de los científicos. Poner en práctica las ambiciones compartidas en el mundo académico holandés requiere una modernización del sistema de acreditación científica Dutch Recognition & Rewards. La modernización debe estar diseñada para mejorar la calidad de cada una de las áreas clave: educación, investigación, impacto, liderazgo y (para los centros médicos universitarios) atención al paciente.

Esto exige un sistema de reconocimiento y recompensa de académicos y de investigación que:

  1. Permita la diversificación y la vitalización de de la carrera profesional, fomentando así la excelencia en cada una de las áreas clave;
  2. Reconozca la independencia y las cualidades y ambiciones individual y las ambiciones de los académicos, así como reconocer el rendimiento de los equipos;
  3. Haga hincapié en la calidad del trabajo por encima de los resultados cuantitativos (como el número de publicaciones);
  4. Fomente todos los aspectos de la ciencia abierta; y
  5. Fomente el liderazgo académico de alta calidad

Los objetivos del programa son:

  • Diversificar y vitalizar las trayectorias profesionales. Posibilitar una mayor diversidad en las trayectorias profesionales y los perfiles de los académicos. Lograr el equilibrio entre los individuos y el colectivo.
  • Evaluar a los académicos en función de su rendimiento individual y de su equipo
  • Estimular la ciencia abierta. Animamos a los académicos a compartir los resultados de sus investigaciones con la sociedad
  • Centrarse en la calidad. En las evaluaciones del rendimiento académico, nos centramos cada vez más en la calidad, el contenido y la creatividad
  • Animar a los académicos a compartir los resultados de sus investigaciones con la sociedad. Centrarse en la calidad. Rendimiento académico basado en la calidad, el contenido y la creatividad. Estimular el liderazgo académico a todos los niveles.

La Universidad de Utrecht dejará de tener en cuenta el factor de impacto para medir la calidad de sus investigadores

Woolston, Chris. Impact factor abandoned by Dutch university in hiring and promotion decisions. Nature, 25 June 2021

Ver completo

Los investigadores y el personal de la Universidad de Utrecht serán evaluados por su compromiso con la ciencia abierta y el trabajo en equipo.

Una universidad holandesa de Utrecht dice que está dejando formalmente de tener en cuenta el factor de impacto, una medida estándar del éxito científico, en todas las decisiones de contratación y promoción. Para principios de 2022, todos los departamentos de la Universidad de Utrecht en los Países Bajos juzgarán a sus académicos según otros estándares, incluido su compromiso con el trabajo en equipo y sus esfuerzos para promover la ciencia abierta, dice Paul Boselie, investigador de gobernanza y líder del proyecto para el nuevo programa de acreditación Recognition and rewards. “Los factores de impacto no reflejan realmente la calidad de un investigador o académico individual”, dice. «Creemos firmemente que algo tiene que cambiar y abandonar el factor de impacto es uno de esos cambios».

El factor de impacto de un científico es una puntuación que tiene en cuenta el número de publicaciones y la tasa de citas de las revistas donde se publican esos artículos. En este sistema, los artículos de revistas muy citadas como ScienceNature o Cell cuentan más que los artículos de revistas cuyo contenido se cita con menos frecuencia. Boselie dice que los factores de impacto, así como una medida relacionada llamada índice h, contribuyen a una «producción» de la ciencia que valora la producción pura sobre la buena investigación. “Se ha convertido en un modelo muy dañino que va más allá de lo que es realmente relevante para la ciencia y de promover la ciencia”, dice.

El nuevo esquema es parte del programa Open Science de Utrecht, un esfuerzo de múltiples vías para hacer que la investigación sea más transparente y cooperativa. Los gestores de los programas de ciencia abierta integrados en cada departamento evaluarán el progreso hacia la publicación de acceso abierto, la participación pública y el intercambio de datos.

La decisión de renovar la contratación y la promoción se ha inspirado en parte en la Declaración sobre Evaluación de la Investigación (DORA), un documento creado en 2012 en la reunión anual de la Sociedad Estadounidense de Biología Celular.

La declaración tiene como objetivo “mejorar las formas en que se evalúan los investigadores y los resultados de la investigación académica” y pide específicamente eliminar los factores de impacto como una forma de juzgar el mérito de los académicos. Hasta el momento, ha sido firmado por casi 20.000 personas e instituciones. La Universidad de Utrecht firmó el documento en 2019.

Entre los investigadores académicos, la insatisfacción con el uso y mal uso del factor de impacto en las evaluaciones y decisiones de permanencia, promoción y contratación ha aumentado en los últimos años. Un informe de 2018 calificó el factor de impacto como «una medida inadecuada para evaluar el impacto de los científicos» y concluyó que si no se modifica el sistema de evaluación actual es probable que se produzca un «comportamiento continuo que no siempre ha concluido en un comportamiento social positivo».

Todas las universidades de los Países Bajos, incluida Utrecht, se han adherido a Room for Everyone’s Talent’, un documento de posicionamiento de 2019 dirigido por VSNU, la asociación de empleados de las universidades holandesas. Ese documento pide un sistema de reconocimiento y recompensas que «permita la diversificación y vitalización de las trayectorias profesionales».

Aún así, eliminar las métricas estándar podría ser un movimiento arriesgado para la universidad y sus profesores y miembros del personal. Mientras otras universidades sigan dependiendo de los factores de impacto y otras métricas de productividad para la contratación y la promoción, los investigadores que surgen a través del sistema de Utrecht podrían estar en desventaja competitiva.