Archivo de la etiqueta: Calidad

La Universidad de Utrecht dejará de tener en cuenta el factor de impacto para medir la calidad de sus investigadores

Woolston, Chris. Impact factor abandoned by Dutch university in hiring and promotion decisions. Nature, 25 June 2021

Ver completo

Los investigadores y el personal de la Universidad de Utrecht serán evaluados por su compromiso con la ciencia abierta y el trabajo en equipo.

Una universidad holandesa de Utrecht dice que está dejando formalmente de tener en cuenta el factor de impacto, una medida estándar del éxito científico, en todas las decisiones de contratación y promoción. Para principios de 2022, todos los departamentos de la Universidad de Utrecht en los Países Bajos juzgarán a sus académicos según otros estándares, incluido su compromiso con el trabajo en equipo y sus esfuerzos para promover la ciencia abierta, dice Paul Boselie, investigador de gobernanza y líder del proyecto para el nuevo programa de acreditación Recognition and rewards. “Los factores de impacto no reflejan realmente la calidad de un investigador o académico individual”, dice. “Creemos firmemente que algo tiene que cambiar y abandonar el factor de impacto es uno de esos cambios”.

El factor de impacto de un científico es una puntuación que tiene en cuenta el número de publicaciones y la tasa de citas de las revistas donde se publican esos artículos. En este sistema, los artículos de revistas muy citadas como ScienceNature o Cell cuentan más que los artículos de revistas cuyo contenido se cita con menos frecuencia. Boselie dice que los factores de impacto, así como una medida relacionada llamada índice h, contribuyen a una “producción” de la ciencia que valora la producción pura sobre la buena investigación. “Se ha convertido en un modelo muy dañino que va más allá de lo que es realmente relevante para la ciencia y de promover la ciencia”, dice.

El nuevo esquema es parte del programa Open Science de Utrecht, un esfuerzo de múltiples vías para hacer que la investigación sea más transparente y cooperativa. Los gestores de los programas de ciencia abierta integrados en cada departamento evaluarán el progreso hacia la publicación de acceso abierto, la participación pública y el intercambio de datos.

La decisión de renovar la contratación y la promoción se ha inspirado en parte en la Declaración sobre Evaluación de la Investigación (DORA), un documento creado en 2012 en la reunión anual de la Sociedad Estadounidense de Biología Celular.

La declaración tiene como objetivo “mejorar las formas en que se evalúan los investigadores y los resultados de la investigación académica” y pide específicamente eliminar los factores de impacto como una forma de juzgar el mérito de los académicos. Hasta el momento, ha sido firmado por casi 20.000 personas e instituciones. La Universidad de Utrecht firmó el documento en 2019.

Entre los investigadores académicos, la insatisfacción con el uso y mal uso del factor de impacto en las evaluaciones y decisiones de permanencia, promoción y contratación ha aumentado en los últimos años. Un informe de 2018 calificó el factor de impacto como “una medida inadecuada para evaluar el impacto de los científicos” y concluyó que si no se modifica el sistema de evaluación actual es probable que se produzca un “comportamiento continuo que no siempre ha concluido en un comportamiento social positivo”.

Todas las universidades de los Países Bajos, incluida Utrecht, se han adherido a Room for Everyone’s Talent’, un documento de posicionamiento de 2019 dirigido por VSNU, la asociación de empleados de las universidades holandesas. Ese documento pide un sistema de reconocimiento y recompensas que “permita la diversificación y vitalización de las trayectorias profesionales”.

Aún así, eliminar las métricas estándar podría ser un movimiento arriesgado para la universidad y sus profesores y miembros del personal. Mientras otras universidades sigan dependiendo de los factores de impacto y otras métricas de productividad para la contratación y la promoción, los investigadores que surgen a través del sistema de Utrecht podrían estar en desventaja competitiva.

Evaluación Responsable de la Investigación

Responsible Research Assessment
Global Research Council (GRC)
Conference Report 2021

Texto completo

La Conferencia sobre Evaluación Responsable de la Investigación se realizó con el apoyo del Global Research Council el 23 al 27 de noviembre de 2020. Este informe presenta el contexto de la conferencia, algunos análisis clave y los principales resultados de la discusión. También propone próximos pasos para el GRC.

  1. La evaluación de la Investigación da forma a la cultura de la investigación
  • La evaluación de la investigación influye en cómo se realiza y difunde la investigación
  • Lo que los financiadores valoran y miden influirá en lo que se valora en el ecosistema
  • Los financiadores pueden iniciar un cambio de cultura positivo mediante un diseño y una de la evaluación de la investigación.
  • Como administradores del sistema de I+D, los financiadores deben abordar los obstáculos al cambio cultural, especialmente las presiones para obtener resultados en los ranking universitarios.

2. Diversos sectores de I+D generan una investigación de alta calidad e impacto

  • La definición de excelencia en la investigación de un financiador debe ser multidimensional
  • La excelencia en la investigación debe abarcar las perspectivas y experiencias de
    personas de todos los orígenes
  • Los financiadores deben apoyar la diversidad mediante una amplia cartera de financiación.

3. Fomentar un sistema de sistema de I+D que que no perjudique a la diversidad

  • Los financiadores deben emplear criterios claros, indicadores pertinentes y una autoevaluación
  • Los financiadores deben experimentar con nuevos procesos y comprobar que tienen los resultados deseados
  • La lucha contra los prejuicios y la igualdad de oportunidades son esenciales para la de la investigación y no deberían verse obstaculizados por una resistencia al cambio.

4. La investigación y la erudición son esfuerzos transnacionales

  • Los enfoques deben tener en cuenta el contexto local, la cultura, el idioma y las consecuencias imprevistas que repercuten en otros países
  • Los financiadores de todo el mundo deben ponerse de acuerdo sobre las condiciones necesarias para apoyar un sistema de I+D sano y vibrante
  • Los financiadores deben trabajar juntos para lograr una coordinación de alto nivel sobre lo que se valora y evalúa, ya que la colaboración puede generar un cambio sistémico.

5. Todas las partes interesadas en el ecosistema de I+D desempeñan un papel vital en su construcción

  • Todas las partes interesadas deben colaborar en el desarrollo y la evaluación de la investigación y resistirse a a echar la culpa a otras partes.
  • La resistencia al cambio debe contrarrestarse recompensando las evaluaciones responsables
  • La aceptación de nuevos enfoques puede lograrse mediante la cocreación.

Calidad editorial versus editoriales depredadoras

Borroto Cruz, Eugenio; Torrens Pérez, María; Rondón Sierra, Rey. (2021). Calidad
editorial versus editoriales depredadoras
. Telos: revista de Estudios Interdisciplinarios en Ciencias Sociales, 23 (2), Venezuela. (Pp.466-483). DOI: http://www.doi.org/10.36390/telos232.16

El crecimiento de las editoriales depredadoras y sus malas prácticas en la gestión editorial, las identifican como una problemática actual. Éstas utilizan las oportunidades del Acceso Abierto para crear sus propios negocios, lo que distorsiona el propósito del movimiento de acceso abierto para todos. El objetivo de la investigación fue: identificar las actuaciones de las editoriales depredadoras, y socializar las políticas y principios de buenas prácticas editoriales establecidos por el Open Access. Para el desarrollo de la investigación se realizó una revisión sistemática, basada en el estudio de variables seleccionadas. Como resultados se exponen: las principales formas de actuación de las editoriales depredadoras; los Principios de Transparencia y Mejores Prácticas del Open Access en Publicaciones Académicas, y se propone una guía de actuación para prevenir los posibles ataques de las Editoriales Depredadoras. Se concluye que, las instituciones académicas deben responsabilizarse, y socializar la información pertinente sobre las Depredadoras para evitar el desconocimiento por parte de los autores. Además, las revistas y editoriales tradicionales deben verificar las postulaciones anteriores de sus autores con vista a eliminar las posibles relaciones y conexiones con las revistas y editoriales depredadoras

¿Sabemos comunicar el valor de la biblioteca en la era digital? Planeta Biblioteca 2021/01/27.

¿Sabemos comunicar el valor de la biblioteca en la era digital? Planeta Biblioteca 2021/01/27.

ESCUCHAR EL PROGRAMA

Ir a descargar

Presentación PPS

Vídeo

Las bibliotecas del siglo XXI están adaptando sus funciones y necesidades a las nuevas demandas de la sociedad en la que vivimos. El papel de las bibliotecas está ampliándose para seguir siendo instituciones relevantes en un nuevo ecosistema en constante cambio, El reto de la comunicación con los responsables de la adopción de decisiones se ha convertido en algo vital para las bibliotecas: se trata de mostrar a las autoridades una estrategia de desarrollo que contribuya a construir una imagen institucional sólida. Así, la biblioteca necesita saber comunicar su valor en la era digital a través de una estrategia de comunicación sólida que permita mostrar la importancia que este servicio tiene para su comunidad, pero también saber adecuarse a las nuevas necesidades de su entorno y proporcionar servicios de valor añadido más allá del libro. De este modo las bibliotecas están diseñando planes y espacios para empoderar a sus comunidades con servicios innovadores que se han ido adaptando progresivamente a esta nueva situación.

Suplantación de la revisión por pares de una revista para publicar artículos de baja calidad

Jamie Durrani. Imposters hijack journal’s peer review process to publish substandard papers. Chemistry World, 2021

Ver original

Los estafadores se infiltraron en el sistema de revisión por pares de una revista de química para aceptar y publicar artículos de baja calidad. La sofisticada operación pone de manifiesto hasta qué punto son capaces algunas personas de socavar el proceso de revisión científica.

Journal of Nanoparticle Research anunció que se aceptaron 19 artículos, algunos de ellos publicados en línea, después de haber sido víctima de un ataque por parte de “una red organizada de editores deshonestos”.

Los estafadores que se hicieron pasar por académicos respetados propusieron a la revista, publicada por Springer Nature, la idea de publicar un número especial sobre “el papel de la nanotecnología e Internet de las cosas en las Ciencias de la Salud. Los impostores generaron direcciones de correo electrónico falsas que imitaban las de las universidades reales para añadir credibilidad a sus afirmaciones.

“Se pusieron en contacto con nosotros, no sólo con una dirección de correo electrónico falsa, sino también con dominios falsos muy similares a los de una universidad de Alemania y otra del Reino Unido”, dije el químico de la Universidad de Humboldt, Nicola Pinna, que es el editor ejecutivo de la revista. “Así que en principio no nos dimos cuenta”.

Pinna señala que la propuesta para el número especial era “sólida y bastante detallada” e incluso incluía sugerencias para los investigadores que trabajaban en los campos apropiados que lo desearan pudieran presentar trabajos. “Todo se hizo meticulosamente”

Una vez que se encargó el número temático, se invitó a los estafadores a gestionar el proceso de procesamiento de los documentos y asignarles revisores. Esto les permitió aceptar 19 trabajos que de otra manera habrían sido rechazados por la revista por no cumplir ni con la calidad, ni con las normas de publicación.

“Al principio todo parecía marchar bien, y luego vimos aparecer un montón de artículos aceptados. Y cuando observamos inmediatamente la calidad de estos trabajos, resultó que era mala”, dije Pinna. “Al mismo tiempo, recibimos un contacto del grupo de integridad de la investigación de Springer, diciéndonos que había un problema con este número especial debido a la actividad sospechosa y a los correos electrónicos sospechosos de los pares seleccionados. Así que empezamos a investigar”.

Sin embargo, cuando el equipo editorial de la revista comenzó a investigar la estafa, encontró que las cuentas de correo electrónico falsas habían expirado. “No había forma de que pudiéramos intentar contactar con ellos a través de estos nombres de dominio, que ya no existían”, dijo Pinna. La revista dice que ha puesto en marcha nuevas medidas para evitar ser víctima de tales estafas en el futuro, y espera que el hecho de compartir su experiencia pueda ayudar a otros editores a detectar ataques similares.

“He oído hablar de otros casos en los que ha habido algunos intentos, más o menos sistemáticos, de interferir en el proceso de publicación de las revistas, por ejemplo, dando lugar a retractaciones a gran escala de documentos debido a una falsa revisión por pares”, comentó Serge Horbach, experto en integridad de la investigación y revisión por pares, con sede en la Universidad de Aarhus en Dinamarca. Sin embargo, señala que esos ataques coordinados todavía son poco frecuentes.

“Estos casos son una gran preocupación para los editores de revistas y los editores académicos, sin embargo. Claramente, el daño de reputación causado por los casos en los que los mecanismos de control de calidad de las revistas se han visto comprometidos es considerable”, dice Horbach. Señala que la pretensión de las revistas de garantizar la fiabilidad del registro académico es una de las principales formas en que pueden distinguirse de las formas emergentes de difusión de los resultados de la investigación, como los archivos de preprints y los repositorios institucionales. Por lo tanto, las revistas y las editoriales están adoptando varias medidas para prevenir esos acontecimientos, incluido el establecimiento de equipos dedicados a salvaguardar la calidad del proceso de evaluación y a evitar o manejar los casos de mala conducta en la investigación”, dijo. El grupo de integridad de la investigación en Springer Nature… es un buen ejemplo de esto.

Horbach elogia a los editores del Journal of Nanoparticle Research por su enfoque abierto y transparente para abordar el reciente ataque. “En un intento de mitigar el daño a la reputación, uno podría haber imaginado que tratarían de ocultar el caso. En cambio, decidieron publicarlo, con el objetivo de ayudar a otros a prevenir casos similares, es, para mí, un claro ejemplo de la mejor práctica editorial”.

Evaluación de los Bibliotecarios de Enlace: documentar el impacto para un cambio positivo

Assessing Liaison Librarians: Documenting Impact for Positive Change (PIL #67) | ALA Store [Internet]. [cited 2021 Jan 18].

Texto completo

La evaluación es cada vez más importante para la educación superior. Los presupuestos ajustados y los escasos recursos exigen la rendición de cuentas de toda la universidad, incluida la biblioteca. Los bibliotecarios deben estar preparados para documentar el impacto de los programas que crean, las colecciones que desarrollan y los servicios que ofrecen. Los bibliotecarios de enlace en las bibliotecas universitarias se centran en el compromiso con las unidades académicas y en la divulgación a los estudiantes, al profesorado y a la comunidad universitaria.

En una serie de ensayos, Assessing Liaison Librarians: Documenting Impact for Positive Change, examina la forma en que las bibliotecas académicas evalúan las actividades de enlace y ofrece recomendaciones para documentar el impacto de los programas y servicios. Los capítulos individuales abordan las actividades de enlace relacionadas con el desarrollo de colecciones; la instrucción en bibliotecas; los servicios de investigación; el compromiso y la divulgación; los entornos de aprendizaje en línea, mixtos y de otro tipo, incluidos los MOOC; las comunicaciones académicas y la tecnología de la información; la importancia de la evaluación en la biblioteca de investigación del siglo XXI; y el desarrollo profesional de los bibliotecarios de enlace.

Evaluación de los bibliotecarios de enlace: Documentar el impacto para un cambio positivo es apropiado para todos los tipos de bibliotecasuniversitarias, así como para las escuelas de biblioteconomía y ciencias de la información.

Bibliotecas y eficiencia: adaptación del indicador de la potencia del sistema de la metodología Secaba-Rank para nuevas necesidades al servicio de una sociedad cambiante

 

upo-biblioteca

 

Lázaro Rodríguez, Pedro; López Gijón, Javier; Herrera Viedma, Enrique (2020). “Bibliotecas y eficiencia : adaptación del indicador de la potencia del sistema de la metodología Secaba-Rank para nuevas necesidades al servicio de una sociedad cambiante”. BiD: textos universitaris de biblioteconomia i documentació, núm. 44 (juny). <http://bid.ub.edu/es/44/lazaro.htm&gt;. DOI: https://dx.doi.org/10.1344/BiD2020.44.4 [Consulta: 15-06-2020].

Texto completo

 

Objetivo: los objetivos de este trabajo son dos, el primero es adaptar el indicador de potencia del sistema de la metodología Secaba-Rank incluyendo medidas relacionadas con el presupuesto, préstamos, visitas, uso de Internet y asistencia a actividades culturales para calcular y obtener los resultados de la eficiencia de las bibliotecas o redes de lectura pública españolas; el segundo es comparar y analizar los resultados obtenidos en dicha adaptación del indicador de la potencia del sistema con los de los estudios anteriores para extraer conclusiones sobre la medida de la eficiencia de las bibliotecas en el contexto de una sociedad cambiante.

Metodología: en cuanto al primer objetivo, la metodología es la adaptación del indicador de la potencia del sistema de la herramienta Secaba-Rank. Dicho indicador, aplicado en trabajos anteriores para el cálculo de la eficiencia de bibliotecas públicas y universitarias españolas, pone en relación las salidas y entradas de los sistemas bibliotecarios y permite el cálculo de su eficiencia. La adaptación concreta consiste en incluir en las salidas dimensiones de las bibliotecas referidas a los préstamos, visitas, uso de Internet y asistencia a actividades culturales para relacionarlo con el presupuesto y obtener un nuevo indicador sobre eficiencia. En cuanto al segundo objetivo, la comparación de los resultados según los rankings generados para cada dimensión y la definida como potencia del sistema total, se lleva a cabo mediante el cálculo del coeficiente de correlación rho de Spearman.

Resultados: se demuestra que la metodología Secaba-Rank es adecuada para el estudio de la eficiencia de las bibliotecas en su rol actual, especialmente en el análisis que compara préstamos y visitas; uso de Internet y eficiencia total, y asistencia a actividades culturales y eficiencia total. Por último, en cuanto a los resultados de la eficiencia total considerando la relación entre el presupuesto y los préstamos, visitas, uso de Internet y asistencia a actividades culturales, en el ámbito español se identifican cuatro sistemas ineficientes (Cataluña, Comunidad Valenciana, Andalucía y País Vasco) y el resto de los sistemas son eficientes.

 

 

 

Impacto, calidad de la investigación y revisión científica en el contexto de la ciencia abierta

 

A partir del minuto aproximadamente, se explica de una manera bastante clara y amigable cómo funciona el sistema de comunicación científica, calidad impacto y revisión.

 

Encuesta sobre la calidad de los metadatos. Libro blanco de la Federación de Bibliotecas Digitales

 

2020-05-05_17-13-31

Steven Gentry.. [et al.]. “Survey of Benchmarks in Metadata Quality: Initial Findings” (A New White Paper From the Digital Library Federation).

Texto completo

Libro blanco en el que se ofrece un análisis general y una documentación de los resultados recogidos por una encuesta Qualtrics para reunir información sobre las prácticas de evaluación de metadatos en las bibliotecas digitales. Incluye un panorama general de las respuestas y un breve análisis, con alguna interpretación de las tendencias.

 

¿Qué tiene de malo el índice H? según Jorge Hirsch, su inventor

 

web-of-science-h-index-700x350-1

 

Conroy, Gemma. What’s wrong with the H-index, according to its inventor “Severe unintended negative consequences”. Mature Index. 24 March 2020

Texto completo

 

El índice H se ha convertido en una de las métricas más utilizadas en el mundo académico para medir la productividad y el impacto de los investigadores. Pero cuando Jorge Hirsch lo propuso como una medida objetiva del logro científico en 2005, no pensó que se usaría fuera de la física teórica.”Ni siquiera estaba seguro de si publicarlo o no”, dice Hirsch, físico de la Universidad de California en San Diego. “No esperaba que tuviera un impacto tan grande”.

 

La métrica tiene en cuenta tanto el número de artículos que ha publicado un investigador como la cantidad de citas que recibe. Se ha convertido en una herramienta popular para evaluar a los investigadores.

 

jorgehirsch_200x225_jpg_medium_3

 

También es uno de los temas más polémicos que discuten los científicos, como escribe Hirsch en el boletín de Física y Sociedad de enero.

“Aproximadamente la mitad de la comunidad científica ama el índice H y la mitad lo odia”, escribe Hirsch. “El índice H del propio científico es un gran predictor de si pertenece al primer o al segundo grupo”.

Si bien Hirsch cree que el índice H sigue siendo una de las mejores medidas objetivas del logro científico, también escribe que puede “fallar espectacularmente y tener graves consecuencias negativas no deseadas”.

Una desventaja es que puede disuadir a los investigadores del pensamiento innovador. Por ejemplo, un estudiante que trabaja con un profesor con un alto índice H puede ser reacio a cuestionar los conceptos que se le están enseñando, ya que es probable que asuman que el profesor es un experto en su campo en función de su puntaje.

La búsqueda de un índice H alto también puede alentar a los investigadores a elegir temas de investigación ‘candentes’ que sean más propensos a llamar la atención y tentarlos a publicar un artículo tras otro en un esfuerzo por aumentar su puntaje. “Es demasiado sensible a lo que es popular y de moda en la ciencia”, dice Hirsch. Mientras más se cita un artículo, más difícil resulta cuestionar su validez, señala.

Hirsch señala que la métrica no recoge la investigación que se desvía de la corriente principal, algo que ha observado en su propio trabajo sobre la superconductividad.

Un análisis realizado en 2012 sobre 2.307 investigadores muy citados reveló que los índices H varían mucho entre las distintas disciplinas. Los investigadores de Medicina y Química tienen los índices H más altos de promedio, mientras que los matemáticos y los nformáticos y los científicos tienen el más bajo. (Ver gráfico).

 

c4cf27a6c65363b95618b194e9fa1f71

 

“Uno tiene que mirar la naturaleza del trabajo”, dice Hirsch. “Si toma decisiones basadas en el índice H de alguien, puede terminar contratando a la persona equivocada o negando una subvención a alguien que es mucho más probable que haga algo importante. Tiene que usarse con cuidado.