Archivo de la etiqueta: Evaluación

¿Qué es la evaluación de metadatos?

Hannah Tarver y Steven Gentry. What is Metadata Assessment? DLF 2021

Texto completo

Esta entrada del blog ha sido redactada por Hannah Tarver y Steven Gentry, miembros del Grupo de Trabajo de Evaluación de Metadatos del Grupo de Interés de la Biblioteca Digital (DLF AIG MWG). Su objetivo es proporcionar una visión general resumida de la evaluación de metadatos en las bibliotecas digitales, incluyendo su importancia y beneficios.

La evaluación de metadatos consiste en valorar los metadatos para mejorar su utilidad tanto para los usuarios internos como externos. Hay tres categorías principales de metadatos:

[1] Los metadatos administrativos proporcionan información sobre la gestión o la conservación de los objetos digitales, como por ejemplo cuándo se archivó, qué acceso o restricciones tiene un elemento, un identificador único/permanente para un objeto, cuándo se migraron/copiaron/revisaron los archivos por última vez, etc.

2] Los metadatos descriptivos son el texto legible por el ser humano que describe la creación y el contenido de un elemento, como por ejemplo quién lo hizo, de qué trata y cuándo se hizo/publicó. Esta información se muestra en una interfaz de usuario de acceso público y con capacidad de búsqueda (mientras que los metadatos administrativos y estructurales pueden ser menos visibles o sólo accesibles internamente).

3] Los metadatos estructurales nombran todos los archivos asociados a un elemento (por ejemplo, un único PDF o varios archivos de imágenes individuales, archivos de metadatos, archivos OCR, etc.) y describen la relación entre ellos. Por ejemplo, si hay imágenes para páginas de texto individuales, o múltiples vistas de un objeto físico, los metadatos estructurales expresarían cuántas imágenes hay y el orden en que deben mostrarse.

En función del sistema local, pueden almacenarse datos específicos en distintos tipos de metadatos (por ejemplo, parte de la información de acceso puede estar en los metadatos descriptivos de cara al público, o parte de la información de preservación puede estar incorporada en los metadatos estructurales). Una organización podría evaluar varias características de cualquiera de estos tipos de metadatos o de todos ellos para asegurarse de que una biblioteca digital funciona correctamente; sin embargo, la mayoría de los investigadores y profesionales se centran en los metadatos descriptivos porque esta información determina si los usuarios pueden encontrar los materiales que se ajustan a sus intereses personales o académicos.

Errores en los metadatos

La evaluación de los metadatos es necesaria porque los errores y/o incoherencias se cuelan inevitablemente en los registros. Las colecciones suelen construirse a lo largo del tiempo, lo que significa que muchas personas diferentes participan en el ciclo de vida de los metadatos; las normas o directrices pueden cambiar; y la información puede trasladarse o combinarse. Hay una serie de aspectos de calidad que las organizaciones pueden querer evaluar dentro de los valores de los metadatos; he aquí algunos ejemplos:

Precisión

Errores tipográficos. Los errores ortográficos o de formato pueden producirse por accidente o debido a un malentendido sobre las reglas de formato. Incluso cuando se utilizan listas controladas, los valores pueden copiarse o seleccionarse incorrectamente.
Identificación errónea. Los creadores de metadatos pueden nombrar incorrectamente a personas o lugares representados o descritos en un elemento. Esto es especialmente problemático en el caso de las imágenes.

Registros erróneos.

Dependiendo de cómo se emparejen los ítems y sus registros de metadatos en un sistema concreto, un registro que describa un ítem puede aplicarse a un ítem totalmente diferente

Integridad

Información que falta. Ya sea por falta de recursos o simplemente por accidente, puede faltar información en los registros de metadatos. Puede tratarse de datos necesarios que afectan a la funcionalidad del sistema o de información opcional que podría ayudar a los usuarios a encontrar un elemento.

Información desconocida. Especialmente en el caso de los objetos del patrimonio cultural -como las fotos y los documentos históricos- puede faltar información que beneficiaría a los investigadores (por ejemplo, detalles sobre la creación de un elemento o personas o lugares importantes).

Conformidad con las expectativas

Terminología inadecuada. A veces, el lenguaje utilizado en los registros no se ajusta a los términos que podría preferir un grupo de usuarios primario (por ejemplo, un valor de materia para “gatitos” en lugar de “felinos” en un registro de una base de datos científica). Esto puede deberse a un uso incoherente de las palabras (por ejemplo, “coches” frente a “automóviles”) o a la falta de conocimiento de un editor sobre los descriptores más apropiados o precisos (por ejemplo, “broche de flores” para ramillete, o “tejado en forma de caricia” para tejados a dos aguas).

Lenguaje anticuado. Las colecciones que describen a determinados grupos de personas -como los grupos históricamente subrepresentados o marginados- pueden utilizar un lenguaje inapropiado y perjudicial. Esto es especialmente importante en el caso de los registros que se basan en vocabularios que cambian lentamente y que son compartidos por todos, como los Congress Subject Headings

Coherencia

Diferencias de formato. Si la coincidencia de cadenas exactas es importante, o si los campos utilizan vocabularios controlados, cualquier diferencia de formato (por ejemplo, “FBI” frente a “F.B.I.”) podría afectar a la búsqueda o a los filtros de búsqueda de la interfaz pública.

Variaciones del nombre. El mismo nombre puede introducirse de forma diferente en distintos registros en función de cómo se escriba en los artículos (por ejemplo, “tía Betty” frente a “Beatrice”), de los cambios de nombre (por ejemplo, nombres de soltera o fusiones organizativas), de la información disponible a lo largo del tiempo o del uso incoherente de una autoridad de nombres.

Oportunidad

Datos heredados o recolectados. Si las reglas de formateo han cambiado con el tiempo, o si la información ha sido migrada o importada desde otro sistema, puede haber valores incoherentes o artefactos en los registros. Entre ellos se encuentran las subdivisiones MARC en los valores de nombre/sujeto (véase la figura 4), el marcado técnico de las bases de datos (por ejemplo, “. pi. /sup +/, p”), o codificaciones de caracteres rotas (por ejemplo, “‘” en lugar de un apóstrofe).

Beneficios

La evaluación y mejora de los metadatos a lo largo del tiempo tiene una serie de beneficios para los usuarios y las organizaciones. Por ejemplo:

Los usuarios:

  • Los registros con metadatos completos, precisos y coherentes son más fáciles de encontrar en las búsquedas en línea.
  • Los materiales descritos de forma similar permiten que los elementos relevantes se coloquen más fácilmente.
  • Unos buenos metadatos pueden permitir que las interfaces públicas mejoren la experiencia del usuario (por ejemplo, mediante el filtrado de los resultados de las búsquedas).

Organizaciones que mantienen colecciones digitales:

  • Los metadatos sin errores son más fáciles de migrar de un sistema a otro o de integrar con otros recursos (por ejemplo, una capa de descubrimiento).
  • Los registros completos facilitan al personal la búsqueda y la promoción/anuncio de artículos especiales cuando surgen oportunidades.
  • Los registros de metadatos bien formados se comparten más fácilmente con otras organizaciones (por ejemplo, la Digital Public Library of America), lo que hace que esos materiales sean más accesibles.
  • Los buenos registros dan buena imagen de la organización, ya que los usuarios podrían desanimarse por la ortografía, la gramática o los problemas relacionados.

Métodos/Recursos

Aunque la evaluación de los metadatos es tremendamente beneficiosa, a menudo requiere un apoyo organizativo, como un compromiso amplio o continuo de personas y otros recursos. En primer lugar, el personal con conocimientos es crucial para el éxito de la evaluación y la mejora de los metadatos; los profesionales formados aportan su experiencia en metadatos (por ejemplo, la capacidad de determinar qué valores deben ser revisados o modificados) y las especialidades temáticas necesarias para el éxito de los esfuerzos de evaluación de los metadatos (en particular para los proyectos más grandes). Además, la evaluación y la mitigación o mejora de las colecciones requieren un tiempo considerable del personal para evaluar y editar los metadatos.

Otro componente importante de las actividades de evaluación de metadatos son las herramientas, que pueden incluir recursos basados en hojas de cálculo (por ejemplo, OpenRefine), o scripts especializados escritos en una variedad de lenguajes de programación. Es importante tener en cuenta que, aunque las herramientas pueden agilizar los esfuerzos de evaluación de metadatos, pueden requerir experiencia técnica y formación para ser utilizadas con eficacia.

Aparte del uso de herramientas para un análisis amplio, un método de evaluación popular es la evaluación manual de los registros (es decir, mirar un registro individual y revisar todos los valores). El empleo de este tipo de flujo de trabajo resulta atractivo para los profesionales por varias razones:

  • La evaluación manual de los metadatos requiere la menor cantidad de formación tecnológica.
  • Especialmente en el caso de las colecciones más pequeñas, la comprobación de todos los valores de un registro puede permitir menos ediciones y revisiones (es decir, los registros no se “tocan” tan a menudo).
  • Algunos aspectos de la calidad de los metadatos (por ejemplo, la precisión) sólo pueden determinarse mediante una evaluación manual.

Sin embargo, hay que tener en cuenta algunos retos a la hora de evaluar los metadatos. Una evaluación manual eficaz, por ejemplo, puede ser difícil de escalar a medida que aumentan los registros, y puede no proporcionar información a nivel de colección. Además, a medida que las colecciones aumentan de tamaño, la evaluación exhaustiva se vuelve más difícil y requiere mayores recursos para revisar y corregir errores o valores obsoletos. Por último, es importante reconocer que la mejora de los registros es un proceso continuo y a menudo iterativo. En general, la evaluación de los metadatos es un ejercicio de equilibrio de recursos.

Más información

Los siguientes recursos proporcionan información adicional si quiere saber más sobre varios aspectos de la evaluación de metadatos:

Papers/Publications

Metadata Assessment Working Group Resources

Example images come from the Digital Collections at the University of North Texas (UNT) — https://digital2.library.unt.edu/search — and from the Digital Public Library of America (DPLA) — https://dp.la/

Programas más populares en los makerspaces en bibliotecas

Bronkar, Cherie. The Current State of Library Makerspaces. De: Makerspaces in practice : successful models for implementation / edited by
Ellyssa Kroski. Chicago : ALA Editions, 2021

Ver completo

Comparación de la encuesta de Library Journa y la de Bonkar sobre las actividades más populares en espacios de fabricantes en bibliotecas. Las respuestas a ambas encuestas fueron tan variadas como los espacios: robótica, artes gráficas, estudios de grabación, estaciones de conversión de VHS, deportes electrónicos, etc. Todas ellas dieron lugar a programas que atrajeron a los usuarios.

La costura también apareció en la lista de programas exitosos entre los encuestados y es algo que también se he visto crecer en los espacio de creación. Los encuestados dijeron que los adolescentes que han asistido a programas de costura sienten que han aprendido una habilidad valiosa.

Aparte de la impresión 3D, los programas de éxito variaron considerablemente. Las manualidades se mencionaron en múltiples ocasiones. La fabricación de lápiz de labios y las manualidades inspiradas en fiestas (día del padre, día de los enamorados, Halloween) y en Pinterest son los programas que más éxito han tenido.

Los resultados de la encuesta de LJ sobre las bibliotecas públicas difieren de la encuesta de Bronkar en varios aspectos. Una vez más, estas variaciones se deben probablemente al número de programas infantiles ofrecidos en las bibliotecas públicas, pero los programas de manualidades constituían el mayor porcentaje de la programación ofrecida, mientras que la tecnología y la robótica representaban una parte mucho menor. En la  encuesta de Library Journal se preguntó a los encuestados qué programas se ofrecían y se clasificó esa oferta por porcentajes. Esto da cierta información sobre la popularidad de los programas; sin embargo, en ambas encuestas es probable que haya que tener en cuenta la popularidad de un programa y lo que se ofrece.

¿Cambiarían estas cifras si se ofreciera una programación diferente? Por ejemplo, una biblioteca que ofrece más programas de artesanía probablemente respondería que las artesanías son las más populares, y una biblioteca que ofrece más programas basados en la tecnología informaría lo mismo.

De la encuesta de LJ se desprende que el 72 por ciento de las bibliotecas respondieron que ofrecen programas de manualidades; el 67 por ciento ofrecía punto, ganchillo, etc., mientras que sólo el 40 por ciento de los encuestados ofrecía impresión en 3D. En la parte baja de la tabla no vemos ofertas basadas en la tecnología hasta que llegamos a la producción musical, con un 12 por ciento de bibliotecas que informaron de que ofrecían este tipo de servicio/programa. Estas cifras se mantienen relativamente iguales para adultos, adolescentes y niños en la encuesta de LJ

En cierto modo, podemos observar los resultados de ambas encuestas y ver que gran parte de lo que informamos como popular se basa en la oferta de una biblioteca en particular. La encuesta de Bonkar refleja una programación más basada en la tecnología, ya que los encuestados procedían de instituciones que tenían espacios dedicados a los fabricantes. Mientras que la encuesta de LJ reflejaba programas más tradicionales, y con razón. El cincuenta y siete por ciento de los encuestados no tenía un espacio dedicado a los creadores, se trataba de bibliotecas públicas que ofrecían actividades creativas que podrían ser etiquetadas como maker, sin disponer de un makerspace. Aunque un espacio dedicado a los creadores no es esencial para que los programas de creadores tengan éxito, la falta de ese espacio tendría un gran impacto en la posibilidad de que una biblioteca pueda ofrecer algunos de los programas más populares basados en la tecnología.

¿Qué hace que un programa sea popular?

Para determinar qué es lo que hace que un programa sea popular, tenemos que ver cómo medimos la popularidad de un programa. Al igual que con la mayoría de los programas de la biblioteca, lo medimos por la asistencia.

En el caso de la programación del makerspace, es posible que tengamos que buscar otras formas de evaluar la popularidad de un programa. Añadir el número de asistentes y correlacionar el número de programas ofrecidos daría un poco más de información sobre el éxito de un programa. En el futuro, también sería interesante disponer de datos como las solicitudes de programas y los usuarios que repiten. En última instancia, lo que queremos para los makerspaces no es sólo una única visita al espacio. El verdadero éxito requeriría que añadiéramos una evaluación de los usuarios recurrentes, es decir, las personas que aprenden de un taller o programa y vuelven al espacio una y otra vez para crear algo nuevo.

La encuesta de LJ proporciona una información importante obtenida a partir del seguimiento de la asistencia, y es que la mitad de las bibliotecas públicas encuestadas informaron de que sus programas para adultos habían aumentado, mientras que alrededor del 40% informaron de que los programas para adolescentes habían aumentado y seis de cada diez asistentes informaron de que los programas para niños habían aumentado.

A partir de las respuestas de la encuesta, estaba claro que había elementos que podían extraerse de cada respuesta para crear programas de éxito. Lo común en los programas de éxito fue una combinación de formación práctica, acceso a equipos no disponibles en otros lugares, personal con conocimientos, facilidad de uso y demanda del público.

¿Qué equipos son los más exitosos y por qué?

La impresora 3D sigue reinando. Otra herramienta versátil que está teniendo un gran impacto en los makerspaces es la máquina de corte Cricut. La popularidad de un artículo varía según el usuario y la institución. Los artículos llamativos y caros siguen siendo un atractivo, pero muchos han descubierto que las manualidades sencillas y la costura abren el makerspace a más usuarios. Muchos de los encuestados señalaron que sus artículos más populares eran aquellos que no podían permitirse por sí mismos.

No todo lo que aparece como popular entra en la categoría de caro. A continuación se enumeran algunos de los artículos de menor coste pero que siguen siendo populares.

  • máquinas de escribir
  • máquinas de coser
  • bolígrafos 3D
  • mosaicos de pegatinas
  • Cubos de Rubik
  • Placas calientes (para cocinar, para fundir plástico y para cultivar cristales)
  • kits de pintura
  • manualidades de papel
  • materiales para manualidades

Los resultados de la encuesta de LJ mostraron un giro interesante respecto a la encuesta de Bronkar. Una vez más, estos resultados probablemente se deban a que la mayoría de los encuestados no tienen un espacio dedicado a los creadores. Los temas y tipos de programas más populares de las bibliotecas públicas, según esta encuesta, eran casi exactamente lo contrario de la lista anterior, con la tecnología y los grandes equipos en una posición mucho más baja, y la artesanía, la pintura y la cocina encabezando su lista de programas populares. Esto es así tanto si se trata de programas para adultos, adolescentes o niños.

Financiación, formadores y makerspaces

Cambio en los resultados de las bibliotecas públicas en los próximos años.Obviamente, la financiación y la forma en que asignamos los fondos en las bibliotecas públicas podrían influir en esos cambios si se dispusiera de más fondos para comprar tecnología y si se ofreciera una programación más basada en la tecnología.

La encuesta de LJ ofreció cierta información sobre quiénes imparten los programas. Esto resultó muy útil porque los resultados mostraron una gran mezcla. El 86% de las bibliotecas diseñó la programación en torno a las habilidades actuales del personal de la biblioteca, y seis de cada diez bibliotecas se asociaron con otras organizaciones para traer a personas para presentar los programas.

El éxito de la programación pasa por contar con personal capacitado o con personas externas que puedan facilitar la variedad de programas y conjuntos de habilidades que están presentes en el makerspace.

Las dos encuestas utilizadas conjuntamente nos dan una visión de lo diferente que puede ser la programación del makerspace de la biblioteca. A menudo, empezamos a pensar en el makerspace como una iniciativa costosa e impulsada por la tecnología, pero lo que hemos visto en la encuesta de LJ de las bibliotecas públicas es que las bibliotecas están haciendo lo que mejor saben hacer. Están encontrando formas de llevar las iniciativas maker a sus usuarios de la manera que mejor se adapte a sus presupuestos, sus habilidades y los intereses de sus usuarios

El valor que los gestores de bibliotecas públicas otorgan a la participación y compromiso de sus comunidades creativas (makerspaces)

2018 Community Engagement Report. Library Journal, 2018

Texto completo

Este informe de 15 páginas, basado en los resultados de una encuesta de LJ realizada en el otoño de 2018, destaca el valor que los administradores de las bibliotecas públicas otorgan a la participación de sus comunidades creativas locales a través de la programación, los espacios productivos y el descubrimiento para los usuarios. También se consideran las fuentes de financiación y la medición efectiva de los resultados.

Este estudio se llevó a cabo para saber si las bibliotecas hacen del compromiso de la comunidad con los creadores locales una prioridad y, en caso afirmativo, qué herramientas, incluido el software de compromiso con la comunidad, utilizan. También se pregunta por la comunicación del valor de estos programas y la obtención de fondos sobre el tema.

Casi ocho de cada diez encuestados están muy de acuerdo o de acuerdo en que la visión estratégica a largo plazo de su biblioteca hace hincapié en la colaboración con los creadores locales para poner sus obras a disposición de otros usuarios y proporcionar a los artistas una oportunidad de descubrimiento.

Casi todas las bibliotecas que respondieron (94%) se esfuerzan actualmente por trabajar con los creadores locales en sus comunidades. Las bibliotecas urbanas y suburbanas tienen más probabilidades de haber contactado con a los escritores, artistas y músicos locales, posiblemente porque tienen un mayor número de creadores potenciales a los que recurrir.

Los programas de arte y artesanía son el programa más común para las comunidades creativas, ofrecido por el 95% de las bibliotecas. Pero las clases de escritura, las impresoras 3D, los espacios de creación y las clases de de diseño de páginas web también son ofrecidos por la mayoría de las bibliotecas.

Las fuentes de financiación de los programas y herramientas de participación comunitaria varían mucho, pero los grupos de Amigos de de la biblioteca (65%) y el presupuesto de programación de la biblioteca (61%). Casi la mitad de la muestra recurre a las donaciones y a las subvenciones puntuales.

El 41% de los encuestados afirma que los administradores y las partes interesadas del distrito son “muy favorables” a la financiación de los programas de participación comunitaria. Otro 34% dice que que sus administradores son simplemente “solidarios”. Sólo el 7% de las bibliotecas considera que los administradores “no apoyan” o “no apoyan en absoluto”. Las escasas respuestas a una pregunta de seguimiento en la que se preguntaba por qué los gestores del distrito no apoyan varían desde “no hay dinero para la financiación de las artes” hasta la participación de la comunidad no se considera un “servicio esencial”.

El valor de los programas de participación de la comunidad se comunica a los financiadores en las reuniones de la junta directiva de la biblioteca y de la localidad, en los boletines de la biblioteca y en el periódico local. El personal personal suelen incluir resultados anecdóticos, fotos y “datos” sin describir de qué tipo de datos. Muy pocas bibliotecas mencionan los resultados de las encuestas y los comentarios de los usuarios o las estadísticas de los resultados de los proyectos. Algunos encuestados comentaron que podrían hacer esto mejor.

Aproximadamente una de cada cinco bibliotecas dispone de programas informáticos que permiten a los creadores locales aportar obras a la colección de la biblioteca. De las bibliotecas que no tienen software de participación comunitaria, casi dos tercios creen que su uso sería muy valioso o valioso.

En el caso de las bibliotecas que disponen de software de participación comunitaria, su estado o consorcio de bibliotecas es el que más fondos aporta. Los administradores de las bibliotecas y el personal de tecnología son los más mencionados a la hora de tomar decisiones sobre el software de participación comunitaria.

El compromiso real con los creadores y no creadores es el principal método que utilizan las bibliotecas para para medir el valor de su software de participación comunitaria, seguido de las métricas de uso del software.

Informe de evaluación de la modernización tecnológica de la Library of Congress

“Library of Congress OIG Releases “IT Modernization Evaluation Report” (Final Report). Library of Congress, 2021

Texto completo

Office of the Inspector General (OIG) contrató a un contratista independiente, Obsidian Global, LLC, para evaluar el plan de la Office of the Chief Information Officer  (OCIO) para los esfuerzos de modernización de la tecnología de la información (TI) de la biblioteca. En concreto, Obsidian fue contratada para determinar si los planes de modernización de las TICs de la Biblioteca proporcionan una metodología lógica y medible para garantizar su progreso hacia una infraestructura de TI moderna. Para ello Obsidian comparó los esfuerzos de modernización de TICs de OCIO con las mejores prácticas industriales y federales para la gestión de proyectos, calendarios y costes

Una matriz de evaluación para los makerspaces en las bibliotecas

Cun, A., Abramovich, S., & Smith, J. (2019). An assessment matrix for library makerspaces. Library & Information Science Research, 41(1), 39-47.

Texto completo

La aparición de la cultura maker ha llevado a un aumento de los makerspaces en diversas organizaciones educativas, incluidas las bibliotecas públicas. Estos espacios makers ofrecen a los usuarios de las bibliotecas nuevas oportunidades para aprender y crear a través de la exploración, la creación y el juego. Sin embargo, a medida que crece el número de makerspaces en las bibliotecas, también lo hace la necesidad de evaluar el aprendizaje en esos mismos espacios. Hay una pequeña cantidad de investigaciones realizadas sobre la evaluación del aprendizaje de los makerspaces en las bibliotecas públicas. Los investigadores de este estudio examinan el uso por parte de los usuarios de un makerspace de la biblioteca a través de un marco teórico basado en la investigación moderna sobre la evaluación. Poco después de comenzar el estudio, fue necesario replantear las preguntas y los métodos de investigación originales para comprender mejor cómo se podía aplicar la evaluación de forma eficaz. Los resultados incluyen la determinación del alcance de los participantes en el makerspace de la biblioteca y sus necesidades de evaluación, las evaluaciones potenciales que pueden abordar esas necesidades, y las implicaciones de diseño para las evaluaciones en los makerspaces de la biblioteca.

Libros de acceso abierto en el ámbito de las Humanidades y las Ciencias Sociales: una ventaja altmétrica para el acceso abierto

Taylor, M. Open Access Books in the Humanities and Social Sciences: an Open Access Altmetric Advantage. https://doi.org/10.1007/s11192-020-03735-8

Descargar

En la última década han surgido dos fenómenos significativos en la comunicación de la investigación: el aumento de la publicación de acceso abierto (OA) y la evidencia del intercambio en línea en forma de altmetrics. Se ha estudiado poco el efecto del acceso abierto en el intercambio en línea de artículos de revistas, y aun menos en el caso de los libros. Este trabajo examina las altmetrías de un conjunto de 32.222 libros (de los cuales el 5% son de acceso abiero (OA) y un conjunto de 220.527 capítulos (de los cuales el 7% son de OA) indexados por la base de datos académica Dimensions in the Social Sciences and Humanities. Tanto los libros como los capítulos de AA tienen un uso significativamente mayor en las redes sociales, una mayor cobertura en los medios de comunicación y en los blogs, y pruebas de mayores índices de impacto social en los documentos políticos. Los capítulos en OA tienen mayores índices de cobertura en Wikipedia que sus equivalentes sin OA, y es más probable que se compartan en Mendeley. Incluso dentro de las Humanidades y las Ciencias Sociales, las diferencias disciplinarias en la actividad altmétrica son evidentes. El efecto se confirma en el caso de los capítulos, aunque los problemas de muestreo impiden llegar a una conclusión firme de que el OA facilita la atención adicional a nivel de todo el libro, la aparente ventaja de las altmétricas de OA sugiere que el movimiento hacia el OA está aumentando el intercambio social y un impacto más amplio.

Evaluar cómo apoyan y generan actualmente el impacto de la investigación en una organización

Bayley, J. ; Phipps, D. Institutional Healthcheck Workbook. Toronto, Canada: Research Impact Canada, 2018

Texto completo

Este cuaderno de trabajo ayuda a las organizaciones a evaluar cómo apoyan y generan actualmente el impacto de la investigación. También identifica formas de mejorar la forma en que muestran los cambios que la investigación de la organización puede tener en las sociedades y comunidades. Está dirigido principalmente a quienes lideran el impacto, supervisan la realización de investigaciones o impulsan el cambio organizativo.

El impacto puede abreviarse como los efectos demostrables efectos de la investigación en el mundo real. El impacto es los cambios que podemos ver (demostrar, medir, más allá del mundo académico (en la sociedad, la economía, medio ambiente) que se producen gracias a nuestra investigación (causado por, contribuido a, atribuible a). a). El impacto puede tener un aspecto y un funcionamiento diferentes disciplinas, y puede producirse rápidamente o puede ocurrir rápidamente o llevar mucho tiempo, pero siempre refleja la movilización de la investigación en el mundo no académico. No existe una forma única de lograr el impacto, ni tampoco ni hay una única estructura institucional que sea la mejor para conseguirlo. para conseguirlo. El impacto opera en todos los niveles de una organización y en múltiples puestos de trabajo. Sin embargo, independientemente de su tipo, tamaño o financiación, el impacto requiere que las instituciones que identifiquen formas significativas de conectar la investigación la investigación con el mundo real, y apoyar los conocimientos conocimientos, habilidades, recursos y estructuras necesarias para lograrlo.

a experiencia en materia de impacto es vital, pero el impacto no puede ser responsabilidad de una sola persona. responsabilidad de una sola persona; sólo se puede conseguir mediante el trabajo en equipo, las asociaciones y las acciones conectadas. Para ello es fundamental el desarrollo de la alfabetización en materia de impacto de impacto, es decir, la comprensión de los procesos (cómo) y las habilidades basadas en las personas (quién) necesarias para generar beneficios en el mundo real (qué). El desarrollo de la alfabetización en materia de impacto permite al personal identificar los objetivos de impacto, optimizar las vías de impacto y conectar la investigación con las partes interesadas no académicas académicos.

Este cuaderno está dividido en tres secciones:

Parte 1: ¿Qué aspecto tiene una institución con un impacto saludable?

Parte 2: Diagnóstico de la salud del impacto institucional

Parte 3: Priorizar las recomendaciones

China cambia su modelo de evaluación científica para limitar drásticamente la dependencia de Science Citation Index (SCI)

The Hidden Language Policy of China’s Research Evaluation Reform
November 4, 2020 Issue Six. Written by Race MoChridhe

Texto completo

En febrero, los Ministerios de Educación y de Ciencia y Tecnología de China publicaron dos documentos que reconfiguraron el panorama de la investigación: “Some Suggestions on Standardizing the Use of SCI Paper Indexes” y “Some Measures to Eliminate the Bad Orientation of ‘Papers Only’. que proporcionan los primeros pasos detallados para reducir drásticamente el papel del Science Citation Index (SCI) en la evaluación de la investigación china.

Durante veinte años, el SCI, el índice de citas de las revistas científicas de “alto impacto”, controló las carreras de los investigadores chinos. Es y varios índices derivados se utilizan comúnmente para la evaluación de la investigación, financiación y acreditación universitarias (el Reino Unido, por ejemplo, utiliza datos derivados de SCI para asignar financiación). Al utilizar el SCI como un “estándar de oro”, los administradores chinos trataron de aumentar la productividad, mejorar el prestigio nacional y comparar el cierre de las brechas entre el sector de la investigación de China y el trabajo de vanguardia a nivel internacional.

En gran medida, estos objetivos se han cumplido. China ha ascendido rápidamente en los rankings internacionales, y la productividad de la investigación china supera habitualmente la media mundial (Li & Wang, 2019). Desde 2016, China ha sido el mayor productor mundial de investigación publicada, representando más de un tercio de toda la actividad global (Xie & Freeman, 2018, p. 2). Desde 2017, la investigación china es la segunda más citada (después de la estadounidense). El Nature Index sitúa ahora a Pekín como la primera “ciudad científica” del mundo, y a Shanghái como la quinta (las otras tres son estadounidenses). A pesar de que EE.UU. es el líder mundial desde hace varias décadas, un análisis (Lee & Haupt, 2020) concluyó que la producción de investigación de EE.UU. habría disminuido en los últimos cinco años si no fuera por las colaboraciones con investigadores chinos, mientras que la producción china habría crecido a pesar de ello.

Entonces, ¿por qué cambiar una fórmula exitosa? Los anuncios de los ministerios se han centrado en la eliminación de los incentivos perversos creados por la excesiva dependencia del SCI, que hizo que los investigadores priorizaran la cantidad sobre la calidad, inflaran los recuentos de citas y fueran presa de las revistas depredadoras. En consecuencia, el gobierno chino ha destinado decenas de millones de dólares a iniciativas para mejorar la calidad de las revistas chinas y combatir las prácticas editoriales corruptas. Al mismo tiempo, los comentaristas han señalado el posible ahorro de costes que supondría descentralizar las métricas del SCI.

Sin embargo, hay otro factor que se ha pasado por alto. El 97% de los artículos indexados en el SCI están en inglés (Liu, 2016), la lengua franca de la comunicación científica. Para seguir siendo competitivos en las principales revistas internacionales, casi todos los principales países productores de investigación publican ahora la mayoría de sus artículos en inglés, y la proporción de publicaciones en lengua materna disminuye cada año en prácticamente todos los países (Van Weijen, 2012), excepto en China.

No es por falta de intentos. El gobierno chino ha hecho todo lo posible para canalizar sus productos de investigación en inglés para impulsar su impacto global, pero, aunque ha pasado una década desde que China se convirtió técnicamente en el mayor país de habla inglesa del mundo, la calidad de la enseñanza del inglés como lengua extranjera sigue siendo desigual (Baldi, 2016). Los estudios muestran que incluso los hablantes de inglés L2 más avanzados experimentan tasas de rechazo desproporcionadas en las publicaciones académicas (Pearce, 2002), así como una serie de otras barreras sistémicas, en comparación con sus compañeros nativos de habla inglesa, y la mayoría de los estudiantes de inglés de China nunca alcanzan tales competencias avanzadas para empezar.

Además, el crecimiento de la capacidad de ESL en China simplemente ha sido superado por el crecimiento de la investigación. Como señalaron Xie y Freeman (2018, p. 7), entre 2000 y 2016, “China duplicó con creces su número de profesores y triplicó su número de investigadores, todos los cuales tuvieron que encontrar lugares para publicar.” En la actualidad, China gradúa el doble de estudiantes universitarios al año que Estados Unidos y emplea el mayor número de científicos de laboratorio que cualquier otra nación de la Tierra (Han y Appelbaum, 2018), con el resultado de que China es ahora el único país cuya publicación científica en lengua materna en revistas nacionales está aumentando junto con su crecimiento en publicaciones internacionales en inglés (Xie y Freeman, 2018, p. 5). China simplemente necesita, y está creando, nuevos profesores universitarios y nuevos laboratorios mucho más rápido de lo que puede crear nuevos angloparlantes, y ya no puede permitirse limitar el crecimiento de la primera categoría para cumplir con las métricas que dependen de la segunda.

Leyendo entre líneas, queda claro el cambio en la política lingüística de la nueva política de evaluación, ya que no se limita a eliminar la exigencia de publicar en revistas SCI, sino que añade la exigencia de que al menos un tercio de las publicaciones utilizadas para evaluar a los investigadores se publiquen en revistas nacionales. No todas las revistas nacionales publican en mandarín, pero casi la mitad de las identificadas como prioritarias en el plan de acción del Ministerio sí lo hacen y, dadas las limitaciones de los sistemas de ESL de China, el sector de las revistas en mandarín se expandirá sin duda más rápido que el de las nacionales en inglés, de modo que un aumento sustancial de las publicaciones en mandarín está casi garantizado.

Las autoridades chinas se han mostrado repetidamente dispuestas, si no ansiosas, a reescribir las reglas del juego internacional. Uno piensa en los esfuerzos por desafiar el estatus del dólar como moneda de reserva mundial y observa que el estatus del inglés como lengua franca científica supone una restricción similar para las ambiciones chinas, que frena la nueva capacidad de investigación y perjudica a los investigadores chinos en el ámbito internacional. En palabras de un profesor de ingeniería, al fomentar las publicaciones en mandarín, “este [cambio de política] aislará, en cierta medida, a los investigadores chinos de la comunidad investigadora mundial”, sentimiento del que se hizo eco el director general de la revista china Research, quien sugirió que los investigadores chinos seguirían evitando en gran medida las revistas publicadas en mandarín debido a su “inaccesibilidad… para los académicos internacionales”.

Tal pesimismo supone, sin embargo, que China sólo puede emerger en el mundo y no cambiarlo. Durante la mayor parte de la historia moderna, no hubo una única lengua franca científica. Hasta la Segunda Guerra Mundial, el inglés, el francés y el alemán ocupaban una parte importante de la actividad investigadora mundial, y el conocimiento de dos, si no de las tres, lenguas era una expectativa común de los investigadores profesionales. Después de la guerra, el alemán y el francés retrocedieron, pero el ruso siguió siendo un competidor viable del inglés en muchos campos hasta mediados de siglo. Sólo en la década de 1970 el inglés se convirtió en la lengua de la ciencia. Para aprovechar todo el potencial de China no sería necesario sustituir el inglés como norma hegemónica de la comunicación científica, sino sólo establecer el mandarín junto a él en un ecosistema de investigación bilingüe, reclamando efectivamente para la década de 2020 el papel que el alemán y el francés tenían en la década de 1920.

Si el Partido Comunista Chino puede establecer el país como líder mundial en IA, ciencia de datos, robótica y otros campos del siglo XXI, el mundo no podrá ignorar un tercio (o más) de su producción total de investigación, sin importar en qué idioma se publique, y el Partido lo sabe. Poner las revistas en mandarín en pie de igualdad con las de lengua inglesa en las evaluaciones nacionales puede ser un primer paso modesto, pero abre un camino cuyo destino fue previsto hace años por académicos como Chun-Hua Yan, el antiguo editor jefe asociado del Journal of Rare Earths, con sede en Pekín, que soñaba con que las revistas publicadas en mandarín fueran un día “seguidas por científicos de todo el mundo”.

Publicar en inglés o perecer : debate de la comunidad DORA sobre el multilingüismo en la comunicación académica

When more is more: A DORA Community Discussion on Multilingualism in Scholarly Communication. JANUARY 20, 2021

Ver completo

La globalización de la investigación ha provocado el aumento simultáneo del inglés como lengua reconocida de los estudios y el declive de las lenguas nacionales y locales en la comunicación académica. Sin embargo, la difusión de la investigación en diversas lenguas permite que los resultados de la investigación geográfica y culturalmente relevantes sean accesibles a los actores regionales, creando impacto y fomentando las interacciones entre la ciencia y la sociedad. En los últimos años, los sistemas de evaluación de la investigación, a menudo basados en índices bibliométricos globales, han evolucionado para favorecer los resultados en la lengua franca moderna, el inglés. Tener una lengua franca ha beneficiado al mundo académico: ha permitido la colaboración, el intercambio de conocimientos y el debate internacional entre culturas. Sin embargo, la exigencia de comunicarse en inglés también se considera una forma de marginación, y no se ajusta a todos los propósitos de la erudición (como informar al público y a los responsables de la toma de decisiones en todos los países, no sólo en los anglófonos). En los últimos años, la comunidad investigadora mundial ha empezado a cuestionar la solidez de un sistema que prefiere una lengua sobre otras. Esto ha dado lugar a numerosos llamamientos a la acción, como la Iniciativa de Helsinki, que llama la atención sobre la importancia del multilingüismo y la “bibliodiversidad” en la investigación.

La comunidad investigadora internacional tiene una clara necesidad de resolver los problemas que plantea el sistema actual, que favorece la investigación en inglés. DORA pretende ayudar a la comunidad investigadora internacional a mejorar la evaluación de la investigación en todas las disciplinas académicas. Sin duda, los procesos de evaluación y recompensa influyen en las decisiones de los académicos sobre cómo, dónde y en qué idiomas publican. Los estudios indican que los trabajos publicados en idiomas distintos del inglés tienden a recibir menos citas que las publicaciones en inglés. Si los académicos optan por publicar en inglés en lugar de en otros idiomas porque creen que sus carreras dependen de ello, tanto el mundo académico como la sociedad pueden verse perjudicados. En un mundo ideal, los investigadores se sentirían libres de comunicar sus hallazgos al público al que se dirigen en la lengua que mejor se adapte a este propósito. Un sistema de evaluación de la investigación óptimamente diseñado reconocería la importancia de la diversidad lingüística en la comunicación académica, permitir a los académicos publicar en sus lenguas maternas, recompensar a los académicos por su trabajo en todas las lenguas y liberar a los investigadores de la presión de “publicar en inglés o perecer”.

Para promover el debate sobre estos retos, DORA organizó el 13 de agosto de 2020 un seminario web sobre el “Reconocimiento de los productos académicos multilingües en la evaluación académica”. En este seminario web, un panel de expertos exploró la importancia de las publicaciones en lengua local, los problemas causados por favorecer las publicaciones en inglés y los beneficios de valorar todos los trabajos académicos en los procedimientos de evaluación.

Estudio sobre las mejores prácticas de evaluación de la investigación

Science Europe Study on Research Assessment Practices. Science Europe, 2020

Texto completo

En 2019, Science Europe realizó un estudio emblemático sobre los procesos y prácticas de evaluación de la investigación. El estudio fue elaborado y supervisado por el Science Europe Task Force on Research Assessment y the Science Europe Office, junto con Technopolis Group Vienna.

El objetivo del estudio era investigar formas de determinar que los procesos y prácticas de evaluación de la investigación de las organizaciones miembros de la SE (así como una selección cuidadosa de organizaciones de investigación externas) están seleccionando las mejores propuestas para la financiación y los mejores investigadores en los planes de progresión profesional, y lo están haciendo de manera justa y eficiente.

Las principales conclusiones del extenso estudio se presentan en este informe, que se guía por las siguientes 3 preguntas:

  • ¿Qué enfoques se utilizan para evaluar y seleccionar las propuestas y los investigadores de manera sólida, justa y transparente?
  • ¿Cuáles son los desafíos que enfrentan las organizaciones de investigación durante los procesos de evaluación?
  • ¿Cuáles son los avances actuales en la evaluación de las propuestas de investigación y los investigadores?