Archivo de la etiqueta: Evaluación

Medición de resultados más fácil para bibliotecas universitarias: recursos y herramientas para crear encuestas y analizar datos de resultados

Project Outcome for Academic Libraries 2023

Texto completo

Project Outcome es un conjunto de herramientas gratuitas que ofrece a las bibliotecas acceso a formación, análisis de datos y encuestas estandarizadas que miden los resultados en áreas clave de los servicios bibliotecarios. Project Outcome for Academic Libraries está diseñado para dar a las bibliotecas herramientas simples y recursos de apoyo para ayudar a convertir mejores datos en mejores bibliotecas.

ACRL se complace en anunciar la publicación del informe del año fiscal 2023 para el conjunto de herramientas Project Outcome for Academic Libraries. Los datos de este informe incluyen todas las encuestas y respuestas inmediatas y de seguimiento de las instituciones de los Estados Unidos y abarcan el período comprendido entre el 1 de septiembre de 2022 y el 31 de agosto de 2023.

Project Outcome es un conjunto de herramientas en línea gratuito diseñado para ayudar a las bibliotecas a comprender y compartir el impacto de los programas y servicios bibliotecarios esenciales al proporcionar encuestas simples y un proceso fácil de usar para medir y analizar resultados. Las bibliotecas participantes también reciben los recursos y el apoyo de capacitación necesarios para aplicar sus resultados y abogar con confianza por el futuro de su biblioteca. Las encuestas estandarizadas de Project Outcome permiten a las bibliotecas agregar sus datos de resultados y analizar tendencias por tema de servicio, tipo de programa y a lo largo del tiempo.

Si bien muchas bibliotecas recopilan datos sobre sus programas y servicios, lo que a menudo falta son los datos que indican los beneficios que las bibliotecas brindan a los estudiantes y los objetivos institucionales. Medir los resultados puede proporcionar a las bibliotecas nuevas formas de demostrar su eficacia más allá de los recuentos y las historias de éxito anecdóticas.

Bibliotecas de todo el país utilizan estas herramientas para realizar evaluaciones comparativas, comprender tendencias, abogar por mejores recursos y evaluar. Aprende más sobre la medición de los resultados del aprendizaje para impulsar el cambio, tomar decisiones basadas en datos y demostrar el impacto de los programas y servicios de tu biblioteca.


Áreas de Servicio

Colecciones Digitales y Especiales. Servicios relacionados con las colecciones o recursos de la biblioteca que respaldan la investigación o la instrucción en el aula. Ejemplos incluyen: exhibiciones digitales, repositorios o colecciones archivísticas.

Eventos y Programas Servicios o programas para informar, enriquecer y promover el aprendizaje comunitario. Ejemplos incluyen: exhibiciones, series de conferencias, servicios de participación cívica o actividades de alivio del estrés.

Instrucción Servicios o programas para ayudar a los estudiantes en su trabajo académico y mejorar su aprendizaje. Ejemplos incluyen: sesiones de instrucción en clases, programas de orientación bibliotecaria o talleres sobre temas específicos.

Tecnología de la Biblioteca Servicios relacionados con el acceso y las habilidades que ayudan a los usuarios de la biblioteca a incorporar la tecnología en su trabajo. Ejemplos incluyen: programas de préstamo de tecnología, espacios de creación (maker spaces) o talleres relacionados con la tecnología.

Investigación Servicios para mejorar las habilidades de investigación y ayudar a los investigadores a tener éxito. Ejemplos incluyen: servicios de referencia, servicios de consulta de investigación o talleres para estudiantes de posgrado o profesores.

Espacio Espacios específicos destinados a mejorar el rendimiento académico y apoyar el aprendizaje estudiantil. Ejemplos incluyen: salas de estudio en grupo, espacios de estudio individual o centros de redacción o tutoría.

Apoyo a la Enseñanza Servicios para ayudar a los profesores e instructores a desarrollar planes de estudio y/o materiales de curso que apoyen mejor el aprendizaje estudiantil. Ejemplos incluyen: servicios de REA (Recursos Educativos Abiertos), módulos de aprendizaje en línea o talleres de enseñanza para profesores.

Project Outcome proporciona estas herramientas para que las bibliotecas midan los resultados de sus usuarios:

  • Encuestas Inmediatas: son encuestas de seis preguntas diseñadas para distribuirse inmediatamente después de un programa o servicio, con el objetivo de comprender mejor el impacto inmediato de un programa o servicio en los usuarios.
  • Encuestas de Seguimiento: se utilizan 4-8 semanas después de que se completa un programa o servicio, y ayudan a las bibliotecas a comprender si los usuarios han cambiado su comportamiento o continuado beneficiándose del programa o servicio.
  • Directrices de Medición de Resultados: diseñadas para ayudar a las bibliotecas a realizar métodos avanzados de medición de resultados y demostrar un impacto colaborativo a largo plazo en la comunidad.

El kit de herramientas incluye:

  • Una herramienta de gestión de encuestas donde las bibliotecas pueden crear y personalizar sus encuestas, ingresar y rastrear respuestas, y descargar sus datos sin procesar.
  • Informes predefinidos y personalizables que facilitan a las bibliotecas compartir sus resultados y abogar por sus programas y servicios.
  • Paneles de datos interactivos que ayudan a las bibliotecas a analizar sus resultados.
  • Una variedad de recursos de capacitación, incluidas directrices de medición de resultados, mejores prácticas, estudios de caso y más.

Realidades del compartir datos académicos (RADS): metodología de investigación 2022–2023 encuestas y entrevistas

Association of Research Libraries. «Realities of Academic Data Sharing (RADS) Initiative: Research Methodology 2022–2023 Surveys and Interviews». Accedido 8 de febrero de 2024. https://www.arl.org/resources/realities-of-academic-data-sharing-rads-initiative-research-methodology-2022-2023-surveys-and-interviews/.

El acceso público a los datos de investigación es fundamental para avanzar en la ciencia y resolver problemas del mundo real. En los últimos años, varias agencias de financiamiento han requerido la gestión y el amplio intercambio de datos de investigación y otros resultados relacionados para acelerar los impactos de sus inversiones. En respuesta, muchas instituciones académicas han desarrollado e implementado infraestructuras para apoyar a los profesores en estos requisitos. Estos servicios a menudo están dispersos en toda la institución y se encuentran en varias unidades administrativas, como la tecnología de la información del campus, las bibliotecas universitarias y la oficina de investigación, entre otras. Dada esta naturaleza distribuida, la coordinación de los servicios suele ser informal y el verdadero costo institucional del acceso público a los datos de investigación no se comprende bien.

Este informe describe la metodología de la investigación llevada a cabo durante la primera etapa de la Iniciativa Realities of Academic Data Sharing (RADS) iniciativa financiada por la Fundación Nacional de Ciencias (NSF) de los Estados Unidos, desde 2021 hasta 2023. Se debe considerar como un complemento a los informes finales adicionales de investigación (documentos técnicos) producidos como resultado de esta investigación. Como parte de la Iniciativa RADS, se encuestaron administradores institucionales e investigadores financiados en 2022 y se entrevistaron en 2023 sobre detalles relacionados con los servicios de apoyo y prácticas de compartir datos de investigación, así como sus gastos correspondientes. Si bien la Asociación de Bibliotecas de Investigación (ARL) es la sede administrativa de la Iniciativa RADS, la investigación se llevó a cabo con participantes de las siguientes instituciones: Universidad Cornell, Universidad Duke, Universidad de Michigan, Universidad de Minnesota, Virginia Tech y Universidad de Washington en St. Louis.

Este proyecto aborda las siguientes preguntas de investigación:

¿Dónde están haciendo públicamente accesibles sus datos los investigadores financiados en estas instituciones y cuál es la calidad de los metadatos? ¿Cómo toman los investigadores decisiones sobre por qué y cómo compartir datos de investigación? ¿Cuál es el costo para la institución de implementar la política federal de acceso público a los datos de investigación? Para comprender mejor la perspectiva institucional sobre el acceso público a los datos de investigación, la Iniciativa Realidades del Compartir Datos Académicos (RADS) llevará a cabo investigaciones con equipos institucionales afiliados a DCN para cumplir los siguientes objetivos:

Evaluar el uso de repositorios de acceso público a datos de investigación para descubrir dónde los investigadores comparten más frecuentemente datos de investigación. Realizar un estudio retrospectivo de las prácticas de acceso público a datos de investigación específicas de la disciplina y del formato de los profesores en los campus académicos para desarrollar modelos funcionales basados en servicios e infraestructura para comprender cómo se está llevando a cabo el acceso público a datos de investigación en nuestros campus académicos utilizando recursos institucionales. Recopilar información financiera sobre gastos relacionados con el acceso público a datos de investigación para probar y evaluar los modelos financieros existentes para el acceso público a datos de investigación. Involucrar a la comunidad académica en general en modelos y mejores prácticas.

Estrategias de visibilidad de bibliotecas en redes sociales: cómo comunicar el valor de la biblioteca con éxito.

Alonso-Arévalo, Julio ; Quinde-Cordero, Marlene. Estrategias de visibilidad de bibliotecas en redes sociales: Cómo comunicar el valor de la biblioteca con éxito. Mi biblioteca, n. 74 (2023)

Texto completo

Hoy en día, los medios sociales han adquirido un gran poder informativo para instituciones de todo tipo, sin importar su naturaleza. Estas plataformas ofrecen a las instituciones una oportunidad única para difundir información, establecer conexiones con audiencias más amplias y fomentar la participación y el diálogo con la comunidad. Las redes sociales permiten a las instituciones llegar a públicos específicos, promover sus mensajes y recibir comentarios directos de los usuarios. Todo esto ha provocado un cambio en la forma en que se lleva a cabo el proceso de comunicación, dado el constante crecimiento e influencia del entorno digital, que ha generado nuevas formas de interacción. Se ofrecen pautas y consejos sobre como mejorar la presencia de tu biblioteca en los medios sociales, tales como:

  1. Define tus objetivos: Antes de sumergirte en los medios sociales, establece metas claras. ¿Quieres aumentar la conciencia sobre los servicios de tu biblioteca, promocionar eventos o interactuar con la comunidad? Definir tus objetivos te ayudará a desarrollar una estrategia efectiva.
  2. Conoce a tu audiencia: Investiga y comprende a tu público objetivo. ¿Quiénes son tus usuarios? ¿Qué tipo de contenido les interesa? Al conocer a tu audiencia, podrás crear publicaciones relevantes y atractivas que generen interacción.
  3. Elige las plataformas adecuadas: No es necesario estar presente en todas las redes sociales. Identifica las plataformas que son populares entre tu audiencia y enfócate en ellas. Facebook, Twitter e Instagram son opciones comunes para las bibliotecas, pero también considera otras como LinkedIn o YouTube, según tus necesidades.
  4. Crea contenido de calidad: Genera contenido valioso y relevante para tu audiencia. Comparte información sobre eventos, recomendaciones de libros, recursos educativos y noticias relacionadas con la biblioteca. Utiliza una combinación de texto, imágenes y videos para hacer tus publicaciones más atractivas.
  5. Mantén una frecuencia constante: Establece un calendario de publicaciones y mantén una presencia activa en las redes sociales. Publica regularmente para mantener a tu audiencia comprometida y actualizada sobre las novedades de la biblioteca.
  6. Fomenta la interacción: Anima a tu audiencia a participar y compartir sus opiniones. Realiza preguntas, encuestas o concursos que involucren a los usuarios. Responde a los comentarios y mensajes de manera oportuna para demostrar que valoras su participación.
  7. Utiliza metadatos relevantes: Utilizar metadatos relacionados con temas bibliotecarios o locales te ayudará a aumentar la visibilidad de tus publicaciones y a llegar a una audiencia más amplia.
  8. Colabora con otras instituciones: Establece alianzas con otras bibliotecas, organizaciones culturales o educativas de tu comunidad. Puedes compartir contenido cruzado, realizar eventos conjuntos o mencionar sus actividades en tus publicaciones.
  9. Mide y evalúa los resultados: Utiliza herramientas de análisis para medir el rendimiento de tus publicaciones. Observa qué tipo de contenido funciona mejor y qué genera más interacción. Ajusta tu estrategia en función de los resultados obtenidos.
  10. Mantén una imagen coherente: Asegúrate de que tu presencia en los medios sociales refleje la identidad y los valores de tu biblioteca. Utiliza colores, logotipos y tono de voz consistentes en todas las plataformas.

Un estudio revela que los LLM de los Sistemas de Inteligencia Artificial son parciales y no se ajustan a las preferencias humanas a la hora de evaluar textos

Koo, Ryan, Minhwa Lee, Vipul Raheja, Jong Inn Park, Zae Myung Kim, y Dongyeop Kang. 2023. «Benchmarking Cognitive Biases in Large Language Models as Evaluators». arXiv. https://doi.org/10.48550/arXiv.2309.17012.

En respuesta a la creciente preocupación sobre los posibles sesgos en los LLMs y su impacto en aplicaciones del mundo real, se llevó a cabo un estudio. El estudio se centró en analizar 15 LLMs diferentes utilizando el «Cognitive Bias Benchmark for LLMs as EvaluatoRs» (CoBBLEr). La motivación principal detrás de esta investigación fue identificar y mitigar sesgos que podrían llevar a preferencias injustas y disparidades en las evaluaciones de texto.

El estudio revela que los grandes modelos de lenguaje exhiben sesgos cognitivos y no se alinean con las preferencias humanas en la evaluación de textos. Entender estos sesgos es crucial, ya que los LLMs se utilizan cada vez más en aplicaciones del mundo real, desde recomendaciones de contenido hasta la evaluación de solicitudes de empleo. Cuando estos modelos son sesgados, pueden tomar decisiones o hacer predicciones que son injustas o inexactas.

Imaginemos un sistema de inteligencia artificial utilizado para evaluar solicitudes de empleo. El sistema utiliza un gran modelo de lenguaje para evaluar la calidad de la carta de presentación. Pero si ese modelo tiene un sesgo inherente, como favorecer textos más largos o ciertas palabras clave, podría favorecer injustamente a algunos solicitantes sobre otros, incluso si no son necesariamente más calificados.

Sesgos Cognitivos en LLMs: Investigadores de la Universidad de Minnesota y Grammarly realizaron un estudio para medir los sesgos cognitivos en los grandes modelos de lenguaje cuando se utilizan para evaluar automáticamente la calidad del texto.

El equipo de investigación seleccionó 15 LLMs de cuatro rangos de tamaño diferentes y analizó sus respuestas. Se les pidió a los modelos que evaluaran las respuestas de otros LLMs, por ejemplo, «System Star es mejor que System Square».

Para este propósito, los investigadores introdujeron el «COgnitive Bias Benchmark for LLMs as EvaluatoRs» (COBBLER), un referente para medir seis sesgos cognitivos diferentes en las evaluaciones de LLMs.

Resultados y Conclusiones: El estudio muestra que los LLMs presentan sesgos al juzgar la calidad del texto. Se identificaron sesgos clave, como la egocentricidad y la preferencia de orden, ambos con el potencial de influir en la evaluación del contenido de texto. Las implicaciones de estos sesgos son particularmente críticas en aplicaciones como la recomendación de contenido y la selección de solicitudes de empleo, donde los LLMs desempeñan un papel crucial en la toma de decisiones. Los investigadores también examinaron la correlación entre las preferencias humanas y las preferencias de la máquina, encontrando que estas no se alinean estrechamente (superposición de sesgos de rango: 49.6%).

Según el equipo de investigación, los resultados sugieren que los LLMs no deberían utilizarse para la anotación automática basada en preferencias humanas. Incluso los modelos ajustados a instrucciones o entrenados con retroalimentación humana mostraron diversos sesgos cognitivos al utilizarse como anotadores automáticos.

La baja correlación entre las calificaciones humanas y las calificaciones de la máquina sugiere que las preferencias de la máquina y las humanas generalmente no están muy cercanas. Esto plantea la pregunta de si los LLMs son capaces de proporcionar calificaciones justas en absoluto.

Con capacidades de evaluación que incluyen varios sesgos cognitivos y un bajo porcentaje de acuerdo con las preferencias humanas, los hallazgos sugieren que los LLMs aún no son adecuados como evaluadores automáticos justos y confiables.

Soluciones Propuestas:

  1. Algoritmos de Mitigación de Sesgos: Desarrollar e implementar algoritmos que puedan identificar y mitigar sesgos en los LLMs, asegurando evaluaciones justas y objetivas.
  2. Actualizaciones Regulares de Evaluación: Establecer un sistema de evaluación continua y actualizaciones para los LLMs, con el fin de abordar sesgos emergentes y mejorar su alineación con las preferencias humanas.
  3. Transparencia y Explicabilidad: Mejorar la transparencia y explicabilidad de los LLMs para proporcionar información sobre sus procesos de toma de decisiones, permitiendo una mejor comprensión y rendición de cuentas.
  4. Datos de Entrenamiento Diversificados: Asegurar que los LLMs se entrenen con conjuntos de datos diversos que representen con precisión la variedad de perspectivas y voces en la sociedad, reduciendo el riesgo de resultados sesgados.

Conclusión: Los hallazgos del estudio subrayan la necesidad de medidas proactivas para abordar los sesgos cognitivos en los LLMs. Al implementar las soluciones propuestas, podemos mejorar la confiabilidad y equidad de los LLMs, haciéndolos más adecuados para aplicaciones del mundo real donde el juicio imparcial es crucial. Esta investigación sirve como base para los esfuerzos continuos destinados a mejorar el uso ético y responsable de la inteligencia artificial en los procesos de toma de decisiones

Los artículos con múltiples autores tienen una ventaja significativa en términos de citas

Tian, Wencan, Ruonan Cai, Zhichao Fang, Yu Geng, Xianwen Wang, y Zhigang Hu. 2024. «Understanding Co-Corresponding Authorship: A Bibliometric Analysis and Detailed Overview». Journal of the Association for Information Science and Technology 75 (1): 3-23. https://doi.org/10.1002/asi.24836.

El artículo se centra en el fenómeno cada vez más común de la coautoría conjunta. La investigación utiliza un conjunto de datos que abarca casi 8 millones de artículos indexados en la Web of Science, proporcionando una evidencia sistemática, interdisciplinaria y a gran escala para entender este fenómeno. Los hallazgos revelan proporciones más altas de coautoría conjunta en países asiáticos, especialmente en China. Desde la perspectiva de las disciplinas, se observa una proporción relativamente más alta en los campos de ingeniería y medicina, en contraste con una menor proporción en humanidades, ciencias sociales e informática. A nivel de revistas, se destaca que las publicaciones de alta calidad tienden a tener proporciones más elevadas de coautoría conjunta. Además, el artículo demuestra que los artículos con múltiples autores correspondientes tienen una ventaja significativa en términos de citas, en comparación con aquellos con un solo autor correspondiente.

En resumen, este estudio analiza el creciente uso de la coautoría conjunta como medio para compartir el reconocimiento de la autoría, ofreciendo un análisis exhaustivo basado en un conjunto de datos de 8 millones de artículos académicos. Los hallazgos destacan un aumento constante en la proporción de coautoría conjunta, alcanzando el 13.92% en 2020 desde el 9.84% en 2016. China, Corea del Sur y Singapur surgen como los tres países con las proporciones más altas. Los campos de ingeniería y medicina muestran una mayor prevalencia de coautoría conjunta.

A nivel de revista, existen variaciones entre editores y países anfitriones, siendo las revistas de alta calidad más propensas a aceptar artículos con coautoría conjunta. El estudio establece una ventaja en citaciones para la coautoría conjunta. La adopción generalizada de esta práctica destaca la necesidad de pautas dentro de la comunidad académica para gobernar las circunstancias y métodos apropiados para compartir el crédito entre los autores. Algunas revistas han implementado medidas, como detallar contribuciones específicas o limitar los autores correspondientes por publicación.

El estudio sugiere la importancia de explorar métodos innovadores para evaluar y recompensar el rendimiento académico en respuesta a esta tendencia. Las recomendaciones incluyen la revisión de criterios nacionales de evaluación del rendimiento en investigación, el establecimiento de una «Base de Datos de Autoría» para monitorear firmantes frecuentes de coautoría conjunta y promover la transparencia a nivel de revista mediante la definición de políticas sobre la identidad de los autores correspondientes conjuntos.

No obstante, el estudio reconoce limitaciones, como el enfoque exclusivo en el tipo de literatura «artículo» y posibles sesgos en los resultados debido al alcance de cobertura de la Web of Science. Futuras investigaciones podrían extenderse a otros tipos de literatura y bases de datos para un análisis más completo. Además, explorar desde la perspectiva de científicos individuales podría revelar patrones de colaboración variables entre autores correspondientes conjuntos y la relación entre las cualificaciones de los científicos y su disposición a actuar como autores correspondientes conjuntos.

Toolkit para medir y demostrar el valor y el impacto de las bibliotecas en la comunidad

ONTARIO, O.L.S.| S. des bibliothèques, [2023]. Resources Home: Valuing Ontario Libraries Toolkit (VOLT): News and Updates. [en línea]. [consulta: 1 diciembre 2023].

https://resources.olservice.ca/volt

El Toolkit para Valorar Bibliotecas de Ontario (VOLT) está diseñado para ayudar a las bibliotecas públicas de Ontario a medir y demostrar su valor e impacto en la comunidad. El propósito es, en última instancia, ayudarte a compartir estas contribuciones con los consejos, tomadores de decisiones y partes interesadas de tu comunidad; reflejando las realidades únicas de las áreas que sirves. Al hacerlo, puedes utilizarlo para abogar por una inversión más grande (o sostenida) o un compromiso con el trabajo de la biblioteca pública en tu comunidad.

El toolkit es una guía paso a paso para tomar información que ya recopilas regularmente y organizarla en un Informe de Valor de la Biblioteca (compuesto por cálculos del Retorno Social de la Inversión (SROI), que se puede utilizar para compartir el impacto de la biblioteca pública con un público más amplio.

El marco de este toolkit se basa en trabajos anteriores que crearon un toolkit para las bibliotecas del norte de Ontario para demostrar su Retorno Social de la Inversión (SROI). Basándose en el éxito de ese toolkit y la demanda de una herramienta aplicable a nivel provincial.

Basado en una revisión de desarrollos recientes de investigación y aportes de partes interesadas, el marco presentado aquí representa a las bibliotecas públicas como infraestructura cultural y social que crea beneficios individuales, organizativos y comunitarios en siete dominios clave: Educación, Cultura, Inclusión y Bienestar, Entretenimiento y Ocio, Desarrollo Económico, Compromiso Cívico y Espacio. Cada uno de estos dominios tiene un papel único en la hoja de cálculo de valor SROI.

Entendiendo el Retorno Social de la Inversión (SROI) En su forma más básica, los cálculos del Retorno Social de la Inversión (SROI) toman algo que se ofrece de forma gratuita y le asignan un valor monetario. SROI es un enfoque para representar el valor de una organización o iniciativa que proporciona estimaciones monetarias (es decir, valores en dólares) a los beneficios creados por bienes, programas o servicios que típicamente no tienen un valor monetario.

SROI y las Bibliotecas Públicas de Ontario SROI aborda uno de los desafíos clave que enfrentan las bibliotecas públicas al comunicar la contribución que hacen a sus comunidades: ¿Cómo demostramos el valor de un servicio que se ofrece a poco o ningún costo? Donde el éxito de un negocio se mide típicamente por cuánto ingreso o ganancia genera, el impacto de las bibliotecas públicas, al igual que otros servicios e instituciones sin fines de lucro, no siempre es tan fácil de medir. En palabras de un bibliotecario que participó en el desarrollo de este toolkit, «Las bibliotecas públicas existen para ahorrar dinero a las personas, no para hacerles dinero».

España quiere cambiar su forma de evaluar a los científicos y acabar con la «dictadura de los artículos».

«Spain Wants to Change How It Evaluates Scientists—and End the ‘Dictatorship of Papers’». Accedido 30 de noviembre de 2023. https://www.science.org/content/article/spain-wants-change-how-it-evaluates-scientists-and-end-dictatorship-papers.

El muy criticado sistema español de evaluación de científicos, en el cual el único criterio para el avance profesional es la publicación de artículos, está listo para ser reformado según las nuevas propuestas de la Agencia Nacional de Evaluación y Acreditación (ANECA) del país.

Las reformas, anunciadas a principios de este mes, verían por primera vez a los investigadores de las universidades públicas de España evaluados por una variedad de resultados además de los artículos, y también se fomentaría la distribución de hallazgos a través de plataformas de acceso abierto. Muchos científicos están dando la bienvenida a este cambio, diciendo que ayudará a la academia a dejar atrás un sistema que ha sido descrito como el establecimiento de una «dictadura de artículos».

Actualmente, ANECA evalúa el «rendimiento investigador» de los académicos cada 6 años. Para obtener un modesto aumento salarial y ser elegibles para ascensos, los investigadores deben demostrar que han publicado un mínimo de cinco artículos durante ese período en revistas de alto impacto indexadas en el Journal Citation Reports (JCR), una base de datos producida por la empresa de análisis editorial Clarivate. Cumplir con este objetivo también permite a los científicos supervisar a estudiantes de doctorado y ser enumerados como investigadores principales en sus universidades, lo que les brinda acceso a un presupuesto más amplio.

El gobierno español introdujo este sistema en 1994 en un esfuerzo por aumentar la productividad de los investigadores del país. Y tuvo éxito: para 2021, España ocupaba el puesto 11 a nivel mundial en producción científica, con más de 100.000 publicaciones anuales, según el Ministerio de Ciencia e Innovación.

Pero muchos académicos dicen que el sistema ha tenido un impacto negativo en la calidad de su trabajo y en la ciencia en general. Desencadenó «una máquina insaciable de publicación de artículos», según Ángel Delgado Vázquez, jefe del Servicio de Apoyo al Aprendizaje e Investigación en la Universidad Pablo de Olavide. Los investigadores pueden trabajar frenéticamente para cumplir con el objetivo, publicando un artículo cada 2 días. Otros han tomado atajos, publicando artículos de baja calidad o buscando fraudulentamente la coautoría; algunos han admitido recibir pagos de investigadores en Arabia Saudita o India para coautorar artículos en los que no contribuyeron. Los críticos dicen que el sistema también ha alentado a los investigadores a priorizar la publicación sobre la enseñanza y a utilizar fondos públicos para pagar tarifas de procesamiento de artículos cada vez más altas impuestas por algunas revistas.

Bajo el nuevo sistema, ANECA quiere que las evaluaciones consideren una gama más amplia de resultados de investigación, incluyendo «publicaciones, patentes, informes, estudios, trabajos técnicos, obras artísticas, exposiciones, excavaciones arqueológicas, [y la] creación de registros bibliográficos». Los evaluadores ya no solo tendrán en cuenta el factor de impacto de las revistas en las que publican los científicos, sino también detalles como si la investigación llega a audiencias no académicas a través de informes de noticias o documentos gubernamentales. Los artículos también obtendrán una puntuación más alta cuando se produzcan en colaboración con comunidades locales u otros autores no académicos. Y en un intento de reducir el nivel de fondos públicos gastados en costos de publicación, los evaluadores tendrán en cuenta los artículos publicados en plataformas de publicación de acceso abierto no comerciales que no cobran tarifas a los autores, como Open Research Europe.

Los cambios son un intento de corregir un sistema que ha priorizado «cantidad sobre calidad» y de «reconocer que hay diferentes formas de hacer ciencia», según Pilar Paneque, directora de ANECA. También espera que el nuevo sistema ayude a reducir el fraude en la publicación. (Delgado Vázquez, por su parte, cree que «sin duda contribuirá a erradicar prácticas poco éticas»).

Las propuestas son una «apuesta audaz», según Núria Benítez Monforte, administradora de investigación en el Instituto Catalán de Nanociencia y Nanotecnología. Pero otros dicen que se necesita una reforma aún más radical. Por ejemplo, la científica de la información Eva Méndez, miembro de la Junta Directiva de la Coalición para el Avance de la Evaluación de la Investigación, sostiene que los ciclos de evaluación de 6 años deberían abolirse por completo, porque «solo sirven para enriquecer a las principales editoriales científicas, aumentando la frustración de los investigadores más jóvenes».

ANECA está revisando actualmente unos 600 comentarios que ha recibido sobre sus propuestas de cambios, con el objetivo de finalizar el nuevo sistema de evaluación a finales de este mes. Si todo sale según lo planeado, entraría en vigencia el 1 de enero de 2024.

La colaboración entre el personal de la biblioteca y el profesorado influye positivamente en la adquisición de competencias y en el éxito académico de los estudiantes

Domínguez Aroca, M. I., Toro Flores, R., & Gómez González, J. L. . (2023). Evaluación de las competencias informacionales al inicio y al final del grado en titulaciones de ciencias y ciencias de la salud de la Universidad de Alcalá y el papel de la biblioteca universitaria. Anales de Documentación, 26.

Texto completo

En el contexto anglosajón son muchos los estudios que demuestran y reflejan el valor y la contribución de la biblioteca universitaria a la enseñanza y el éxito del estudiante.  Por ejemplo: El informe «Student Needs Are Academic Needs: Community College Libraries and Academic Support for Student Success» de Ithaka S+R. destaca como los estudiantes universitarios valoran la biblioteca como la entidad académica que mejor contribuye al éxito en sus carreras. También el informe “Documented Library Contributions to Student Learning and Success: Building Evidence with Team-Based Assessment in Action Campus Projects” de ACRL que  muestra con evidencias convincentes las contribuciones de las bibliotecas al aprendizaje y el éxito del estudiante. Academic Library Impact: Improving Practice and Essential Areas to Research también de ACRL, identifica las áreas prioritarias y sugiere acciones específicas para que los bibliotecarios universitarios y gestores académicos puedan desarrollar programas, colecciones y espacios enfocados a la mejora del aprendizaje y al éxito del estudiante. Incluye las mejores prácticas, expone estudios ejemplares e indica dónde se necesita más investigación, proponiendo modelos de investigación en este área. El informe es un referente significativo para que profesionales y bibliotecas puedan medir y poner de relieve el valor que tienen las bibliotecas universitarias para su comunidad y su institución. “Beyond Books: The Extended Academic Benefits of Library Use for First-Year College Students» Correlación entre el uso de las bibliotecas universitarias y los buenos resultados académicos del estudiante en la Universidad de Minesota. . “Survey of Information Literacy Instructional Practices in U.S. Academic Libraries” determina en sus conclusiones que la alfabetización informacional es una práctica profesional fundamental en las bibliotecas universitarias, siendo los bibliotecarios los principales proveedores de instrucción en información.   Como se entiende que la alfabetización informativa proporciona una base crítica para el éxito en la vida cotidiana, en el lugar de trabajo y en el compromiso cívico, es importante promover mejores prácticas para la instrucción de la información.

El estudio aquí expuesto es uno de los primeros en nuestro país que evalúa el impacto de la formación proporcionada por el personal de la Biblioteca de la Universidad de Alcalá (UAH) en la adquisición de competencias informacionales por parte de los estudiantes universitarios. Aquí hay una breve análisis y desglose:

  1. Objetivo del estudio: El objetivo principal es identificar cómo la formación proporcionada por la biblioteca afecta la adquisición de competencias informacionales por parte de los estudiantes universitarios.
  2. Metodología: Se utilizó un enfoque analítico pre-post, lo que implica medir las competencias informacionales antes y después de la intervención. La intervención se llevó a cabo con estudiantes de primer grado y al final de sus estudios en un período de 6 años (2015-2021). Se enfocó en ocho titulaciones relacionadas con Ciencias y Ciencias de la Salud en la UAH.
  3. Instrumento de medición: Se utilizó un cuestionario anónimo basado en un instrumento de encuesta previamente validado y adaptado. Este cuestionario se administró a los estudiantes para evaluar sus competencias informacionales.
  4. Resultados: La conclusión indica que los estudiantes mejoraron en competencias informacionales al finalizar sus estudios. Sin embargo, se menciona una variabilidad en estos resultados, posiblemente relacionada con el tiempo y la profundidad dedicada a estas competencias.
  5. Importancia: La gestión efectiva de la información en el ámbito científico es crucial para diversas profesiones, y la mejora de las competencias informacionales en los estudiantes universitarios puede contribuir significativamente a este aspecto.

El estudio pone de relieve que la colaboración entre el personal de la biblioteca y el profesorado influye positivamente en la adquisición de competencias en búsqueda de información y elaboración de referencias por parte de los estudiantes universitarios. Aunque la formación proporcionada por las bibliotecarias mejora estas competencias, se considera insuficiente para lograr una mejora amplia y homogénea entre las diferentes titulaciones. La evolución en la formación de los estudiantes a lo largo de diversas asignaturas y experiencias de aprendizaje también influye en este proceso. Se destaca la importancia de la alfabetización informacional para el éxito en la vida diaria, el trabajo y el compromiso cívico. Se identifican áreas de mejora, como distinguir la tipología documental de las fuentes, aumentar el conocimiento de los recursos de información disponibles, reconocer la importancia de citar correctamente y aprovechar la ayuda proporcionada por el personal de la biblioteca. Se sugiere la necesidad de realizar más estudios de este tipo en cursos sucesivos, incluyendo más centros universitarios, y medir de manera más diferenciada la acción bibliotecaria. Se enfatiza que lo aprendido en la universidad será beneficioso para el futuro profesional y la vida en general, no solo en el ámbito de la investigación.

Este tipo de estudios proporciona información valiosa sobre la eficacia de los programas de formación en competencias informacionales y puede ayudar a adaptar y mejorar estos programas para satisfacer las necesidades cambiantes de los estudiantes.

Métricas de la producción académica : evaluación de la investigación desde América Latina y el Caribe

Métricas de la producción académica : evaluación de la investigación desde América Latina y el Caribe / Lorena Ruiz Serna … [et al.] ; compilación de Gabriel Vélez Cuartas … – 1a ed . – Ciudad Autónoma de Buenos Aires: CLACSO; Medellín : Latmétricas, 2022.

Texto completo

Este libro propone una alternativa concreta, así como acciones conjuntas para la evaluación científica a nivel regional. Los criterios impuestos por parte del paradigma internacional de calidad, con fuerte influencia de empresas comerciales que producen las bases de datos bibliográficas y de las oficinas de fomento a la investigación que actúan como organismos evaluadores, tienen consecuencias perversas para las revistas de nuestra región, muchas de las cuales tienen un rol importante en la comunicación científica regional, ya que abordan temáticas de interés local, llenan brechas y tienden puentes de conocimiento, al tiempo que contribuyen a la capacitación de investigadores en principio de carrera.

Política, gestión y evaluación de la investigación y la vinculación en América Latina y el Caribe

Política, gestión y evaluación de la investigación y la vinculación en América Latina y el Caribe / Diego Aguiar… [et al.] ; editado por Liliana Córdoba ; Laura Rovelli ; Pablo A. Vommaro ; prólogo de Liliana Córdoba ; Laura Rovelli ; Pablo A. Vommaro. – 1a ed. – Ciudad Autónoma de Buenos Aires : CLACSO, 2021

Texto completo

Construir conocimientos con perspectiva crítica es un sentido fundante que orienta a la Facultad de Ciencias Sociales de la Universidad Nacional de Córdoba y al Consejo Latinoamericano de Ciencias Sociales. Actualizar lo que entendemos por perspectivas críticas es una tarea permanente del pensamiento emancipatorio y este libro pretende ser un aporte más en ese esfuerzo colectivo.

Por ello, nos proponemos desnaturalizar, cuestionar y deconstruir el conocimiento perezoso, el autorreferenciado, el “superior”, el inalcanzable, el incomprensible para otros, el dogmático en tanto legitima solo lo igual a sí mismo, el que impone un espacio y un tiempo, el que prioriza las causas e ignora las consecuencias, el que no se deja conmover, el que promueve la neutralidad.

Aspiramos a construir un conocimiento científico público, abierto, que circule, se mueva, que dialogue con otr0s, que sea comprendido por otros y que comprenda a otr0s, que reconozca y se interese por espacios y tiempos diversos, el situado, el que considere siempre las consecuencias, el que se conmueve.