Archivo de la etiqueta: Calidad

Medición de resultados más fácil para bibliotecas universitarias: recursos y herramientas para crear encuestas y analizar datos de resultados

Project Outcome for Academic Libraries 2023

Texto completo

Project Outcome es un conjunto de herramientas gratuitas que ofrece a las bibliotecas acceso a formación, análisis de datos y encuestas estandarizadas que miden los resultados en áreas clave de los servicios bibliotecarios. Project Outcome for Academic Libraries está diseñado para dar a las bibliotecas herramientas simples y recursos de apoyo para ayudar a convertir mejores datos en mejores bibliotecas.

ACRL se complace en anunciar la publicación del informe del año fiscal 2023 para el conjunto de herramientas Project Outcome for Academic Libraries. Los datos de este informe incluyen todas las encuestas y respuestas inmediatas y de seguimiento de las instituciones de los Estados Unidos y abarcan el período comprendido entre el 1 de septiembre de 2022 y el 31 de agosto de 2023.

Project Outcome es un conjunto de herramientas en línea gratuito diseñado para ayudar a las bibliotecas a comprender y compartir el impacto de los programas y servicios bibliotecarios esenciales al proporcionar encuestas simples y un proceso fácil de usar para medir y analizar resultados. Las bibliotecas participantes también reciben los recursos y el apoyo de capacitación necesarios para aplicar sus resultados y abogar con confianza por el futuro de su biblioteca. Las encuestas estandarizadas de Project Outcome permiten a las bibliotecas agregar sus datos de resultados y analizar tendencias por tema de servicio, tipo de programa y a lo largo del tiempo.

Si bien muchas bibliotecas recopilan datos sobre sus programas y servicios, lo que a menudo falta son los datos que indican los beneficios que las bibliotecas brindan a los estudiantes y los objetivos institucionales. Medir los resultados puede proporcionar a las bibliotecas nuevas formas de demostrar su eficacia más allá de los recuentos y las historias de éxito anecdóticas.

Bibliotecas de todo el país utilizan estas herramientas para realizar evaluaciones comparativas, comprender tendencias, abogar por mejores recursos y evaluar. Aprende más sobre la medición de los resultados del aprendizaje para impulsar el cambio, tomar decisiones basadas en datos y demostrar el impacto de los programas y servicios de tu biblioteca.


Áreas de Servicio

Colecciones Digitales y Especiales. Servicios relacionados con las colecciones o recursos de la biblioteca que respaldan la investigación o la instrucción en el aula. Ejemplos incluyen: exhibiciones digitales, repositorios o colecciones archivísticas.

Eventos y Programas Servicios o programas para informar, enriquecer y promover el aprendizaje comunitario. Ejemplos incluyen: exhibiciones, series de conferencias, servicios de participación cívica o actividades de alivio del estrés.

Instrucción Servicios o programas para ayudar a los estudiantes en su trabajo académico y mejorar su aprendizaje. Ejemplos incluyen: sesiones de instrucción en clases, programas de orientación bibliotecaria o talleres sobre temas específicos.

Tecnología de la Biblioteca Servicios relacionados con el acceso y las habilidades que ayudan a los usuarios de la biblioteca a incorporar la tecnología en su trabajo. Ejemplos incluyen: programas de préstamo de tecnología, espacios de creación (maker spaces) o talleres relacionados con la tecnología.

Investigación Servicios para mejorar las habilidades de investigación y ayudar a los investigadores a tener éxito. Ejemplos incluyen: servicios de referencia, servicios de consulta de investigación o talleres para estudiantes de posgrado o profesores.

Espacio Espacios específicos destinados a mejorar el rendimiento académico y apoyar el aprendizaje estudiantil. Ejemplos incluyen: salas de estudio en grupo, espacios de estudio individual o centros de redacción o tutoría.

Apoyo a la Enseñanza Servicios para ayudar a los profesores e instructores a desarrollar planes de estudio y/o materiales de curso que apoyen mejor el aprendizaje estudiantil. Ejemplos incluyen: servicios de REA (Recursos Educativos Abiertos), módulos de aprendizaje en línea o talleres de enseñanza para profesores.

Project Outcome proporciona estas herramientas para que las bibliotecas midan los resultados de sus usuarios:

  • Encuestas Inmediatas: son encuestas de seis preguntas diseñadas para distribuirse inmediatamente después de un programa o servicio, con el objetivo de comprender mejor el impacto inmediato de un programa o servicio en los usuarios.
  • Encuestas de Seguimiento: se utilizan 4-8 semanas después de que se completa un programa o servicio, y ayudan a las bibliotecas a comprender si los usuarios han cambiado su comportamiento o continuado beneficiándose del programa o servicio.
  • Directrices de Medición de Resultados: diseñadas para ayudar a las bibliotecas a realizar métodos avanzados de medición de resultados y demostrar un impacto colaborativo a largo plazo en la comunidad.

El kit de herramientas incluye:

  • Una herramienta de gestión de encuestas donde las bibliotecas pueden crear y personalizar sus encuestas, ingresar y rastrear respuestas, y descargar sus datos sin procesar.
  • Informes predefinidos y personalizables que facilitan a las bibliotecas compartir sus resultados y abogar por sus programas y servicios.
  • Paneles de datos interactivos que ayudan a las bibliotecas a analizar sus resultados.
  • Una variedad de recursos de capacitación, incluidas directrices de medición de resultados, mejores prácticas, estudios de caso y más.

Realidades del compartir datos académicos (RADS): metodología de investigación 2022–2023 encuestas y entrevistas

Association of Research Libraries. «Realities of Academic Data Sharing (RADS) Initiative: Research Methodology 2022–2023 Surveys and Interviews». Accedido 8 de febrero de 2024. https://www.arl.org/resources/realities-of-academic-data-sharing-rads-initiative-research-methodology-2022-2023-surveys-and-interviews/.

El acceso público a los datos de investigación es fundamental para avanzar en la ciencia y resolver problemas del mundo real. En los últimos años, varias agencias de financiamiento han requerido la gestión y el amplio intercambio de datos de investigación y otros resultados relacionados para acelerar los impactos de sus inversiones. En respuesta, muchas instituciones académicas han desarrollado e implementado infraestructuras para apoyar a los profesores en estos requisitos. Estos servicios a menudo están dispersos en toda la institución y se encuentran en varias unidades administrativas, como la tecnología de la información del campus, las bibliotecas universitarias y la oficina de investigación, entre otras. Dada esta naturaleza distribuida, la coordinación de los servicios suele ser informal y el verdadero costo institucional del acceso público a los datos de investigación no se comprende bien.

Este informe describe la metodología de la investigación llevada a cabo durante la primera etapa de la Iniciativa Realities of Academic Data Sharing (RADS) iniciativa financiada por la Fundación Nacional de Ciencias (NSF) de los Estados Unidos, desde 2021 hasta 2023. Se debe considerar como un complemento a los informes finales adicionales de investigación (documentos técnicos) producidos como resultado de esta investigación. Como parte de la Iniciativa RADS, se encuestaron administradores institucionales e investigadores financiados en 2022 y se entrevistaron en 2023 sobre detalles relacionados con los servicios de apoyo y prácticas de compartir datos de investigación, así como sus gastos correspondientes. Si bien la Asociación de Bibliotecas de Investigación (ARL) es la sede administrativa de la Iniciativa RADS, la investigación se llevó a cabo con participantes de las siguientes instituciones: Universidad Cornell, Universidad Duke, Universidad de Michigan, Universidad de Minnesota, Virginia Tech y Universidad de Washington en St. Louis.

Este proyecto aborda las siguientes preguntas de investigación:

¿Dónde están haciendo públicamente accesibles sus datos los investigadores financiados en estas instituciones y cuál es la calidad de los metadatos? ¿Cómo toman los investigadores decisiones sobre por qué y cómo compartir datos de investigación? ¿Cuál es el costo para la institución de implementar la política federal de acceso público a los datos de investigación? Para comprender mejor la perspectiva institucional sobre el acceso público a los datos de investigación, la Iniciativa Realidades del Compartir Datos Académicos (RADS) llevará a cabo investigaciones con equipos institucionales afiliados a DCN para cumplir los siguientes objetivos:

Evaluar el uso de repositorios de acceso público a datos de investigación para descubrir dónde los investigadores comparten más frecuentemente datos de investigación. Realizar un estudio retrospectivo de las prácticas de acceso público a datos de investigación específicas de la disciplina y del formato de los profesores en los campus académicos para desarrollar modelos funcionales basados en servicios e infraestructura para comprender cómo se está llevando a cabo el acceso público a datos de investigación en nuestros campus académicos utilizando recursos institucionales. Recopilar información financiera sobre gastos relacionados con el acceso público a datos de investigación para probar y evaluar los modelos financieros existentes para el acceso público a datos de investigación. Involucrar a la comunidad académica en general en modelos y mejores prácticas.

Google presenta E-E-A-T (Experience, Expertise, Authoritativeness, and Trustworthiness) para ayudar valorar la calidad de las páginas

«Actualización más reciente de las directrices de evaluación de la calidad: el E-A-T adquiere una E adicional de Experiencia | Blog del Centro de la Búsqueda de Google». Google for Developers. Accedido 18 de octubre de 2023.

Ver

Google E-E-A-T (Experience, Expertise, Authoritativeness, and Trustworthiness) es un conjunto de criterios utilizados para evaluar los sitios web con el fin de impulsar mejoras en sus algoritmos y garantizar que se muestren contenidos de calidad a los usuarios.

Para mejorar el rendimiento de su sitio web en los resultados de búsqueda, es una buena práctica centrarse en crear contenido de alta calidad que demuestre experiencia, autoridad y confiabilidad en su campo. Construir una sólida reputación en línea y garantizar información precisa y confiable en su sitio web puede tener un impacto indirecto en sus clasificaciones en los motores de búsqueda. Sin embargo, los algoritmos y factores de clasificación exactos utilizados por los motores de búsqueda son propietarios y pueden cambiar con el tiempo. Se utiliza en la evaluación de calidad por los Evaluadores de Calidad de Búsqueda, pero no es un factor directo en el algoritmo de Google. En cambio, es un término utilizado en la comunidad de SEO para describir la calidad de un sitio web.


E-E-A-T significa «Experiencia, Autoridad y Confianza,» y es un concepto introducido por  Google’s Search Quality Rater Guidelines (SQRG) para ayudar a los evaluadores humanos a evaluar la calidad del contenido web. Si bien E-E-A-T no es un factor de clasificación directo utilizado por motores de búsqueda como Google, desempeña un papel importante en la determinación de la calidad y relevancia de las páginas web en los resultados de búsqueda.

Esto es lo que representa cada componente de E-E-A-T :

  • Experiencia (Experience): Google busca sitios web que ofrezcan una experiencia positiva a los usuarios. Esto implica una navegación fácil y amigable, una buena estructura de la página y un diseño que mejore la experiencia del visitante.
  • Experto (Expertise): Google valora la experiencia y conocimientos demostrados en un campo o temática específica. Se espera que el contenido esté respaldado por expertos o autoridades en la materia para garantizar su precisión y calidad.
  • Autoridad (Authoritativeness): La autoridad se refiere a la credibilidad y reputación del sitio web y sus creadores. Google evalúa la confianza que los usuarios pueden tener en la información proporcionada.
  • Confianza (Trustworthiness): La confianza se relaciona con la fiabilidad y veracidad de la información presentada en el sitio web. Los sitios web deben ser transparentes sobre sus propósitos y cumplir con las expectativas de los usuarios en cuanto a la precisión de la información.

Estos criterios son esenciales para garantizar que Google ofrezca resultados de búsqueda de alta calidad que sean útiles y confiables para los usuarios. Los sitios web que cumplen con los estándares de E-E-A-T tienen más posibilidades de obtener un buen posicionamiento en los resultados de búsqueda de Google y de ofrecer contenidos valiosos a sus visitantes.

E-E-A-T es particularmente relevante en campos donde la precisión y la credibilidad de la información son de suma importancia, como la salud, las finanzas y el asesoramiento legal. Los sitios web y creadores de contenido que establecen y mantienen un fuerte perfil de E-E-A-T son más propensos a ser considerados fuentes fiables tanto por los motores de búsqueda como por los usuarios, lo que puede tener un impacto indirecto en sus clasificaciones en los motores de búsqueda.

Si bien E-E-A-T no es un factor de clasificación directo, es un aspecto crucial de la optimización para motores de búsqueda (SEO) porque influye en cómo se evalúa y finalmente se clasifica su contenido por los motores de búsqueda como Google. Seguir las pautas de E-E-A-T puede ayudar a mejorar la calidad de su contenido y hacerlo más competitivo en los resultados de búsqueda.

Criterios de evaluación de la calidad, buenas prácticas y sistemas de evaluación para los proveedores de servicios editoriales institucionales (IPSP) de Acceso Abierto

Ševkušić, Milica, & Kuchma, Iryna. (2023). DIAMAS deliverable: D3.1 IPSP Best Practices Quality evaluation criteria, best practices, and assessment systems for Institutional Publishing Service Providers (IPSPs) (Under review by the European Commission). Zenodo. https://doi.org/10.5281/zenodo.7859172

Texto completo

Este informe presenta los criterios existentes de evaluación de calidad, las mejores prácticas y los sistemas de evaluación para las Plataformas de Publicación de Acceso Abierto (IPSPs, por sus siglas en inglés) desarrolladas por asociaciones internacionales, ORP (organizaciones de publicación en red), gobiernos y bases de datos internacionales. También analiza la literatura académica sobre la evaluación de la investigación en IPSPs, los criterios de evaluación y los indicadores. La matriz de análisis incluye las siguientes categorías, que también serán los componentes centrales de EQSIP:

  • Financiamiento: descripción del modelo de financiamiento, modelo de negocio de acceso abierto, transparencia en la lista de todas las fuentes de financiamiento, etc.
  • Propiedad y gobernanza: propiedad legal, misión y gobernanza.
  • Prácticas de ciencia abierta: política de acceso abierto, derechos de autor y licencias, revisión por pares abierta, disponibilidad de datos, nuevos enfoques para la evaluación de la investigación, etc.
  • Calidad editorial, gestión editorial e integridad de la investigación.
  • Eficiencia del servicio técnico: fortaleza técnica, interoperabilidad: metadatos, ISSN, identificadores de objetos digitales (PIDs), legibilidad por máquina y accesibilidad del sitio web de la revista.
  • Visibilidad, incluyendo indexación, comunicación, marketing e impacto.
  • Equidad, diversidad e inclusión (EDI): multilingüismo, equidad de género.
  • Una lista de autoevaluación para las IPSPs resume las mejores prácticas delineadas en el informe.

Cómo crean las bibliotecas nuevas y potentes experiencias de usuario

How libraries are creating new and powerful user experiences. Clarivate, 2023

Texto completo

En 1985, mientras la Generación X y los Millennials veían Muppet Babies y jugaban a Donkey Kong, unos investigadores universitarios publicaron un artículo en el Journal of Marketing Research sobre la calidad del servicio que sigue siendo actualidad. Los autores concluían: «…el servicio esperado, un componente crítico de la calidad de servicio percibido… viene determinado por las comunicaciones boca a boca, las necesidades personales y la experiencia pasada». En otras palabras, las expectativas de los usuarios influyen profundamente en su percepción de un servicio.

Por qué es importante esta observación en 2023? Según la Web of Science™, el artículo del Journal of Marketing Research ha sido citado más de 4.000 veces en revistas tan respetadas como Knowledge Management in Organizations porque los conceptos para evaluar la calidad del servicio siguen siendo relevantes 40 años después.

Los hijos de la Generación X y los Millennials, ahora adolescentes y adultos jóvenes, están evaluando la calidad de los servicios en línea disponibles a través de las instituciones de educación superior. disponibles en las instituciones de enseñanza superior. Los estudios sobre la aceptación y el uso de de la tecnología en la enseñanza superior muestran que están muy influidos por su percepción de la facilidad de uso y la aplicación práctica. Los adolescentes y adultos jóvenes han crecido utilizando Netflix, Amazon, Google e Instagram. Esperan que las aplicaciones de su universidad sean igual de intuitivas.

ChatGPT puede convertir a los malos escritores en mejores

Williams, Rhiannon. «ChatGPT Can Turn Bad Writers into Better Ones». MIT Technology Review. Accedido 25 de agosto de 2023. https://www.technologyreview.com/2023/07/13/1076199/chatgpt-can-turn-bad-writers-into-better-ones/.

Según un estudio, las personas que utilizan ChatGPT como ayuda para escribir son más productivas y realizan trabajos de mayor calidad que las que no lo hacen.

Desde su lanzamiento en noviembre del año pasado, ChatGPT ha ayudado a la gente a hacer su trabajo, y sus entusiastas usuarios lo han utilizado para redactar todo tipo de documentos, desde material de marketing hasta correos electrónicos e informes.

Ahora tenemos el primer indicio de su efecto en el lugar de trabajo. Un nuevo estudio realizado por dos estudiantes de economía del MIT, publicado hoy en Science, sugiere que podría ayudar a reducir las diferencias en la capacidad de redacción de los empleados. Descubrieron que podría permitir a los trabajadores menos experimentados que carecen de habilidades de escritura producir un trabajo similar en calidad al de sus colegas más cualificados.

Shakked Noy y Whitney Zhang reclutaron a 453 profesionales del marketing, analistas de datos y profesionales con estudios universitarios y les pidieron que realizaran dos tipos de tareas que normalmente llevarían a cabo como parte de su trabajo, como redactar comunicados de prensa, informes breves o planes de análisis. A la mitad se les dio la opción de utilizar ChatGPT para ayudarles a completar la segunda de las dos tareas.

A continuación, un grupo de profesionales comprobó la calidad de los resultados y los calificó en una escala de 1 a 7, siendo 7 el mejor resultado. Cada trabajo fue evaluado por tres personas de la misma profesión, contratadas a través de la plataforma de investigación Prolific.

Los escritores que decidieron utilizar ChatGPT tardaron un 40% menos en completar sus tareas, y produjeron trabajos que los evaluadores calificaron con un 18% más de calidad que los de los participantes que no lo utilizaron. Los escritores que ya eran expertos en redacción pudieron reducir el tiempo que dedicaban a su trabajo, mientras que los que fueron evaluados como escritores más débiles produjeron trabajos de mayor calidad una vez que tuvieron acceso al chatbot.

«ChatGPT es muy bueno en la producción de este tipo de contenido escrito, por lo que su uso para automatizar partes del proceso de escritura parece probable que ahorre mucho tiempo», dice Noy, autor principal de la investigación.

«Una cosa que está clara es que es muy útil para el trabajo de cuello blanco: mucha gente lo utilizará y va a tener un efecto bastante grande en cómo se estructura el trabajo de cuello blanco», añade.

Sin embargo, los resultados de ChatGPT y otros modelos generativos de IA distan mucho de ser fiables. ChatGPT es muy bueno presentando información falsa como factualmente correcta, lo que significa que aunque los trabajadores puedan aprovecharlo para ayudarles a producir más trabajo, también corren el riesgo de introducir errores.

Dependiendo de la naturaleza del trabajo de una persona, ese tipo de inexactitudes podrían tener graves implicaciones. El abogado Steven Schwartz fue multado el mes pasado con 5.000 dólares por un juez por utilizar ChatGPT para elaborar un informe jurídico que contenía opiniones judiciales y citas legales falsas.

LibQual+ ™, un sistema de evaluación de la calidad de los servicios de bibliotecas

LIBQUAL

https://www.libqual.org/

Ver Manual de procesos 2022

LIBQUAL es un sistema de evaluación de la calidad de los servicios de bibliotecas desarrollado por la Association of Research Libraries (ARL) en colaboración con la Texas A&M University Libraries. Consiste en una encuesta diseñada para recopilar datos sobre las percepciones y expectativas de los usuarios de una biblioteca en relación con diferentes aspectos de los servicios que ofrece.

El objetivo principal de LIBQUAL es medir la satisfacción de los usuarios y obtener información relevante para la mejora continua de los servicios bibliotecarios.

El método utilizado por LIBQUAL evalúa la calidad de los servicios bibliotecarios a través de una encuesta diseñada específicamente para recopilar la percepción de los usuarios en relación con diferentes aspectos de la biblioteca. La encuesta utiliza una escala de evaluación Likert, donde los usuarios expresan su grado de acuerdo o desacuerdo con una serie de afirmaciones relacionadas con tres dimensiones clave: afecto del servicio, biblioteca como lugar e información y control.

La encuesta se basa en un modelo de tres dimensiones clave:

  1. Afecto del servicio: Explora los aspectos emocionales y afectivos de la experiencia del usuario en la biblioteca, como el trato del personal, la cortesía y la amabilidad, y la sensación de ser valorado como usuario.
  2. Biblioteca como lugar: Evalúa los aspectos físicos y espaciales de la biblioteca, como la comodidad, la accesibilidad, la disponibilidad de espacios de estudio y la calidad de las instalaciones.
  3. Información y control: Analiza la satisfacción del usuario en relación con la disponibilidad y accesibilidad de los recursos de información, la eficacia de los sistemas de búsqueda y recuperación de información, y la capacidad del usuario para controlar su propia experiencia de búsqueda.

Los resultados de la encuesta se analizan para identificar las áreas de fortaleza y las áreas que requieren mejoras en los servicios bibliotecarios. Esto permite a las bibliotecas tomar decisiones informadas y desarrollar estrategias para satisfacer las necesidades y expectativas de sus usuarios.

Métricas

Algunas de las métricas utilizadas para evaluar la calidad son las siguientes:

  • Medias de puntuación: Se calculan las medias de puntuación para cada afirmación de la encuesta. Estas medias proporcionan una visión general de la percepción de los usuarios en relación con cada aspecto evaluado.
  • Índice de satisfacción general: Se calcula un índice de satisfacción general para obtener una medida global de la satisfacción de los usuarios con la biblioteca. Este índice se basa en las puntuaciones promedio de las diferentes dimensiones evaluadas.
  • Análisis comparativo: Los resultados de la encuesta se comparan con datos de referencia de otras bibliotecas similares. Esto permite identificar fortalezas y debilidades en relación con otras instituciones y obtener información para la mejora continua.
  • Análisis de brechas: Se analizan las brechas entre las expectativas de los usuarios y su percepción actual de los servicios bibliotecarios. Esto ayuda a identificar áreas en las que los usuarios tienen expectativas no cumplidas y que requieren mejoras.
  • Comentarios cualitativos: Además de las puntuaciones numéricas, se tienen en cuenta los comentarios y sugerencias proporcionados por los usuarios en la encuesta. Estos comentarios pueden brindar información valiosa sobre aspectos específicos de los servicios y áreas de mejora.

La combinación de estas métricas y análisis permite a las bibliotecas obtener una comprensión global de la calidad de sus servicios, identificar áreas de mejora y tomar decisiones informadas para satisfacer las necesidades de los usuarios de manera más efectiva.

Cómo desarrollar el modelo

A continuación se presenta un resumen de los pasos principales en el proceso de evaluación con LIBQUAL:

  1. Preparación: La biblioteca define los objetivos de la evaluación y se prepara para implementar la encuesta. Esto implica determinar el alcance de la evaluación, establecer los criterios de selección de los participantes y planificar la logística de la encuesta.
  2. Implementación de la encuesta: Se administra la encuesta a los usuarios de la biblioteca. La encuesta se puede realizar en línea o en formato impreso, y los usuarios pueden completarla de forma anónima. Se anima a la participación de la mayor cantidad posible de usuarios para obtener resultados representativos.
  3. Recopilación de datos: Una vez finalizada la encuesta, se recopilan los datos y se almacenan de manera segura para su posterior análisis. Es importante garantizar la confidencialidad de los participantes y la integridad de los datos recopilados.
  4. Análisis de datos: Se realiza un análisis estadístico de los datos recopilados. Esto implica calcular medias de puntuación para cada afirmación de la encuesta, analizar las brechas entre las expectativas y las percepciones de los usuarios, y generar informes comparativos para evaluar la calidad en relación con otras bibliotecas de referencia.
  5. Interpretación de resultados: Se interpretan los resultados del análisis y se identifican las áreas de fortaleza y las áreas que requieren mejoras. Se analizan los comentarios y sugerencias de los usuarios para obtener información cualitativa adicional sobre los servicios bibliotecarios.
  6. Acciones de mejora: Con base en los resultados y las conclusiones de la evaluación, la biblioteca puede implementar acciones y estrategias para mejorar la calidad de los servicios. Esto puede implicar cambios en políticas, procesos, recursos, espacios físicos o capacitación del personal, entre otras medidas.
  7. Monitoreo y seguimiento: Después de implementar las acciones de mejora, se monitorea continuamente la calidad de los servicios y se realiza un seguimiento de los cambios en la satisfacción de los usuarios. Esto permite evaluar la efectividad de las acciones implementadas y realizar ajustes adicionales si es necesario.

Ventajas y desventajas de LIBQUAL

LIBQUAL ha sido ampliamente utilizado en bibliotecas de diferentes tipos y tamaños en todo el mundo como una herramienta para evaluar la calidad de los servicios y realizar comparaciones a nivel nacional e internacional.

Al ser un modelo específico de evaluación de la calidad de los servicios bibliotecarios, tiene sus propias ventajas y desventajas en comparación con otros modelos como ISO (International Organization for Standardization) o EFQM (European Foundation for Quality Management). A continuación, se presentan algunas ventajas y desventajas de LIBQUAL en relación con estos modelos:

Ventajas de LIBQUAL:

  • Orientación hacia los usuarios: LIBQUAL se centra en la percepción y las expectativas de los usuarios de la biblioteca. Esto permite evaluar la calidad de los servicios desde la perspectiva de aquellos que los utilizan, lo que puede proporcionar información valiosa sobre la satisfacción del usuario y las áreas de mejora.
  • Enfoque específico para bibliotecas: LIBQUAL ha sido desarrollado específicamente para bibliotecas y tiene en cuenta los aspectos únicos de los servicios bibliotecarios. Esto significa que las preguntas y dimensiones de la encuesta están diseñadas para evaluar los servicios y recursos específicos de las bibliotecas.
  • Comparabilidad: LIBQUAL proporciona datos de referencia y análisis comparativos que permiten a las bibliotecas evaluar su desempeño en relación con otras instituciones similares. Esto brinda una perspectiva más amplia y facilita la identificación de fortalezas y áreas de mejora en comparación con otros pares.

Desventajas de LIBQUAL:

  • Limitaciones en la evaluación de estándares internacionales: A diferencia de los modelos ISO y EFQM, LIBQUAL no está directamente relacionado con estándares internacionales reconocidos. Esto puede ser una desventaja si la biblioteca está buscando la certificación o el cumplimiento de ciertos estándares específicos.
  • nfoque centrado en la percepción: LIBQUAL se basa en la percepción y las expectativas de los usuarios, lo que puede estar sujeto a sesgos o limitaciones individuales. La evaluación no proporciona una medición objetiva de la calidad de los servicios, sino más bien una visión subjetiva basada en la opinión de los usuarios.
  • No aborda aspectos organizativos o de gestión: A diferencia de los modelos ISO y EFQM, LIBQUAL se centra principalmente en la calidad de los servicios desde la perspectiva del usuario y no aborda aspectos más amplios de gestión y organización de la biblioteca. Esto puede limitar la visión global de la calidad y la mejora organizativa.

Bibliografía:

  1. Cook, C., & Heath, F. (2000). Users’ Perceptions of Library Service Quality: A LibQUAL+TM Qualitative Study. Library Trends, 49(4), 548-584.
  2. Thompson, B. (2002). LibQUAL+TM: Methods, Measures, and Meanings. portal: Libraries and the Academy, 2(1), 101-110.
  3. Hernon, P., & Altman, E. (2010). Assessing Service Quality: Satisfying the Expectations of Library Customers. American Library Association.
  4. Fidel, R., & Houghton, J. (2006). Bridging the Gap between Users and Librarians: Goals and Challenges of the LibQUAL+TM Survey. The Journal of Academic Librarianship, 32(2), 240-245.
  5. Colón-Aguirre, M., & Fleming-May, R. (2012). Exploring Library Service Quality: A LibQUAL+TM Analysis. The Library Quarterly, 82(3), 273-293.

¿Es posible usar ChatGPT para escribir un artículo científico de calidad?


Conroy, Gemma. «Scientists Used ChatGPT to Generate an Entire Paper from Scratch — but Is It Any Good?» Nature, 7 de julio de 2023. https://doi.org/10.1038/d41586-023-02218-z.

Un par de científicos produjeron un artículo de investigación en menos de una hora con la ayuda de ChatGPT, una herramienta impulsada por inteligencia artificial (IA) que puede entender y generar texto similar a como lo haría humano. El artículo era fluido, perspicaz y presentado en la estructura esperada para un artículo científico, pero los investigadores señalan que hay muchos obstáculos por superar antes de que la herramienta pueda ser realmente útil.

El objetivo era explorar las capacidades de ChatGPT como un «copiloto» de investigación y generar debate sobre sus ventajas y desventajas, según Roy Kishony, biólogo y científico de datos en el Technion, Instituto de Tecnología de Israel en Haifa. «Necesitamos una discusión sobre cómo obtener los beneficios con menos inconvenientes», dice.

Kishony y su estudiante Tal Ifargan, también científico de datos en el Technion, descargaron un conjunto de datos disponible públicamente del Behavioral Risk Factor Surveillance System de los Centros para el Control y la Prevención de Enfermedades de Estados Unidos, una base de datos de encuestas telefónicas relacionadas con la salud. El conjunto de datos incluye información recopilada de más de 250,000 personas sobre su estado de diabetes, consumo de frutas y verduras y actividad física.

Los componentes básicos de un artículo

Los investigadores pidieron a ChatGPT que escribiera código que pudieran usar para descubrir patrones en los datos que pudieran analizar más a fondo. En su primer intento, el chatbot generó código lleno de errores y que no funcionaba. Pero cuando los científicos transmitieron los mensajes de error y le pidieron que corrigiera los errores, finalmente produjo código que se podía utilizar para explorar el conjunto de datos.

Con un conjunto de datos más estructurado en mano, Kishony e Ifargan pidieron a ChatGPT que los ayudara a desarrollar un objetivo de estudio. La herramienta sugirió que investigaran cómo la actividad física y la dieta afectan el riesgo de diabetes. Una vez que generó más código, ChatGPT entregó los resultados: consumir más frutas y verduras y hacer ejercicio se asocia con un menor riesgo de diabetes. Luego, se le pidió a ChatGPT que resumiera los hallazgos clave en una tabla y escribiera toda la sección de resultados. Paso a paso, pidieron a ChatGPT que escribiera el resumen, la introducción, los métodos y las secciones de discusión de un manuscrito. Finalmente, pidieron a ChatGPT que refinara el texto. «Compusimos [el artículo] a partir de la salida de muchas indicaciones», dice Kishony. «Cada paso se basa en los productos de los pasos anteriores».

Aunque ChatGPT generó un manuscrito claramente escrito con un análisis de datos sólido, el artículo estaba lejos de ser perfecto, según Kishony. Un problema que encontraron los investigadores fue la tendencia de ChatGPT a llenar los vacíos inventando cosas, un fenómeno conocido como alucinación. En este caso, generó citas falsas e información inexacta. Por ejemplo, el artículo afirma que el estudio «aborda una brecha en la literatura», una frase común en los artículos, pero inexacta en este caso, según Tom Hope, científico de la computación en la Universidad Hebrea de Jerusalén. El hallazgo «no es algo que sorprenderá a los expertos médicos», dice. «Está lejos de ser novedoso».

Beneficios y preocupaciones

Kishony también se preocupa de que estas herramientas puedan facilitar que los investigadores participen en prácticas deshonestas, como el «P-hacking», en el que los científicos prueban varias hipótesis en un conjunto de datos, pero solo informan aquellas que producen un resultado significativo.

Otra preocupación es que la facilidad para producir artículos con herramientas generativas de IA pueda resultar en una inundación de revistas con documentos de baja calidad, agrega. Afirma que su enfoque de datos a artículo, con una supervisión humana central en cada paso, podría ser una forma de garantizar que los investigadores puedan comprender, verificar y replicar fácilmente los métodos y los hallazgos.

Vitomir Kovanović, quien desarrolla tecnologías de IA para la educación en la Universidad de Australia del Sur en Adelaide, señala que es necesario tener una mayor visibilidad de las herramientas de IA en los artículos de investigación. De lo contrario, será difícil evaluar si los hallazgos de un estudio son correctos, dice. «Es probable que tengamos que hacer más en el futuro si la producción de documentos falsos se vuelve tan fácil».

Las herramientas de IA generativas tienen el potencial de acelerar el proceso de investigación al llevar a cabo tareas sencillas pero que consumen mucho tiempo, como escribir resúmenes y generar código, dice Shantanu Singh, biólogo computacional en el Broad Institute del MIT y Harvard en Cambridge, Massachusetts. Podrían utilizarse para generar artículos a partir de conjuntos de datos o para desarrollar hipótesis, dice. Sin embargo, debido a que las alucinaciones y los sesgos son difíciles de detectar para los investigadores, Singh dice: «No creo que escribir artículos completos, al menos en el futuro previsible, sea un uso particularmente bueno».

En conclusión. ChatGpt no puede escribir un trabajo de investigación científica completamente solo. El conocimiento científico, la experiencia humana, el pensamiento crítico y el análisis son esenciales para la redacción de un trabajo de investigación. ChatGPT puede utilizarse como asistente en la generación de contenidos para un trabajo de investigación científica.

Fuentes de información para evaluar la calidad de los libros y capítulos científicos

Los libros desempeñan un papel fundamental como medio de comunicación científica en los campos de Humanidades y gran parte de las Ciencias Sociales. Los estudios bibliométricos han demostrado consistentemente que los investigadores en estas disciplinas publican en diversos formatos, pero muestran una preferencia especial por las monografías publicadas en su lengua materna y por editoriales nacionales. Además, tienden a citar principalmente este tipo de documentos en comparación con otros.

Como resultado, no sorprende que estas publicaciones jueguen un papel importante en el currículum de los investigadores. Cuando se les pregunta acerca de los medios de publicación que deben ser priorizados en la evaluación de su actividad científica, las monografías suelen ser destacadas en primer lugar.

Existen varias fuentes de información que se pueden utilizar para evaluar la calidad de los libros académicos:

SPI (Scholarly Publishers Indicators)

SPI es un índice bibliométrico que tiene como objetivo medir la difusión y visibilidad de las editoriales de libros científicos en el ámbito de las Humanidades y Ciencias Sociales. Este índice se basa en el recuento de los libros incluidos en los catálogos de bibliotecas universitarias y académicas españolas que forman parte del catálogo colectivo REBIUN (Red de Bibliotecas Universitarias).

El propósito de SPI es proporcionar una métrica que permita evaluar la presencia y el impacto de las editoriales de libros académicos en el ámbito de las Humanidades y Ciencias Sociales. Al contar con información sobre los libros presentes en los catálogos de las bibliotecas, se busca medir su difusión y visibilidad entre la comunidad académica y estudiantil.

SPI se utiliza como una herramienta para evaluar el rendimiento de las editoriales y de los libros que publican, teniendo en cuenta criterios como el número y la calidad de las citas recibidas, el prestigio de la editorial, los editores, la colección en la que se publica la obra, las reseñas en revistas científicas especializadas, las traducciones y su inclusión en bibliografías.

El índice de Editoriales y Editores CSIC (ie-CSIC)

El índice de Editoriales y Editores CSIC (ie-CSIC) es una herramienta desarrollada por el Consejo Superior de Investigaciones Científicas (CSIC) de España para evaluar la calidad y prestigio de las editoriales científicas en el ámbito de las Humanidades y Ciencias Sociales. El CSIC es la mayor institución pública dedicada a la investigación en España y su índice es reconocido como una referencia en la evaluación de editoriales académicas.

El ie-CSIC se basa en una clasificación jerárquica de las editoriales en función de su calidad y relevancia. Las editoriales son evaluadas y clasificadas por un comité de expertos en base a criterios como la reputación de la editorial, el rigor editorial, la trayectoria y experiencia en la publicación de libros científicos, el impacto de sus publicaciones, la presencia en bases de datos bibliográficas relevantes y otros indicadores de calidad.

El índice ie-CSIC se actualiza periódicamente para reflejar los cambios en el panorama editorial y asegurar que se mantenga actualizado y relevante. Es utilizado por investigadores, académicos y bibliotecarios como una guía para identificar y seleccionar editoriales de calidad en el ámbito de las Humanidades y Ciencias Sociales.

Sello de Calidad en Edición Académica (CEA-APQ)


El Sello de Calidad en Edición Académica (CEA-APQ) es un reconocimiento otorgado por la Agencia Estatal de Investigación (AEI) en España. Este sello tiene como objetivo garantizar la calidad editorial de las publicaciones científicas y académicas. Se concede a las editoriales que cumplen con una serie de criterios y requisitos establecidos por la AEI.

El proceso de evaluación para obtener el CEA-APQ implica la revisión de aspectos como la política editorial de la editorial, el proceso de selección y revisión de manuscritos, la calidad de la edición y presentación de los libros, la presencia en catálogos y bases de datos relevantes, entre otros.

El sello CEA-APQ es considerado un reconocimiento de calidad y prestigio para las editoriales académicas y científicas. Permite a los autores y lectores identificar aquellas publicaciones que cumplen con estándares rigurosos de calidad y garantiza la confiabilidad y solidez de los contenidos. Es importante tener en cuenta que el sello CEA-APQ es específico de España y está respaldado por la AEI. Otros países o regiones pueden tener sistemas de evaluación y certificación similares para la edición académica, pero con diferentes nombres o entidades responsables.

Book Publishers Library Metrics

Book Publishers Library Metrics es un índice bibliométrico diseñado para medir la difusión y visibilidad de las editoriales de libros científicos en el ámbito de las Humanidades y Ciencias Sociales. Su metodología se basa en el recuento de libros presentes en los catálogos de bibliotecas universitarias y académicas españolas que forman parte del catálogo colectivo REBIUN.

Este índice reconoce la relevancia de los libros como medios de comunicación científica en las disciplinas de Humanidades y Ciencias Sociales. Los investigadores de estas áreas tienen una preferencia por publicar en forma de monografías, especialmente aquellas publicadas en su idioma y por editoriales nacionales. Además, suelen citar predominantemente este tipo de publicaciones en sus investigaciones.

Para evaluar el desempeño de las editoriales y los libros publicados, se toman en cuenta diversos criterios, como la longevidad y antigüedad de la editorial, la calidad de la edición, la producción y especialización temática, la visibilidad de las publicaciones, la reputación de la editorial y el impacto científico de los libros. En España, las agencias de evaluación científica han destacado criterios adicionales, como el número y calidad de las citas recibidas, el prestigio de la editorial, los editores involucrados en el proceso editorial, la colección en la que se publica la obra, las reseñas en revistas científicas especializadas y la inclusión en bibliografías reconocidas.

Book Citation Index (BCI) de Clarivate Analytics

Book Citation Index (BCI) de Clarivate Analytics es una parte de la base de datos Web of Science (WoS) que se enfoca en rastrear y proporcionar información sobre citas en libros académicos y científicos. Es una herramienta que permite a los investigadores y académicos explorar y analizar las relaciones de citación entre los libros y otros tipos de publicaciones científicas, como revistas y actas de conferencias.

El BCI recopila datos de citas de libros de una amplia gama de disciplinas académicas y científicas, lo que permite a los usuarios rastrear la influencia y el impacto de los libros en la investigación académica. Los libros incluidos en el BCI son seleccionados de acuerdo con criterios de calidad y relevancia académica, y son indexados y clasificados para facilitar su búsqueda y recuperación.

Al utilizar el Book Citation Index, los investigadores pueden descubrir qué libros han sido citados, quién los ha citado y en qué contexto se han realizado las citas. Esto puede ser útil para evaluar la influencia y la importancia de un libro en un campo específico, identificar tendencias de investigación, encontrar colaboradores potenciales y realizar análisis bibliométricos.

Es importante tener en cuenta que el BCI se centra en las citas en libros académicos y científicos que están incluidos en la base de datos de Web of Science. No todos los libros publicados están indexados en esta base de datos y, por lo tanto, pueden no estar cubiertos por el Book Citation Index.

Es importante considerar que la calidad de un libro académico puede variar según el contexto y el campo disciplinario. Es recomendable utilizar varias fuentes y enfoques para obtener una evaluación más completa y equilibrada. Otras fuentes que se pueden utilizar serían:

  1. Reseñas en revistas especializadas: Muchas revistas académicas incluyen secciones de reseñas de libros donde expertos en el campo evalúan y analizan libros recientes. Estas reseñas proporcionan una visión crítica y pueden ayudar a evaluar la calidad de un libro.
  2. Bases de datos académicas: Plataformas como JSTOR, Scopus o Web of Science indexan libros académicos y proporcionan métricas como citas recibidas y factor de impacto. Estas bases de datos permiten evaluar el impacto y la relevancia de los libros en el campo académico.
  3. Catálogos de bibliotecas universitarias: Los catálogos de bibliotecas universitarias suelen incluir información sobre libros académicos y pueden proporcionar datos sobre su disponibilidad en las bibliotecas y su popularidad entre los usuarios.
  4. Evaluaciones de expertos: Consultar a expertos en el campo académico y pedir recomendaciones sobre libros de calidad puede ser una forma efectiva de evaluar la calidad de los libros académicos. Los profesores, investigadores y bibliotecarios especializados pueden brindar orientación y sugerencias basadas en su experiencia y conocimiento.
  5. Rankings y listas de recomendaciones: Algunas organizaciones o instituciones publican rankings o listas de recomendaciones de libros académicos. Estas listas se basan en la reputación de los libros y en la valoración de expertos en el campo.
  6. Evaluaciones editoriales: Investigar la editorial que ha publicado el libro puede proporcionar información sobre la calidad editorial y los estándares de publicación. Algunas editoriales académicas tienen una reputación establecida en la publicación de libros de alta calidad en campos específicos.

Book Publishers Library Metrics, un índice bibliométrico para medir la difusión y visibilidad de las editoriales de libros científicos de las Humanidades y Ciencias Sociales

Book Publishers Library Metrics

El índice bibliométrico Book Publishers Library Metrics es una herramienta que pretende medir la difusión y visibilidad de las editoriales de libros científicos en el ámbito de las Humanidades y Ciencias Sociales. Se basa en el recuento de los libros incluidos en los catálogos de bibliotecas universitarias y académicas españolas que forman parte del catálogo colectivo REBIUN.

Este índice reconoce la importancia de los libros como medio de comunicación científica en las disciplinas de Humanidades y Ciencias Sociales. Los investigadores de estos campos tienden a publicar en monografías, especialmente aquellas publicadas en su idioma y por editoriales nacionales. Asimismo, tienden a citar predominantemente este tipo de documentos en sus investigaciones.

Para evaluar el rendimiento de las editoriales y los libros publicados, se consideran diversos criterios, como la pervivencia y antigüedad, calidad editorial, producción/especialización, visibilidad, reputación e impacto científico. En España, las agencias de evaluación científica han destacado criterios como el número y calidad de citas recibidas, el prestigio de la editorial, los editores, la colección en la que se publica la obra, las reseñas en revistas especializadas y la inclusión en bibliografías.

Book Publishers Library Metrics complementa otro producto llamado Publishers Scholar Metrics, que medía el impacto de las editoriales de monografías científicas a partir del recuento de citas en los libros publicados por profesores e investigadores de universidades públicas españolas, indizados en Google Scholar hasta 2012, en el ámbito de las Humanidades y Ciencias Sociales.

En resumen, Book Publishers Library Metrics proporciona una herramienta para evaluar la difusión y visibilidad de las editoriales y los libros científicos en el ámbito de las Humanidades y Ciencias Sociales, utilizando los catálogos de bibliotecas universitarias y académicas españolas como fuente de datos.