Archivo de la etiqueta: Evaluación

Cómo una biblioteca ahorró 35 millones de dólares a los estudiantes

Leading with the library how one university positioned its library as a central hub for innovation and strategic partnerships. The University of South Florida, 2024

Texto completo

El papel de la biblioteca universitaria está evolucionando, presentando a los líderes la oportunidad de reimaginar sus bibliotecas como colaboradores estratégicos y creadores de contenidos innovadores.

En este estudio de caso, lea cómo la Universidad del Sur de Florida capacitó a su biblioteca para definir un enfoque de investigación, contratar especialistas de campo para desarrollar colecciones de vanguardia y ampliar el acceso a nivel mundial, al tiempo que aborda cuestiones universales como el aumento de los costes de los libros de texto.

Los costos de los libros de texto universitarios aumentan en promedio un seis por ciento cada año, duplicándose cada 11 años, según la Iniciativa de Datos Educativos. En un momento en que se cuestiona el valor de la educación universitaria y las instituciones buscan formas de ampliar el acceso, hacer que los materiales de instrucción sean más asequibles es una prioridad. USF comenzó a explorar la creación de un Programa de Asequibilidad de Libros de Texto hace más de una década, reconociendo cómo estos costos impactaban en el éxito de los estudiantes. El equipo de la biblioteca se enfocó en los miembros de la facultad como clave para el éxito del programa y les proporcionó datos sobre los costos para los estudiantes y alternativas de acceso abierto a los libros de texto y materiales de instrucción tradicionales. Armados con esos detalles, la facultad adoptó el programa y la idea detrás de él. «Les importaba el problema y solo necesitaban información precisa para tomar la decisión correcta para nuestros estudiantes», dice Chávez.

El trabajo ha ahorrado a los estudiantes más de 35 millones de dólares desde 2016 y ha reducido el costo promedio de los libros de texto por hora de crédito de pregrado de USF de más de 65$ en 2016 a 20.60$ en 2023. Las bibliotecas también pueden apoyar el éxito de los estudiantes de otras maneras. Dahlia Thomas accedió a los recursos de la biblioteca como estudiante de arte de estudio de pregrado que trabajaba en dos empleos mientras tomaba clases a tiempo completo. Su experiencia coincidió con el cambio más amplio hacia la digitalización de contenido y servicios. Colecciones especiales que antes requerían visitar la biblioteca en persona debido a su tamaño o restricciones de derechos de autor ahora podían ser accedidas desde cualquier lugar. «Ver las colecciones en línea me ahorró tiempo en piezas de arte, ensayos de historia del arte y trabajos de humanidades», dice Thomas, quien ahora se desempeña como Coordinadora de Operaciones de Historia Oral de las Bibliotecas de USF.

Hoy, las Bibliotecas de USF están creando contenido en 3D para colecciones digitales que preservan artefactos, como tallados en piedra mesoamericanos centenarios que están siendo erosionados por la lluvia ácida, que la mayoría de las personas nunca verán en dos dimensiones, y mucho menos en tres. Está liderando una iniciativa a nivel institucional para hacer que los libros de texto sean más asequibles para los estudiantes. Está enviando especialistas de bibliotecas a bordo de barcos para facilitar el proceso de gestión de datos que apoya a los científicos en el mar que intentan comprender las implicaciones de la explosión y derrame de petróleo del Deepwater Horizon de 2010. Y se aventura en cuevas junto a investigadores que exploran terrenos kársticos globales que proporcionan agua para más de mil millones de personas en todo el mundo. Desde su disposición para cambiar rápidamente en medio de una pandemia mundial en desarrollo hasta el trabajo orientado al futuro que realiza ahora, el equipo de Chávez ha empujado repetidamente los límites tradicionales en torno a los recursos y servicios que proporcionan las bibliotecas académicas. «Las bibliotecas universitarias a menudo han sido lentas para cambiar, lo que puede dificultar establecer un caso de relevancia», dice Chávez. «Muchas bibliotecas reformatean sus colecciones digitalmente o compran contenido digital, lo organizan y lo hacen accesible. Nosotros también hacemos esas cosas. Pero no muchas otras bibliotecas salen al campo para crear contenido utilizando tecnología 3D, de imágenes y geoespacial. No somos la biblioteca de tus abuelos». Las bibliotecas que persiguen este tipo de trabajo están comprometidas con comprender los mayores desafíos de la sociedad, lo que se alinea con los objetivos de la Asociación de Universidades Americanas de servir al bien público y contribuir al ecosistema de conocimiento global. Y están posicionadas para ayudar a las comunidades y a los socios estratégicos a navegar por un paisaje de aprendizaje e investigación impulsado por la tecnología que cambia minuto a minuto.

Un estudio asocia ChatGPT con procrastinación, disminución del rendimiento académico y pérdida de memoria

Abbas, Muhammad, Farooq Ahmed Jam, y Tariq Iqbal Khan. «Is it harmful or helpful? Examining the causes and consequences of generative AI usage among university students». International Journal of Educational Technology in Higher Education 21, n.o 1 (16 de febrero de 2024): 10. https://doi.org/10.1186/s41239-024-00444-7.


El informe muestra que los estudiantes recurren a ChatGPT, una herramienta de IA, debido a la carga académica y la falta de tiempo, pero su uso está vinculado con procrastinación, pérdida de memoria y un rendimiento académico decreciente. Aunque puede ser útil bajo ciertas circunstancias, su uso excesivo puede tener efectos negativos en el aprendizaje. Los hallazgos destacan la importancia de comprender los impactos de la IA generativa en la educación.

Un nuevo estudio publicado en International Journal of Educational Technology in Higher Education revela que los estudiantes tienden a recurrir a ChatGPT, una herramienta de inteligencia artificial generativa, cuando enfrentan una carga académica aumentada y limitaciones de tiempo. Además, el estudio indica una tendencia preocupante: la dependencia de ChatGPT se asocia con la procrastinación, pérdida de memoria y una disminución en el rendimiento académico. Estos hallazgos arrojan luz sobre el papel de la IA generativa en la educación, sugiriendo tanto su uso generalizado como posibles desventajas.

El interés detrás de esta investigación surge del crecimiento explosivo de las tecnologías de IA generativa en entornos educativos. A pesar de su potencial para ayudar en el aprendizaje e investigación, hay una creciente preocupación entre los educadores sobre su mal uso, especialmente en relación con la integridad académica. Estudios anteriores se han centrado en discusiones teóricas sin muchos datos empíricos para respaldar las afirmaciones.

Para comprender estas dinámicas, el estudio se llevó a cabo en dos fases. Inicialmente, los investigadores desarrollaron y validaron una escala para medir el uso de ChatGPT por parte de estudiantes universitarios con fines académicos. La escala incluyó ítems como: «Uso ChatGPT para mis tareas del curso», «Estoy enganchado a ChatGPT cuando se trata de estudios» y «ChatGPT es parte de mi vida en el campus».

En la segunda fase del estudio, los investigadores buscaron validar los hallazgos de la primera fase y probar hipótesis específicas relacionadas con el impacto de ChatGPT. La muestra consistió en 494 estudiantes universitarios encuestados en tres momentos, cada uno separado por un intervalo de 1-2 semanas.

Este enfoque de tiempo diferido permitió a los investigadores primero recopilar datos sobre variables predictoras (carga académica, presión temporal, sensibilidad a las recompensas y sensibilidad a la calidad), seguido por la medición del uso de ChatGPT y, finalmente, la evaluación de resultados (procrastinación, pérdida de memoria y rendimiento académico).

Los investigadores encontraron que niveles altos de carga académica y presión temporal fueron predictores significativos de un aumento en el uso de ChatGPT, lo que sugiere que los estudiantes bajo estrés académico significativo son más propensos a recurrir a herramientas de IA generativa para obtener ayuda. Además, el estudio descubrió efectos adversos significativos del uso de ChatGPT en los resultados personales y académicos de los estudiantes. Un mayor apego a ChatGPT se asoció con niveles más altos de procrastinación y pérdida de memoria, y un impacto negativo en el rendimiento académico, reflejado en el promedio de calificaciones de los estudiantes.

A pesar de su utilidad potencial, el uso excesivo de ChatGPT puede conducir a efectos perjudiciales en el comportamiento y los resultados de aprendizaje. Esto destaca la importancia de una comprensión más profunda de cómo la tecnología de IA generativa afecta a los estudiantes en entornos académicos.

Criterios de evaluación y requisitos mínimos de referencia de los méritos y competencias requeridos para obtener la acreditación 2024

Criterios de evaluación y requisitos mínimos de referencia de los méritos y competencias requeridos para obtener la acreditación. ANECA, 2024

Texto completo


La evaluación para la acreditación estatal de los cuerpos docentes universitarios se rige por el procedimiento establecido por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) en aplicación del Real Decreto 678/2023. Se requiere la presentación de un currículo abreviado que destaque las contribuciones más relevantes en investigación, transferencia de conocimiento, docencia y, en el caso de aspirar a Catedrático/a de Universidad (CU), competencias de liderazgo. La evaluación se basa en la selección y narrativa de las contribuciones, considerando su calidad, relevancia e impacto. La evaluación puede ser favorable o desfavorable, siendo necesaria una puntuación mínima de 50 sobre 100 en cada bloque establecido. Los requisitos mínimos varían según el cuerpo docente y el área de especialización, con énfasis en la investigación, la docencia y, en áreas clínicas de Ciencias de la Salud, la actividad profesional. Se establecen excepciones para solicitantes con trayectorias destacadas en investigación internacionalmente reconocida. En el caso de Profesor/a Titular de Escuela Universitaria, la acreditación se otorga a quienes obtengan 90 puntos o más en el bloque de actividad docente, según lo dispuesto en el Real Decreto 678/2023.

Medición de resultados más fácil para bibliotecas universitarias: recursos y herramientas para crear encuestas y analizar datos de resultados

Project Outcome for Academic Libraries 2023

Texto completo

Project Outcome es un conjunto de herramientas gratuitas que ofrece a las bibliotecas acceso a formación, análisis de datos y encuestas estandarizadas que miden los resultados en áreas clave de los servicios bibliotecarios. Project Outcome for Academic Libraries está diseñado para dar a las bibliotecas herramientas simples y recursos de apoyo para ayudar a convertir mejores datos en mejores bibliotecas.

ACRL se complace en anunciar la publicación del informe del año fiscal 2023 para el conjunto de herramientas Project Outcome for Academic Libraries. Los datos de este informe incluyen todas las encuestas y respuestas inmediatas y de seguimiento de las instituciones de los Estados Unidos y abarcan el período comprendido entre el 1 de septiembre de 2022 y el 31 de agosto de 2023.

Project Outcome es un conjunto de herramientas en línea gratuito diseñado para ayudar a las bibliotecas a comprender y compartir el impacto de los programas y servicios bibliotecarios esenciales al proporcionar encuestas simples y un proceso fácil de usar para medir y analizar resultados. Las bibliotecas participantes también reciben los recursos y el apoyo de capacitación necesarios para aplicar sus resultados y abogar con confianza por el futuro de su biblioteca. Las encuestas estandarizadas de Project Outcome permiten a las bibliotecas agregar sus datos de resultados y analizar tendencias por tema de servicio, tipo de programa y a lo largo del tiempo.

Si bien muchas bibliotecas recopilan datos sobre sus programas y servicios, lo que a menudo falta son los datos que indican los beneficios que las bibliotecas brindan a los estudiantes y los objetivos institucionales. Medir los resultados puede proporcionar a las bibliotecas nuevas formas de demostrar su eficacia más allá de los recuentos y las historias de éxito anecdóticas.

Bibliotecas de todo el país utilizan estas herramientas para realizar evaluaciones comparativas, comprender tendencias, abogar por mejores recursos y evaluar. Aprende más sobre la medición de los resultados del aprendizaje para impulsar el cambio, tomar decisiones basadas en datos y demostrar el impacto de los programas y servicios de tu biblioteca.


Áreas de Servicio

Colecciones Digitales y Especiales. Servicios relacionados con las colecciones o recursos de la biblioteca que respaldan la investigación o la instrucción en el aula. Ejemplos incluyen: exhibiciones digitales, repositorios o colecciones archivísticas.

Eventos y Programas Servicios o programas para informar, enriquecer y promover el aprendizaje comunitario. Ejemplos incluyen: exhibiciones, series de conferencias, servicios de participación cívica o actividades de alivio del estrés.

Instrucción Servicios o programas para ayudar a los estudiantes en su trabajo académico y mejorar su aprendizaje. Ejemplos incluyen: sesiones de instrucción en clases, programas de orientación bibliotecaria o talleres sobre temas específicos.

Tecnología de la Biblioteca Servicios relacionados con el acceso y las habilidades que ayudan a los usuarios de la biblioteca a incorporar la tecnología en su trabajo. Ejemplos incluyen: programas de préstamo de tecnología, espacios de creación (maker spaces) o talleres relacionados con la tecnología.

Investigación Servicios para mejorar las habilidades de investigación y ayudar a los investigadores a tener éxito. Ejemplos incluyen: servicios de referencia, servicios de consulta de investigación o talleres para estudiantes de posgrado o profesores.

Espacio Espacios específicos destinados a mejorar el rendimiento académico y apoyar el aprendizaje estudiantil. Ejemplos incluyen: salas de estudio en grupo, espacios de estudio individual o centros de redacción o tutoría.

Apoyo a la Enseñanza Servicios para ayudar a los profesores e instructores a desarrollar planes de estudio y/o materiales de curso que apoyen mejor el aprendizaje estudiantil. Ejemplos incluyen: servicios de REA (Recursos Educativos Abiertos), módulos de aprendizaje en línea o talleres de enseñanza para profesores.

Project Outcome proporciona estas herramientas para que las bibliotecas midan los resultados de sus usuarios:

  • Encuestas Inmediatas: son encuestas de seis preguntas diseñadas para distribuirse inmediatamente después de un programa o servicio, con el objetivo de comprender mejor el impacto inmediato de un programa o servicio en los usuarios.
  • Encuestas de Seguimiento: se utilizan 4-8 semanas después de que se completa un programa o servicio, y ayudan a las bibliotecas a comprender si los usuarios han cambiado su comportamiento o continuado beneficiándose del programa o servicio.
  • Directrices de Medición de Resultados: diseñadas para ayudar a las bibliotecas a realizar métodos avanzados de medición de resultados y demostrar un impacto colaborativo a largo plazo en la comunidad.

El kit de herramientas incluye:

  • Una herramienta de gestión de encuestas donde las bibliotecas pueden crear y personalizar sus encuestas, ingresar y rastrear respuestas, y descargar sus datos sin procesar.
  • Informes predefinidos y personalizables que facilitan a las bibliotecas compartir sus resultados y abogar por sus programas y servicios.
  • Paneles de datos interactivos que ayudan a las bibliotecas a analizar sus resultados.
  • Una variedad de recursos de capacitación, incluidas directrices de medición de resultados, mejores prácticas, estudios de caso y más.

Realidades del compartir datos académicos (RADS): metodología de investigación 2022–2023 encuestas y entrevistas

Association of Research Libraries. «Realities of Academic Data Sharing (RADS) Initiative: Research Methodology 2022–2023 Surveys and Interviews». Accedido 8 de febrero de 2024. https://www.arl.org/resources/realities-of-academic-data-sharing-rads-initiative-research-methodology-2022-2023-surveys-and-interviews/.

El acceso público a los datos de investigación es fundamental para avanzar en la ciencia y resolver problemas del mundo real. En los últimos años, varias agencias de financiamiento han requerido la gestión y el amplio intercambio de datos de investigación y otros resultados relacionados para acelerar los impactos de sus inversiones. En respuesta, muchas instituciones académicas han desarrollado e implementado infraestructuras para apoyar a los profesores en estos requisitos. Estos servicios a menudo están dispersos en toda la institución y se encuentran en varias unidades administrativas, como la tecnología de la información del campus, las bibliotecas universitarias y la oficina de investigación, entre otras. Dada esta naturaleza distribuida, la coordinación de los servicios suele ser informal y el verdadero costo institucional del acceso público a los datos de investigación no se comprende bien.

Este informe describe la metodología de la investigación llevada a cabo durante la primera etapa de la Iniciativa Realities of Academic Data Sharing (RADS) iniciativa financiada por la Fundación Nacional de Ciencias (NSF) de los Estados Unidos, desde 2021 hasta 2023. Se debe considerar como un complemento a los informes finales adicionales de investigación (documentos técnicos) producidos como resultado de esta investigación. Como parte de la Iniciativa RADS, se encuestaron administradores institucionales e investigadores financiados en 2022 y se entrevistaron en 2023 sobre detalles relacionados con los servicios de apoyo y prácticas de compartir datos de investigación, así como sus gastos correspondientes. Si bien la Asociación de Bibliotecas de Investigación (ARL) es la sede administrativa de la Iniciativa RADS, la investigación se llevó a cabo con participantes de las siguientes instituciones: Universidad Cornell, Universidad Duke, Universidad de Michigan, Universidad de Minnesota, Virginia Tech y Universidad de Washington en St. Louis.

Este proyecto aborda las siguientes preguntas de investigación:

¿Dónde están haciendo públicamente accesibles sus datos los investigadores financiados en estas instituciones y cuál es la calidad de los metadatos? ¿Cómo toman los investigadores decisiones sobre por qué y cómo compartir datos de investigación? ¿Cuál es el costo para la institución de implementar la política federal de acceso público a los datos de investigación? Para comprender mejor la perspectiva institucional sobre el acceso público a los datos de investigación, la Iniciativa Realidades del Compartir Datos Académicos (RADS) llevará a cabo investigaciones con equipos institucionales afiliados a DCN para cumplir los siguientes objetivos:

Evaluar el uso de repositorios de acceso público a datos de investigación para descubrir dónde los investigadores comparten más frecuentemente datos de investigación. Realizar un estudio retrospectivo de las prácticas de acceso público a datos de investigación específicas de la disciplina y del formato de los profesores en los campus académicos para desarrollar modelos funcionales basados en servicios e infraestructura para comprender cómo se está llevando a cabo el acceso público a datos de investigación en nuestros campus académicos utilizando recursos institucionales. Recopilar información financiera sobre gastos relacionados con el acceso público a datos de investigación para probar y evaluar los modelos financieros existentes para el acceso público a datos de investigación. Involucrar a la comunidad académica en general en modelos y mejores prácticas.

Estrategias de visibilidad de bibliotecas en redes sociales: cómo comunicar el valor de la biblioteca con éxito.

Alonso-Arévalo, Julio ; Quinde-Cordero, Marlene. Estrategias de visibilidad de bibliotecas en redes sociales: Cómo comunicar el valor de la biblioteca con éxito. Mi biblioteca, n. 74 (2023)

Texto completo

Hoy en día, los medios sociales han adquirido un gran poder informativo para instituciones de todo tipo, sin importar su naturaleza. Estas plataformas ofrecen a las instituciones una oportunidad única para difundir información, establecer conexiones con audiencias más amplias y fomentar la participación y el diálogo con la comunidad. Las redes sociales permiten a las instituciones llegar a públicos específicos, promover sus mensajes y recibir comentarios directos de los usuarios. Todo esto ha provocado un cambio en la forma en que se lleva a cabo el proceso de comunicación, dado el constante crecimiento e influencia del entorno digital, que ha generado nuevas formas de interacción. Se ofrecen pautas y consejos sobre como mejorar la presencia de tu biblioteca en los medios sociales, tales como:

  1. Define tus objetivos: Antes de sumergirte en los medios sociales, establece metas claras. ¿Quieres aumentar la conciencia sobre los servicios de tu biblioteca, promocionar eventos o interactuar con la comunidad? Definir tus objetivos te ayudará a desarrollar una estrategia efectiva.
  2. Conoce a tu audiencia: Investiga y comprende a tu público objetivo. ¿Quiénes son tus usuarios? ¿Qué tipo de contenido les interesa? Al conocer a tu audiencia, podrás crear publicaciones relevantes y atractivas que generen interacción.
  3. Elige las plataformas adecuadas: No es necesario estar presente en todas las redes sociales. Identifica las plataformas que son populares entre tu audiencia y enfócate en ellas. Facebook, Twitter e Instagram son opciones comunes para las bibliotecas, pero también considera otras como LinkedIn o YouTube, según tus necesidades.
  4. Crea contenido de calidad: Genera contenido valioso y relevante para tu audiencia. Comparte información sobre eventos, recomendaciones de libros, recursos educativos y noticias relacionadas con la biblioteca. Utiliza una combinación de texto, imágenes y videos para hacer tus publicaciones más atractivas.
  5. Mantén una frecuencia constante: Establece un calendario de publicaciones y mantén una presencia activa en las redes sociales. Publica regularmente para mantener a tu audiencia comprometida y actualizada sobre las novedades de la biblioteca.
  6. Fomenta la interacción: Anima a tu audiencia a participar y compartir sus opiniones. Realiza preguntas, encuestas o concursos que involucren a los usuarios. Responde a los comentarios y mensajes de manera oportuna para demostrar que valoras su participación.
  7. Utiliza metadatos relevantes: Utilizar metadatos relacionados con temas bibliotecarios o locales te ayudará a aumentar la visibilidad de tus publicaciones y a llegar a una audiencia más amplia.
  8. Colabora con otras instituciones: Establece alianzas con otras bibliotecas, organizaciones culturales o educativas de tu comunidad. Puedes compartir contenido cruzado, realizar eventos conjuntos o mencionar sus actividades en tus publicaciones.
  9. Mide y evalúa los resultados: Utiliza herramientas de análisis para medir el rendimiento de tus publicaciones. Observa qué tipo de contenido funciona mejor y qué genera más interacción. Ajusta tu estrategia en función de los resultados obtenidos.
  10. Mantén una imagen coherente: Asegúrate de que tu presencia en los medios sociales refleje la identidad y los valores de tu biblioteca. Utiliza colores, logotipos y tono de voz consistentes en todas las plataformas.

Un estudio revela que los LLM de los Sistemas de Inteligencia Artificial son parciales y no se ajustan a las preferencias humanas a la hora de evaluar textos

Koo, Ryan, Minhwa Lee, Vipul Raheja, Jong Inn Park, Zae Myung Kim, y Dongyeop Kang. 2023. «Benchmarking Cognitive Biases in Large Language Models as Evaluators». arXiv. https://doi.org/10.48550/arXiv.2309.17012.

En respuesta a la creciente preocupación sobre los posibles sesgos en los LLMs y su impacto en aplicaciones del mundo real, se llevó a cabo un estudio. El estudio se centró en analizar 15 LLMs diferentes utilizando el «Cognitive Bias Benchmark for LLMs as EvaluatoRs» (CoBBLEr). La motivación principal detrás de esta investigación fue identificar y mitigar sesgos que podrían llevar a preferencias injustas y disparidades en las evaluaciones de texto.

El estudio revela que los grandes modelos de lenguaje exhiben sesgos cognitivos y no se alinean con las preferencias humanas en la evaluación de textos. Entender estos sesgos es crucial, ya que los LLMs se utilizan cada vez más en aplicaciones del mundo real, desde recomendaciones de contenido hasta la evaluación de solicitudes de empleo. Cuando estos modelos son sesgados, pueden tomar decisiones o hacer predicciones que son injustas o inexactas.

Imaginemos un sistema de inteligencia artificial utilizado para evaluar solicitudes de empleo. El sistema utiliza un gran modelo de lenguaje para evaluar la calidad de la carta de presentación. Pero si ese modelo tiene un sesgo inherente, como favorecer textos más largos o ciertas palabras clave, podría favorecer injustamente a algunos solicitantes sobre otros, incluso si no son necesariamente más calificados.

Sesgos Cognitivos en LLMs: Investigadores de la Universidad de Minnesota y Grammarly realizaron un estudio para medir los sesgos cognitivos en los grandes modelos de lenguaje cuando se utilizan para evaluar automáticamente la calidad del texto.

El equipo de investigación seleccionó 15 LLMs de cuatro rangos de tamaño diferentes y analizó sus respuestas. Se les pidió a los modelos que evaluaran las respuestas de otros LLMs, por ejemplo, «System Star es mejor que System Square».

Para este propósito, los investigadores introdujeron el «COgnitive Bias Benchmark for LLMs as EvaluatoRs» (COBBLER), un referente para medir seis sesgos cognitivos diferentes en las evaluaciones de LLMs.

Resultados y Conclusiones: El estudio muestra que los LLMs presentan sesgos al juzgar la calidad del texto. Se identificaron sesgos clave, como la egocentricidad y la preferencia de orden, ambos con el potencial de influir en la evaluación del contenido de texto. Las implicaciones de estos sesgos son particularmente críticas en aplicaciones como la recomendación de contenido y la selección de solicitudes de empleo, donde los LLMs desempeñan un papel crucial en la toma de decisiones. Los investigadores también examinaron la correlación entre las preferencias humanas y las preferencias de la máquina, encontrando que estas no se alinean estrechamente (superposición de sesgos de rango: 49.6%).

Según el equipo de investigación, los resultados sugieren que los LLMs no deberían utilizarse para la anotación automática basada en preferencias humanas. Incluso los modelos ajustados a instrucciones o entrenados con retroalimentación humana mostraron diversos sesgos cognitivos al utilizarse como anotadores automáticos.

La baja correlación entre las calificaciones humanas y las calificaciones de la máquina sugiere que las preferencias de la máquina y las humanas generalmente no están muy cercanas. Esto plantea la pregunta de si los LLMs son capaces de proporcionar calificaciones justas en absoluto.

Con capacidades de evaluación que incluyen varios sesgos cognitivos y un bajo porcentaje de acuerdo con las preferencias humanas, los hallazgos sugieren que los LLMs aún no son adecuados como evaluadores automáticos justos y confiables.

Soluciones Propuestas:

  1. Algoritmos de Mitigación de Sesgos: Desarrollar e implementar algoritmos que puedan identificar y mitigar sesgos en los LLMs, asegurando evaluaciones justas y objetivas.
  2. Actualizaciones Regulares de Evaluación: Establecer un sistema de evaluación continua y actualizaciones para los LLMs, con el fin de abordar sesgos emergentes y mejorar su alineación con las preferencias humanas.
  3. Transparencia y Explicabilidad: Mejorar la transparencia y explicabilidad de los LLMs para proporcionar información sobre sus procesos de toma de decisiones, permitiendo una mejor comprensión y rendición de cuentas.
  4. Datos de Entrenamiento Diversificados: Asegurar que los LLMs se entrenen con conjuntos de datos diversos que representen con precisión la variedad de perspectivas y voces en la sociedad, reduciendo el riesgo de resultados sesgados.

Conclusión: Los hallazgos del estudio subrayan la necesidad de medidas proactivas para abordar los sesgos cognitivos en los LLMs. Al implementar las soluciones propuestas, podemos mejorar la confiabilidad y equidad de los LLMs, haciéndolos más adecuados para aplicaciones del mundo real donde el juicio imparcial es crucial. Esta investigación sirve como base para los esfuerzos continuos destinados a mejorar el uso ético y responsable de la inteligencia artificial en los procesos de toma de decisiones

Los artículos con múltiples autores tienen una ventaja significativa en términos de citas

Tian, Wencan, Ruonan Cai, Zhichao Fang, Yu Geng, Xianwen Wang, y Zhigang Hu. 2024. «Understanding Co-Corresponding Authorship: A Bibliometric Analysis and Detailed Overview». Journal of the Association for Information Science and Technology 75 (1): 3-23. https://doi.org/10.1002/asi.24836.

El artículo se centra en el fenómeno cada vez más común de la coautoría conjunta. La investigación utiliza un conjunto de datos que abarca casi 8 millones de artículos indexados en la Web of Science, proporcionando una evidencia sistemática, interdisciplinaria y a gran escala para entender este fenómeno. Los hallazgos revelan proporciones más altas de coautoría conjunta en países asiáticos, especialmente en China. Desde la perspectiva de las disciplinas, se observa una proporción relativamente más alta en los campos de ingeniería y medicina, en contraste con una menor proporción en humanidades, ciencias sociales e informática. A nivel de revistas, se destaca que las publicaciones de alta calidad tienden a tener proporciones más elevadas de coautoría conjunta. Además, el artículo demuestra que los artículos con múltiples autores correspondientes tienen una ventaja significativa en términos de citas, en comparación con aquellos con un solo autor correspondiente.

En resumen, este estudio analiza el creciente uso de la coautoría conjunta como medio para compartir el reconocimiento de la autoría, ofreciendo un análisis exhaustivo basado en un conjunto de datos de 8 millones de artículos académicos. Los hallazgos destacan un aumento constante en la proporción de coautoría conjunta, alcanzando el 13.92% en 2020 desde el 9.84% en 2016. China, Corea del Sur y Singapur surgen como los tres países con las proporciones más altas. Los campos de ingeniería y medicina muestran una mayor prevalencia de coautoría conjunta.

A nivel de revista, existen variaciones entre editores y países anfitriones, siendo las revistas de alta calidad más propensas a aceptar artículos con coautoría conjunta. El estudio establece una ventaja en citaciones para la coautoría conjunta. La adopción generalizada de esta práctica destaca la necesidad de pautas dentro de la comunidad académica para gobernar las circunstancias y métodos apropiados para compartir el crédito entre los autores. Algunas revistas han implementado medidas, como detallar contribuciones específicas o limitar los autores correspondientes por publicación.

El estudio sugiere la importancia de explorar métodos innovadores para evaluar y recompensar el rendimiento académico en respuesta a esta tendencia. Las recomendaciones incluyen la revisión de criterios nacionales de evaluación del rendimiento en investigación, el establecimiento de una «Base de Datos de Autoría» para monitorear firmantes frecuentes de coautoría conjunta y promover la transparencia a nivel de revista mediante la definición de políticas sobre la identidad de los autores correspondientes conjuntos.

No obstante, el estudio reconoce limitaciones, como el enfoque exclusivo en el tipo de literatura «artículo» y posibles sesgos en los resultados debido al alcance de cobertura de la Web of Science. Futuras investigaciones podrían extenderse a otros tipos de literatura y bases de datos para un análisis más completo. Además, explorar desde la perspectiva de científicos individuales podría revelar patrones de colaboración variables entre autores correspondientes conjuntos y la relación entre las cualificaciones de los científicos y su disposición a actuar como autores correspondientes conjuntos.

Toolkit para medir y demostrar el valor y el impacto de las bibliotecas en la comunidad

ONTARIO, O.L.S.| S. des bibliothèques, [2023]. Resources Home: Valuing Ontario Libraries Toolkit (VOLT): News and Updates. [en línea]. [consulta: 1 diciembre 2023].

https://resources.olservice.ca/volt

El Toolkit para Valorar Bibliotecas de Ontario (VOLT) está diseñado para ayudar a las bibliotecas públicas de Ontario a medir y demostrar su valor e impacto en la comunidad. El propósito es, en última instancia, ayudarte a compartir estas contribuciones con los consejos, tomadores de decisiones y partes interesadas de tu comunidad; reflejando las realidades únicas de las áreas que sirves. Al hacerlo, puedes utilizarlo para abogar por una inversión más grande (o sostenida) o un compromiso con el trabajo de la biblioteca pública en tu comunidad.

El toolkit es una guía paso a paso para tomar información que ya recopilas regularmente y organizarla en un Informe de Valor de la Biblioteca (compuesto por cálculos del Retorno Social de la Inversión (SROI), que se puede utilizar para compartir el impacto de la biblioteca pública con un público más amplio.

El marco de este toolkit se basa en trabajos anteriores que crearon un toolkit para las bibliotecas del norte de Ontario para demostrar su Retorno Social de la Inversión (SROI). Basándose en el éxito de ese toolkit y la demanda de una herramienta aplicable a nivel provincial.

Basado en una revisión de desarrollos recientes de investigación y aportes de partes interesadas, el marco presentado aquí representa a las bibliotecas públicas como infraestructura cultural y social que crea beneficios individuales, organizativos y comunitarios en siete dominios clave: Educación, Cultura, Inclusión y Bienestar, Entretenimiento y Ocio, Desarrollo Económico, Compromiso Cívico y Espacio. Cada uno de estos dominios tiene un papel único en la hoja de cálculo de valor SROI.

Entendiendo el Retorno Social de la Inversión (SROI) En su forma más básica, los cálculos del Retorno Social de la Inversión (SROI) toman algo que se ofrece de forma gratuita y le asignan un valor monetario. SROI es un enfoque para representar el valor de una organización o iniciativa que proporciona estimaciones monetarias (es decir, valores en dólares) a los beneficios creados por bienes, programas o servicios que típicamente no tienen un valor monetario.

SROI y las Bibliotecas Públicas de Ontario SROI aborda uno de los desafíos clave que enfrentan las bibliotecas públicas al comunicar la contribución que hacen a sus comunidades: ¿Cómo demostramos el valor de un servicio que se ofrece a poco o ningún costo? Donde el éxito de un negocio se mide típicamente por cuánto ingreso o ganancia genera, el impacto de las bibliotecas públicas, al igual que otros servicios e instituciones sin fines de lucro, no siempre es tan fácil de medir. En palabras de un bibliotecario que participó en el desarrollo de este toolkit, «Las bibliotecas públicas existen para ahorrar dinero a las personas, no para hacerles dinero».

España quiere cambiar su forma de evaluar a los científicos y acabar con la «dictadura de los artículos».

«Spain Wants to Change How It Evaluates Scientists—and End the ‘Dictatorship of Papers’». Accedido 30 de noviembre de 2023. https://www.science.org/content/article/spain-wants-change-how-it-evaluates-scientists-and-end-dictatorship-papers.

El muy criticado sistema español de evaluación de científicos, en el cual el único criterio para el avance profesional es la publicación de artículos, está listo para ser reformado según las nuevas propuestas de la Agencia Nacional de Evaluación y Acreditación (ANECA) del país.

Las reformas, anunciadas a principios de este mes, verían por primera vez a los investigadores de las universidades públicas de España evaluados por una variedad de resultados además de los artículos, y también se fomentaría la distribución de hallazgos a través de plataformas de acceso abierto. Muchos científicos están dando la bienvenida a este cambio, diciendo que ayudará a la academia a dejar atrás un sistema que ha sido descrito como el establecimiento de una «dictadura de artículos».

Actualmente, ANECA evalúa el «rendimiento investigador» de los académicos cada 6 años. Para obtener un modesto aumento salarial y ser elegibles para ascensos, los investigadores deben demostrar que han publicado un mínimo de cinco artículos durante ese período en revistas de alto impacto indexadas en el Journal Citation Reports (JCR), una base de datos producida por la empresa de análisis editorial Clarivate. Cumplir con este objetivo también permite a los científicos supervisar a estudiantes de doctorado y ser enumerados como investigadores principales en sus universidades, lo que les brinda acceso a un presupuesto más amplio.

El gobierno español introdujo este sistema en 1994 en un esfuerzo por aumentar la productividad de los investigadores del país. Y tuvo éxito: para 2021, España ocupaba el puesto 11 a nivel mundial en producción científica, con más de 100.000 publicaciones anuales, según el Ministerio de Ciencia e Innovación.

Pero muchos académicos dicen que el sistema ha tenido un impacto negativo en la calidad de su trabajo y en la ciencia en general. Desencadenó «una máquina insaciable de publicación de artículos», según Ángel Delgado Vázquez, jefe del Servicio de Apoyo al Aprendizaje e Investigación en la Universidad Pablo de Olavide. Los investigadores pueden trabajar frenéticamente para cumplir con el objetivo, publicando un artículo cada 2 días. Otros han tomado atajos, publicando artículos de baja calidad o buscando fraudulentamente la coautoría; algunos han admitido recibir pagos de investigadores en Arabia Saudita o India para coautorar artículos en los que no contribuyeron. Los críticos dicen que el sistema también ha alentado a los investigadores a priorizar la publicación sobre la enseñanza y a utilizar fondos públicos para pagar tarifas de procesamiento de artículos cada vez más altas impuestas por algunas revistas.

Bajo el nuevo sistema, ANECA quiere que las evaluaciones consideren una gama más amplia de resultados de investigación, incluyendo «publicaciones, patentes, informes, estudios, trabajos técnicos, obras artísticas, exposiciones, excavaciones arqueológicas, [y la] creación de registros bibliográficos». Los evaluadores ya no solo tendrán en cuenta el factor de impacto de las revistas en las que publican los científicos, sino también detalles como si la investigación llega a audiencias no académicas a través de informes de noticias o documentos gubernamentales. Los artículos también obtendrán una puntuación más alta cuando se produzcan en colaboración con comunidades locales u otros autores no académicos. Y en un intento de reducir el nivel de fondos públicos gastados en costos de publicación, los evaluadores tendrán en cuenta los artículos publicados en plataformas de publicación de acceso abierto no comerciales que no cobran tarifas a los autores, como Open Research Europe.

Los cambios son un intento de corregir un sistema que ha priorizado «cantidad sobre calidad» y de «reconocer que hay diferentes formas de hacer ciencia», según Pilar Paneque, directora de ANECA. También espera que el nuevo sistema ayude a reducir el fraude en la publicación. (Delgado Vázquez, por su parte, cree que «sin duda contribuirá a erradicar prácticas poco éticas»).

Las propuestas son una «apuesta audaz», según Núria Benítez Monforte, administradora de investigación en el Instituto Catalán de Nanociencia y Nanotecnología. Pero otros dicen que se necesita una reforma aún más radical. Por ejemplo, la científica de la información Eva Méndez, miembro de la Junta Directiva de la Coalición para el Avance de la Evaluación de la Investigación, sostiene que los ciclos de evaluación de 6 años deberían abolirse por completo, porque «solo sirven para enriquecer a las principales editoriales científicas, aumentando la frustración de los investigadores más jóvenes».

ANECA está revisando actualmente unos 600 comentarios que ha recibido sobre sus propuestas de cambios, con el objetivo de finalizar el nuevo sistema de evaluación a finales de este mes. Si todo sale según lo planeado, entraría en vigencia el 1 de enero de 2024.