Archivo de la etiqueta: Evaluación

Consideraciones sobre la evaluación de herramientas de IA generativa en el ámbito académico

Hendrick, R . «Considering RAG When Evaluating Generative AI Tools», Choice 360 13 de mayo de 2024. https://www.choice360.org/libtech-insight/considering-rag-when-evaluating-generative-ai-tools/.

La evaluación de herramientas de inteligencia artificial generativa (IA) requiere considerar varios aspectos, especialmente en el ámbito académico. La introducción de la Retrieval Augmented Generation (RAG) ha añadido una nueva dimensión a esta evaluación, destacando la importancia de comprender su funcionamiento y sus implicaciones para la investigación.

La creciente proliferación de herramientas de IA ha generado un desafío para los bibliotecarios académicos, quienes se enfrentan a la tarea de evaluar y seleccionar las herramientas más adecuadas para sus instituciones. En medio de esta diversidad de opciones, es esencial entender las distintas categorías de aplicaciones de IA, desde la IA conversacional hasta la IA generativa, y reconocer cómo estas aplicaciones pueden impactar en la investigación y el aprendizaje.

En particular, la IA generativa, que tiene la capacidad de crear nueva información, ha despertado el interés de la comunidad académica. Sin embargo, estas herramientas también plantean desafíos éticos y prácticos, como la falta de citas, la propensión a las alucinaciones y las preocupaciones sobre los derechos de autor y la privacidad del usuario.

Es aquí donde entra en juego la RAG. Esta tecnología, al mejorar las capacidades de las redes neuronales de la IA generativa, ofrece una solución parcial a estos problemas al permitir la incorporación de nueva información, la optimización de resultados y la provisión de citas y enlaces para los resultados de búsqueda. La RAG representa un paso importante hacia la creación de herramientas de IA generativa que sean verdaderamente útiles y confiables para la educación superior.

La diferencia entre una herramienta de IA generativa estándar y una herramienta que utiliza RAG es evidente en la experiencia del usuario. Mientras que las herramientas convencionales pueden ofrecer respuestas imprecisas o incompletas, aquellas que emplean RAG pueden proporcionar resultados más precisos y fiables, junto con la capacidad de personalizar la búsqueda y verificar las fuentes de información.

Invertir en bibliotecas escolares y bibliotecarios para mejorar los resultados de la alfabetización

Center for American Progress. «Investing in School Libraries and Librarians To Improve Literacy Outcomes», 18 de abril de 2024. https://www.americanprogress.org/article/investing-in-school-libraries-and-librarians-to-improve-literacy-outcomes/.

El papel de las bibliotecas y bibliotecarios escolares es fundamental para revertir los bajos puntajes en las evaluaciones de lectura. Sin embargo, estos recursos a menudo se consideran un lujo en lugar de una parte esencial del sistema educativo público. Más de 50 años de investigación respaldan la idea de que los estudiantes con acceso a bibliotecas escolares bien dotadas y a bibliotecarios certificados tienen un mejor rendimiento académico. A pesar de esto, desde el año 2000 ha habido una disminución del 20% en los puestos de bibliotecarios escolares en Estados Unidos, lo que equivale a 10.000 bibliotecarios menos en todo el país. Se ha observado una correlación positiva entre programas de bibliotecas escolares sólidos y el logro estudiantil, incluso cuando se incluye el estatus socioeconómico.

Los datos muestran que la presencia de un bibliotecario de tiempo completo está asociada con un aumento en los puntajes de lectura avanzada. Los estudiantes de grupos vulnerables, como aquellos de minorías raciales o con discapacidades, se benefician especialmente de las bibliotecas escolares bien equipadas. Es necesario aumentar la financiación para las bibliotecas escolares y exigir la presencia de bibliotecarios certificados a tiempo completo en cada escuela. Además, las definiciones de los bibliotecarios escolares en las encuestas federales deben actualizarse para reflejar las certificaciones estatales. Integrar las bibliotecas escolares como indicadores de rendimiento en los planes de rendición de cuentas estatales también puede proporcionar una visión más completa de su impacto en el logro estudiantil. En conclusión, es fundamental invertir en las bibliotecas escolares y los bibliotecarios para mejorar los resultados educativos y promover una ciudadanía informada y comprometida.

Algunas recomendaciones:

  1. Aumentar la financiación de las bibliotecas escolares: Las bibliotecas escolares a menudo sufren recortes presupuestarios o falta de financiamiento en general, lo que afecta su efectividad. Se propone el «Right to Read Act» para aumentar la financiación federal para las bibliotecas escolares, pero también se insta a los responsables de políticas estatales y locales a aumentar los niveles de financiamiento para garantizar que todas las escuelas tengan acceso a una biblioteca bien equipada y a un bibliotecario certificado.
  2. Exigir la presencia de bibliotecarios escolares: Algunos estados ya requieren que los distritos escolares tengan bibliotecarios certificados en todas sus escuelas, y se observa que los estados emplean más bibliotecarios escolares cuando tienen mandatos al respecto. Se insta a los responsables de políticas a codificar la importancia de los bibliotecarios escolares y garantizar un financiamiento adecuado para sus posiciones.
  3. Actualizar los datos federales de las bibliotecas escolares con definiciones apropiadas: La definición actual de quién califica como bibliotecario escolar utilizada por NCES es obsoleta, lo que puede afectar negativamente la precisión de los datos. Se sugiere actualizar esta definición para garantizar que los bibliotecarios sean certificados por el estado.
  4. Incluir las bibliotecas escolares como indicadores escolares en los planes de rendición de cuentas estatales: Se alienta a los estados a incluir las bibliotecas escolares y los bibliotecarios como indicadores en los paneles de oportunidades de ESSA, así como a agregar indicadores adicionales que hablen sobre la disponibilidad de recursos y servicios de las bibliotecas escolares. Esto permitiría una mejor evaluación de cómo las bibliotecas escolares sirven a los estudiantes y la creación de planes medibles para mejorarlas.

Declaración de Barcelona. Los investigadores necesitan bases de datos bibliográficas «abiertas»

Barcelona Declaration on Open Research Information

Español

Los investigadores necesitan bases de datos bibliográficas «abiertas», según una nueva declaración Las principales plataformas, como Web of Science, ampliamente utilizadas para generar métricas y evaluar a los investigadores, están protegidas por derechos de propiedad intelectual.


Cuando las universidades están decidiendo a quién contratar y promocionar, o cuando las organizaciones de financiamiento están seleccionando proyectos para financiar, es muy probable que estén consultando más que solo los materiales de solicitud. Muchas organizaciones confían en bases de datos que recopilan información sobre publicaciones, incluidos autores, afiliaciones, citas y fuentes de financiamiento, para crear métricas destinadas a cuantificar la productividad de un investigador y la calidad de su trabajo.

Algunas de las bases de datos más conocidas, como Web of Science y Scopus, son propietarias y ofrecen datos y servicios de acceso pago que respaldan estas y otras métricas, incluidos los rankings universitarios y los factores de impacto de las revistas. Pero en una declaración publicada hoy, más de 30 organizaciones de investigación y financiamiento llaman a la comunidad a comprometerse con plataformas que, en cambio, sean gratuitas para todos, más transparentes sobre sus métodos y sin restricciones sobre cómo se puede utilizar los datos.

La Declaración de Barcelona sobre la Información de Investigación Abierta afirma que «en un momento en que la toma de decisiones en ciencia está cada vez más guiada por indicadores y análisis, abordar los problemas de la información de investigación cerrada debe ser una prioridad absoluta». Los firmantes hasta ahora incluyen a financiadores como la Fundación Bill y Melinda Gates y la Agencia Nacional de Investigación de Francia, así como a más de una docena de instituciones académicas.

La Universidad de la Sorbona, que canceló su suscripción a Web of Science el año pasado y cambió a una plataforma más nueva y abierta llamada OpenAlex, dijo en un comunicado que “al firmar la Declaración, queremos demostrar que no solo este movimiento hacia la información de investigación abierta debería ser un objetivo, sino que también se puede lograr”. El cambio puede ayudar a remediar el enfoque de las bases de datos existentes en las revistas en inglés, dicen los defensores. También podría ayudar a mejorar “la circulación del conocimiento científico y local producido en diferentes idiomas, formatos y en diferentes regiones geográficas”, dice otro signatario, el Consejo Latinoamericano de Ciencias Sociales a través del Foro Latinoamericano para la Evaluación Científica.

Jason Portenoy, ingeniero de datos senior en OurResearch, reconoce esta necesidad de aporte de la comunidad, diciendo que es comprensible que las instituciones puedan dudar en volver a hacer el trabajo. “Pero la diferencia es que con OpenAlex, está sucediendo de manera abierta”, dice. Cualquier brecha en la calidad de los datos se está cerrando rápidamente, agrega Jason Priem, CEO de OurResearch. “OpenAlex está evolucionando muy rápidamente, y a menudo los problemas descubiertos por nuestra comunidad se solucionan en unos pocos meses”. Cuando uno de los coordinadores de la declaración, Ludo Waltman, director científico del Centro de Estudios de Ciencia y Tecnología en la Universidad de Leiden, y colegas recientemente usaron OpenAlex para clasificar más de 1400 universidades en todo el mundo, concluyeron que, aunque necesita mejorar, el enfoque produjo “datos de calidad sorprendentemente buenos”.

Daniel Hook, CEO de Digital Science, que opera la base de datos propietaria Dimensions, acoge esta idea. (Dimensions ya ofrece una versión gratuita para uso no comercial, aunque los usuarios deben suscribirse para acceder a todas las funciones). Sin embargo, Hook dice que tal transición llevará tiempo. Las bases de datos propietarias necesitan recuperar los costos de establecer, mejorar y mantener conjuntos de datos tan grandes, un desafío que los equivalentes abiertos como OpenAlex también podrían enfrentar a largo plazo.

La declaración es un «excelente desarrollo», dice Elizabeth Gadd, experta en comunicaciones académicas y jefa de cultura e evaluación de investigación e innovación en la Universidad de Loughborough, que no estuvo involucrada en su preparación. “Muchas organizaciones han hecho compromisos públicos con prácticas de investigación abierta pero continúan utilizando fuentes de datos bibliográficos cerradas y comerciales para análisis de investigación”. El anuncio debería “estimular a una gama más amplia de organizaciones a ‘poner su dinero donde está su boca’”.

Con ese fin, los partidarios de la declaración esperan establecer una Coalición para la Información de Investigación Abierta para planificar los próximos pasos, dice la coordinadora Bianca Kramer, experta en comunicaciones académicas de la consultora Sesame Open Science. “Queremos facilitar que las organizaciones trabajen hacia esa transición, entre otras cosas, beneficiándose de la experiencia de los demás y explorando la acción colectiva”.

COMPROMISOS


1 – Haremos que la apertura sea la norma para la información de investigación que utilizamos y producimos

  • La apertura será la norma para la información sobre investigación que utilizamos, por ejemplo, para evaluar a investigadores e instituciones, apoyar la toma de decisiones estratégicas y encontrar resultados de investigación relevantes.
  • La apertura será la norma para la información de investigación que produzcamos, por ejemplo, la información sobre nuestras actividades y resultados, con excepción de la información cuya apertura sería inapropiada (‘tan abierta como sea posible y tan
    cerrada como sea necesario’


2. – Trabajaremos con servicios y sistemas que apoyen y hagan posible
la información abierta sobre investigación

  • En cuanto a los servicios y plataformas de publicación, requeriremos que la información de investigación generada en los procesos de publicación (por ejemplo, metadatos de artículos de investigación y otros resultados) esté disponible de forma abierta a través de infraestructuras académicas abiertas, utilizando protocolos e identificadores estándar cuando estén disponibles.
  • En el caso de los sistemas y plataformas para la gestión interna de la información de investigación (por ejemplo, los actuales sistemas de información de investigación), requeriremos que toda la información de investigación pertinente pueda exportarse y hacerse abierta, utilizando protocolos e identificadores estándares cuando estén disponibles.


3. Apoyaremos la sostenibilidad de las infraestructuras para la información abierta sobre investigación

  • Asumimos la responsabilidad de apoyar infraestructuras para la información abierta sobre investigación, por ejemplo participando en la creación de comunidades y en la gobernanza de las mismas y aportando contribuciones justas y equitativas a la estabilidad financiera y al desarrollo de estas infraestructuras.
  • Esperamos que las infraestructuras que apoyamos apliquen buenas prácticas
    de gobernanza comunitaria y sostenibilidad (por ejemplo, los Principios de la
    Infraestructura Académica Abierta).


4. Apoyaremos actuaciones colectivas para acelerar la transición hacia la apertura de la información sobre investigación

  • Reconocemos la importancia de compartir experiencias y coordinar acciones para promover en todo el sistema la transición de cerrada a abierta de la información de investigación.
  • Para facilitarlo, apoyamos la creación de una Coalición para la Información
    Abierta sobre Investigación y el refuerzo de la colaboración con otras iniciativas y organizaciones afines.

Cómo una biblioteca ahorró 35 millones de dólares a los estudiantes

Leading with the library how one university positioned its library as a central hub for innovation and strategic partnerships. The University of South Florida, 2024

Texto completo

El papel de la biblioteca universitaria está evolucionando, presentando a los líderes la oportunidad de reimaginar sus bibliotecas como colaboradores estratégicos y creadores de contenidos innovadores.

En este estudio de caso, lea cómo la Universidad del Sur de Florida capacitó a su biblioteca para definir un enfoque de investigación, contratar especialistas de campo para desarrollar colecciones de vanguardia y ampliar el acceso a nivel mundial, al tiempo que aborda cuestiones universales como el aumento de los costes de los libros de texto.

Los costos de los libros de texto universitarios aumentan en promedio un seis por ciento cada año, duplicándose cada 11 años, según la Iniciativa de Datos Educativos. En un momento en que se cuestiona el valor de la educación universitaria y las instituciones buscan formas de ampliar el acceso, hacer que los materiales de instrucción sean más asequibles es una prioridad. USF comenzó a explorar la creación de un Programa de Asequibilidad de Libros de Texto hace más de una década, reconociendo cómo estos costos impactaban en el éxito de los estudiantes. El equipo de la biblioteca se enfocó en los miembros de la facultad como clave para el éxito del programa y les proporcionó datos sobre los costos para los estudiantes y alternativas de acceso abierto a los libros de texto y materiales de instrucción tradicionales. Armados con esos detalles, la facultad adoptó el programa y la idea detrás de él. «Les importaba el problema y solo necesitaban información precisa para tomar la decisión correcta para nuestros estudiantes», dice Chávez.

El trabajo ha ahorrado a los estudiantes más de 35 millones de dólares desde 2016 y ha reducido el costo promedio de los libros de texto por hora de crédito de pregrado de USF de más de 65$ en 2016 a 20.60$ en 2023. Las bibliotecas también pueden apoyar el éxito de los estudiantes de otras maneras. Dahlia Thomas accedió a los recursos de la biblioteca como estudiante de arte de estudio de pregrado que trabajaba en dos empleos mientras tomaba clases a tiempo completo. Su experiencia coincidió con el cambio más amplio hacia la digitalización de contenido y servicios. Colecciones especiales que antes requerían visitar la biblioteca en persona debido a su tamaño o restricciones de derechos de autor ahora podían ser accedidas desde cualquier lugar. «Ver las colecciones en línea me ahorró tiempo en piezas de arte, ensayos de historia del arte y trabajos de humanidades», dice Thomas, quien ahora se desempeña como Coordinadora de Operaciones de Historia Oral de las Bibliotecas de USF.

Hoy, las Bibliotecas de USF están creando contenido en 3D para colecciones digitales que preservan artefactos, como tallados en piedra mesoamericanos centenarios que están siendo erosionados por la lluvia ácida, que la mayoría de las personas nunca verán en dos dimensiones, y mucho menos en tres. Está liderando una iniciativa a nivel institucional para hacer que los libros de texto sean más asequibles para los estudiantes. Está enviando especialistas de bibliotecas a bordo de barcos para facilitar el proceso de gestión de datos que apoya a los científicos en el mar que intentan comprender las implicaciones de la explosión y derrame de petróleo del Deepwater Horizon de 2010. Y se aventura en cuevas junto a investigadores que exploran terrenos kársticos globales que proporcionan agua para más de mil millones de personas en todo el mundo. Desde su disposición para cambiar rápidamente en medio de una pandemia mundial en desarrollo hasta el trabajo orientado al futuro que realiza ahora, el equipo de Chávez ha empujado repetidamente los límites tradicionales en torno a los recursos y servicios que proporcionan las bibliotecas académicas. «Las bibliotecas universitarias a menudo han sido lentas para cambiar, lo que puede dificultar establecer un caso de relevancia», dice Chávez. «Muchas bibliotecas reformatean sus colecciones digitalmente o compran contenido digital, lo organizan y lo hacen accesible. Nosotros también hacemos esas cosas. Pero no muchas otras bibliotecas salen al campo para crear contenido utilizando tecnología 3D, de imágenes y geoespacial. No somos la biblioteca de tus abuelos». Las bibliotecas que persiguen este tipo de trabajo están comprometidas con comprender los mayores desafíos de la sociedad, lo que se alinea con los objetivos de la Asociación de Universidades Americanas de servir al bien público y contribuir al ecosistema de conocimiento global. Y están posicionadas para ayudar a las comunidades y a los socios estratégicos a navegar por un paisaje de aprendizaje e investigación impulsado por la tecnología que cambia minuto a minuto.

Un estudio asocia ChatGPT con procrastinación, disminución del rendimiento académico y pérdida de memoria

Abbas, Muhammad, Farooq Ahmed Jam, y Tariq Iqbal Khan. «Is it harmful or helpful? Examining the causes and consequences of generative AI usage among university students». International Journal of Educational Technology in Higher Education 21, n.o 1 (16 de febrero de 2024): 10. https://doi.org/10.1186/s41239-024-00444-7.


El informe muestra que los estudiantes recurren a ChatGPT, una herramienta de IA, debido a la carga académica y la falta de tiempo, pero su uso está vinculado con procrastinación, pérdida de memoria y un rendimiento académico decreciente. Aunque puede ser útil bajo ciertas circunstancias, su uso excesivo puede tener efectos negativos en el aprendizaje. Los hallazgos destacan la importancia de comprender los impactos de la IA generativa en la educación.

Un nuevo estudio publicado en International Journal of Educational Technology in Higher Education revela que los estudiantes tienden a recurrir a ChatGPT, una herramienta de inteligencia artificial generativa, cuando enfrentan una carga académica aumentada y limitaciones de tiempo. Además, el estudio indica una tendencia preocupante: la dependencia de ChatGPT se asocia con la procrastinación, pérdida de memoria y una disminución en el rendimiento académico. Estos hallazgos arrojan luz sobre el papel de la IA generativa en la educación, sugiriendo tanto su uso generalizado como posibles desventajas.

El interés detrás de esta investigación surge del crecimiento explosivo de las tecnologías de IA generativa en entornos educativos. A pesar de su potencial para ayudar en el aprendizaje e investigación, hay una creciente preocupación entre los educadores sobre su mal uso, especialmente en relación con la integridad académica. Estudios anteriores se han centrado en discusiones teóricas sin muchos datos empíricos para respaldar las afirmaciones.

Para comprender estas dinámicas, el estudio se llevó a cabo en dos fases. Inicialmente, los investigadores desarrollaron y validaron una escala para medir el uso de ChatGPT por parte de estudiantes universitarios con fines académicos. La escala incluyó ítems como: «Uso ChatGPT para mis tareas del curso», «Estoy enganchado a ChatGPT cuando se trata de estudios» y «ChatGPT es parte de mi vida en el campus».

En la segunda fase del estudio, los investigadores buscaron validar los hallazgos de la primera fase y probar hipótesis específicas relacionadas con el impacto de ChatGPT. La muestra consistió en 494 estudiantes universitarios encuestados en tres momentos, cada uno separado por un intervalo de 1-2 semanas.

Este enfoque de tiempo diferido permitió a los investigadores primero recopilar datos sobre variables predictoras (carga académica, presión temporal, sensibilidad a las recompensas y sensibilidad a la calidad), seguido por la medición del uso de ChatGPT y, finalmente, la evaluación de resultados (procrastinación, pérdida de memoria y rendimiento académico).

Los investigadores encontraron que niveles altos de carga académica y presión temporal fueron predictores significativos de un aumento en el uso de ChatGPT, lo que sugiere que los estudiantes bajo estrés académico significativo son más propensos a recurrir a herramientas de IA generativa para obtener ayuda. Además, el estudio descubrió efectos adversos significativos del uso de ChatGPT en los resultados personales y académicos de los estudiantes. Un mayor apego a ChatGPT se asoció con niveles más altos de procrastinación y pérdida de memoria, y un impacto negativo en el rendimiento académico, reflejado en el promedio de calificaciones de los estudiantes.

A pesar de su utilidad potencial, el uso excesivo de ChatGPT puede conducir a efectos perjudiciales en el comportamiento y los resultados de aprendizaje. Esto destaca la importancia de una comprensión más profunda de cómo la tecnología de IA generativa afecta a los estudiantes en entornos académicos.

Criterios de evaluación y requisitos mínimos de referencia de los méritos y competencias requeridos para obtener la acreditación 2024

Criterios de evaluación y requisitos mínimos de referencia de los méritos y competencias requeridos para obtener la acreditación. ANECA, 2024

Texto completo


La evaluación para la acreditación estatal de los cuerpos docentes universitarios se rige por el procedimiento establecido por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) en aplicación del Real Decreto 678/2023. Se requiere la presentación de un currículo abreviado que destaque las contribuciones más relevantes en investigación, transferencia de conocimiento, docencia y, en el caso de aspirar a Catedrático/a de Universidad (CU), competencias de liderazgo. La evaluación se basa en la selección y narrativa de las contribuciones, considerando su calidad, relevancia e impacto. La evaluación puede ser favorable o desfavorable, siendo necesaria una puntuación mínima de 50 sobre 100 en cada bloque establecido. Los requisitos mínimos varían según el cuerpo docente y el área de especialización, con énfasis en la investigación, la docencia y, en áreas clínicas de Ciencias de la Salud, la actividad profesional. Se establecen excepciones para solicitantes con trayectorias destacadas en investigación internacionalmente reconocida. En el caso de Profesor/a Titular de Escuela Universitaria, la acreditación se otorga a quienes obtengan 90 puntos o más en el bloque de actividad docente, según lo dispuesto en el Real Decreto 678/2023.

Medición de resultados más fácil para bibliotecas universitarias: recursos y herramientas para crear encuestas y analizar datos de resultados

Project Outcome for Academic Libraries 2023

Texto completo

Project Outcome es un conjunto de herramientas gratuitas que ofrece a las bibliotecas acceso a formación, análisis de datos y encuestas estandarizadas que miden los resultados en áreas clave de los servicios bibliotecarios. Project Outcome for Academic Libraries está diseñado para dar a las bibliotecas herramientas simples y recursos de apoyo para ayudar a convertir mejores datos en mejores bibliotecas.

ACRL se complace en anunciar la publicación del informe del año fiscal 2023 para el conjunto de herramientas Project Outcome for Academic Libraries. Los datos de este informe incluyen todas las encuestas y respuestas inmediatas y de seguimiento de las instituciones de los Estados Unidos y abarcan el período comprendido entre el 1 de septiembre de 2022 y el 31 de agosto de 2023.

Project Outcome es un conjunto de herramientas en línea gratuito diseñado para ayudar a las bibliotecas a comprender y compartir el impacto de los programas y servicios bibliotecarios esenciales al proporcionar encuestas simples y un proceso fácil de usar para medir y analizar resultados. Las bibliotecas participantes también reciben los recursos y el apoyo de capacitación necesarios para aplicar sus resultados y abogar con confianza por el futuro de su biblioteca. Las encuestas estandarizadas de Project Outcome permiten a las bibliotecas agregar sus datos de resultados y analizar tendencias por tema de servicio, tipo de programa y a lo largo del tiempo.

Si bien muchas bibliotecas recopilan datos sobre sus programas y servicios, lo que a menudo falta son los datos que indican los beneficios que las bibliotecas brindan a los estudiantes y los objetivos institucionales. Medir los resultados puede proporcionar a las bibliotecas nuevas formas de demostrar su eficacia más allá de los recuentos y las historias de éxito anecdóticas.

Bibliotecas de todo el país utilizan estas herramientas para realizar evaluaciones comparativas, comprender tendencias, abogar por mejores recursos y evaluar. Aprende más sobre la medición de los resultados del aprendizaje para impulsar el cambio, tomar decisiones basadas en datos y demostrar el impacto de los programas y servicios de tu biblioteca.


Áreas de Servicio

Colecciones Digitales y Especiales. Servicios relacionados con las colecciones o recursos de la biblioteca que respaldan la investigación o la instrucción en el aula. Ejemplos incluyen: exhibiciones digitales, repositorios o colecciones archivísticas.

Eventos y Programas Servicios o programas para informar, enriquecer y promover el aprendizaje comunitario. Ejemplos incluyen: exhibiciones, series de conferencias, servicios de participación cívica o actividades de alivio del estrés.

Instrucción Servicios o programas para ayudar a los estudiantes en su trabajo académico y mejorar su aprendizaje. Ejemplos incluyen: sesiones de instrucción en clases, programas de orientación bibliotecaria o talleres sobre temas específicos.

Tecnología de la Biblioteca Servicios relacionados con el acceso y las habilidades que ayudan a los usuarios de la biblioteca a incorporar la tecnología en su trabajo. Ejemplos incluyen: programas de préstamo de tecnología, espacios de creación (maker spaces) o talleres relacionados con la tecnología.

Investigación Servicios para mejorar las habilidades de investigación y ayudar a los investigadores a tener éxito. Ejemplos incluyen: servicios de referencia, servicios de consulta de investigación o talleres para estudiantes de posgrado o profesores.

Espacio Espacios específicos destinados a mejorar el rendimiento académico y apoyar el aprendizaje estudiantil. Ejemplos incluyen: salas de estudio en grupo, espacios de estudio individual o centros de redacción o tutoría.

Apoyo a la Enseñanza Servicios para ayudar a los profesores e instructores a desarrollar planes de estudio y/o materiales de curso que apoyen mejor el aprendizaje estudiantil. Ejemplos incluyen: servicios de REA (Recursos Educativos Abiertos), módulos de aprendizaje en línea o talleres de enseñanza para profesores.

Project Outcome proporciona estas herramientas para que las bibliotecas midan los resultados de sus usuarios:

  • Encuestas Inmediatas: son encuestas de seis preguntas diseñadas para distribuirse inmediatamente después de un programa o servicio, con el objetivo de comprender mejor el impacto inmediato de un programa o servicio en los usuarios.
  • Encuestas de Seguimiento: se utilizan 4-8 semanas después de que se completa un programa o servicio, y ayudan a las bibliotecas a comprender si los usuarios han cambiado su comportamiento o continuado beneficiándose del programa o servicio.
  • Directrices de Medición de Resultados: diseñadas para ayudar a las bibliotecas a realizar métodos avanzados de medición de resultados y demostrar un impacto colaborativo a largo plazo en la comunidad.

El kit de herramientas incluye:

  • Una herramienta de gestión de encuestas donde las bibliotecas pueden crear y personalizar sus encuestas, ingresar y rastrear respuestas, y descargar sus datos sin procesar.
  • Informes predefinidos y personalizables que facilitan a las bibliotecas compartir sus resultados y abogar por sus programas y servicios.
  • Paneles de datos interactivos que ayudan a las bibliotecas a analizar sus resultados.
  • Una variedad de recursos de capacitación, incluidas directrices de medición de resultados, mejores prácticas, estudios de caso y más.

Realidades del compartir datos académicos (RADS): metodología de investigación 2022–2023 encuestas y entrevistas

Association of Research Libraries. «Realities of Academic Data Sharing (RADS) Initiative: Research Methodology 2022–2023 Surveys and Interviews». Accedido 8 de febrero de 2024. https://www.arl.org/resources/realities-of-academic-data-sharing-rads-initiative-research-methodology-2022-2023-surveys-and-interviews/.

El acceso público a los datos de investigación es fundamental para avanzar en la ciencia y resolver problemas del mundo real. En los últimos años, varias agencias de financiamiento han requerido la gestión y el amplio intercambio de datos de investigación y otros resultados relacionados para acelerar los impactos de sus inversiones. En respuesta, muchas instituciones académicas han desarrollado e implementado infraestructuras para apoyar a los profesores en estos requisitos. Estos servicios a menudo están dispersos en toda la institución y se encuentran en varias unidades administrativas, como la tecnología de la información del campus, las bibliotecas universitarias y la oficina de investigación, entre otras. Dada esta naturaleza distribuida, la coordinación de los servicios suele ser informal y el verdadero costo institucional del acceso público a los datos de investigación no se comprende bien.

Este informe describe la metodología de la investigación llevada a cabo durante la primera etapa de la Iniciativa Realities of Academic Data Sharing (RADS) iniciativa financiada por la Fundación Nacional de Ciencias (NSF) de los Estados Unidos, desde 2021 hasta 2023. Se debe considerar como un complemento a los informes finales adicionales de investigación (documentos técnicos) producidos como resultado de esta investigación. Como parte de la Iniciativa RADS, se encuestaron administradores institucionales e investigadores financiados en 2022 y se entrevistaron en 2023 sobre detalles relacionados con los servicios de apoyo y prácticas de compartir datos de investigación, así como sus gastos correspondientes. Si bien la Asociación de Bibliotecas de Investigación (ARL) es la sede administrativa de la Iniciativa RADS, la investigación se llevó a cabo con participantes de las siguientes instituciones: Universidad Cornell, Universidad Duke, Universidad de Michigan, Universidad de Minnesota, Virginia Tech y Universidad de Washington en St. Louis.

Este proyecto aborda las siguientes preguntas de investigación:

¿Dónde están haciendo públicamente accesibles sus datos los investigadores financiados en estas instituciones y cuál es la calidad de los metadatos? ¿Cómo toman los investigadores decisiones sobre por qué y cómo compartir datos de investigación? ¿Cuál es el costo para la institución de implementar la política federal de acceso público a los datos de investigación? Para comprender mejor la perspectiva institucional sobre el acceso público a los datos de investigación, la Iniciativa Realidades del Compartir Datos Académicos (RADS) llevará a cabo investigaciones con equipos institucionales afiliados a DCN para cumplir los siguientes objetivos:

Evaluar el uso de repositorios de acceso público a datos de investigación para descubrir dónde los investigadores comparten más frecuentemente datos de investigación. Realizar un estudio retrospectivo de las prácticas de acceso público a datos de investigación específicas de la disciplina y del formato de los profesores en los campus académicos para desarrollar modelos funcionales basados en servicios e infraestructura para comprender cómo se está llevando a cabo el acceso público a datos de investigación en nuestros campus académicos utilizando recursos institucionales. Recopilar información financiera sobre gastos relacionados con el acceso público a datos de investigación para probar y evaluar los modelos financieros existentes para el acceso público a datos de investigación. Involucrar a la comunidad académica en general en modelos y mejores prácticas.

Estrategias de visibilidad de bibliotecas en redes sociales: cómo comunicar el valor de la biblioteca con éxito.

Alonso-Arévalo, Julio ; Quinde-Cordero, Marlene. Estrategias de visibilidad de bibliotecas en redes sociales: Cómo comunicar el valor de la biblioteca con éxito. Mi biblioteca, n. 74 (2023)

Texto completo

Hoy en día, los medios sociales han adquirido un gran poder informativo para instituciones de todo tipo, sin importar su naturaleza. Estas plataformas ofrecen a las instituciones una oportunidad única para difundir información, establecer conexiones con audiencias más amplias y fomentar la participación y el diálogo con la comunidad. Las redes sociales permiten a las instituciones llegar a públicos específicos, promover sus mensajes y recibir comentarios directos de los usuarios. Todo esto ha provocado un cambio en la forma en que se lleva a cabo el proceso de comunicación, dado el constante crecimiento e influencia del entorno digital, que ha generado nuevas formas de interacción. Se ofrecen pautas y consejos sobre como mejorar la presencia de tu biblioteca en los medios sociales, tales como:

  1. Define tus objetivos: Antes de sumergirte en los medios sociales, establece metas claras. ¿Quieres aumentar la conciencia sobre los servicios de tu biblioteca, promocionar eventos o interactuar con la comunidad? Definir tus objetivos te ayudará a desarrollar una estrategia efectiva.
  2. Conoce a tu audiencia: Investiga y comprende a tu público objetivo. ¿Quiénes son tus usuarios? ¿Qué tipo de contenido les interesa? Al conocer a tu audiencia, podrás crear publicaciones relevantes y atractivas que generen interacción.
  3. Elige las plataformas adecuadas: No es necesario estar presente en todas las redes sociales. Identifica las plataformas que son populares entre tu audiencia y enfócate en ellas. Facebook, Twitter e Instagram son opciones comunes para las bibliotecas, pero también considera otras como LinkedIn o YouTube, según tus necesidades.
  4. Crea contenido de calidad: Genera contenido valioso y relevante para tu audiencia. Comparte información sobre eventos, recomendaciones de libros, recursos educativos y noticias relacionadas con la biblioteca. Utiliza una combinación de texto, imágenes y videos para hacer tus publicaciones más atractivas.
  5. Mantén una frecuencia constante: Establece un calendario de publicaciones y mantén una presencia activa en las redes sociales. Publica regularmente para mantener a tu audiencia comprometida y actualizada sobre las novedades de la biblioteca.
  6. Fomenta la interacción: Anima a tu audiencia a participar y compartir sus opiniones. Realiza preguntas, encuestas o concursos que involucren a los usuarios. Responde a los comentarios y mensajes de manera oportuna para demostrar que valoras su participación.
  7. Utiliza metadatos relevantes: Utilizar metadatos relacionados con temas bibliotecarios o locales te ayudará a aumentar la visibilidad de tus publicaciones y a llegar a una audiencia más amplia.
  8. Colabora con otras instituciones: Establece alianzas con otras bibliotecas, organizaciones culturales o educativas de tu comunidad. Puedes compartir contenido cruzado, realizar eventos conjuntos o mencionar sus actividades en tus publicaciones.
  9. Mide y evalúa los resultados: Utiliza herramientas de análisis para medir el rendimiento de tus publicaciones. Observa qué tipo de contenido funciona mejor y qué genera más interacción. Ajusta tu estrategia en función de los resultados obtenidos.
  10. Mantén una imagen coherente: Asegúrate de que tu presencia en los medios sociales refleje la identidad y los valores de tu biblioteca. Utiliza colores, logotipos y tono de voz consistentes en todas las plataformas.

Un estudio revela que los LLM de los Sistemas de Inteligencia Artificial son parciales y no se ajustan a las preferencias humanas a la hora de evaluar textos

Koo, Ryan, Minhwa Lee, Vipul Raheja, Jong Inn Park, Zae Myung Kim, y Dongyeop Kang. 2023. «Benchmarking Cognitive Biases in Large Language Models as Evaluators». arXiv. https://doi.org/10.48550/arXiv.2309.17012.

En respuesta a la creciente preocupación sobre los posibles sesgos en los LLMs y su impacto en aplicaciones del mundo real, se llevó a cabo un estudio. El estudio se centró en analizar 15 LLMs diferentes utilizando el «Cognitive Bias Benchmark for LLMs as EvaluatoRs» (CoBBLEr). La motivación principal detrás de esta investigación fue identificar y mitigar sesgos que podrían llevar a preferencias injustas y disparidades en las evaluaciones de texto.

El estudio revela que los grandes modelos de lenguaje exhiben sesgos cognitivos y no se alinean con las preferencias humanas en la evaluación de textos. Entender estos sesgos es crucial, ya que los LLMs se utilizan cada vez más en aplicaciones del mundo real, desde recomendaciones de contenido hasta la evaluación de solicitudes de empleo. Cuando estos modelos son sesgados, pueden tomar decisiones o hacer predicciones que son injustas o inexactas.

Imaginemos un sistema de inteligencia artificial utilizado para evaluar solicitudes de empleo. El sistema utiliza un gran modelo de lenguaje para evaluar la calidad de la carta de presentación. Pero si ese modelo tiene un sesgo inherente, como favorecer textos más largos o ciertas palabras clave, podría favorecer injustamente a algunos solicitantes sobre otros, incluso si no son necesariamente más calificados.

Sesgos Cognitivos en LLMs: Investigadores de la Universidad de Minnesota y Grammarly realizaron un estudio para medir los sesgos cognitivos en los grandes modelos de lenguaje cuando se utilizan para evaluar automáticamente la calidad del texto.

El equipo de investigación seleccionó 15 LLMs de cuatro rangos de tamaño diferentes y analizó sus respuestas. Se les pidió a los modelos que evaluaran las respuestas de otros LLMs, por ejemplo, «System Star es mejor que System Square».

Para este propósito, los investigadores introdujeron el «COgnitive Bias Benchmark for LLMs as EvaluatoRs» (COBBLER), un referente para medir seis sesgos cognitivos diferentes en las evaluaciones de LLMs.

Resultados y Conclusiones: El estudio muestra que los LLMs presentan sesgos al juzgar la calidad del texto. Se identificaron sesgos clave, como la egocentricidad y la preferencia de orden, ambos con el potencial de influir en la evaluación del contenido de texto. Las implicaciones de estos sesgos son particularmente críticas en aplicaciones como la recomendación de contenido y la selección de solicitudes de empleo, donde los LLMs desempeñan un papel crucial en la toma de decisiones. Los investigadores también examinaron la correlación entre las preferencias humanas y las preferencias de la máquina, encontrando que estas no se alinean estrechamente (superposición de sesgos de rango: 49.6%).

Según el equipo de investigación, los resultados sugieren que los LLMs no deberían utilizarse para la anotación automática basada en preferencias humanas. Incluso los modelos ajustados a instrucciones o entrenados con retroalimentación humana mostraron diversos sesgos cognitivos al utilizarse como anotadores automáticos.

La baja correlación entre las calificaciones humanas y las calificaciones de la máquina sugiere que las preferencias de la máquina y las humanas generalmente no están muy cercanas. Esto plantea la pregunta de si los LLMs son capaces de proporcionar calificaciones justas en absoluto.

Con capacidades de evaluación que incluyen varios sesgos cognitivos y un bajo porcentaje de acuerdo con las preferencias humanas, los hallazgos sugieren que los LLMs aún no son adecuados como evaluadores automáticos justos y confiables.

Soluciones Propuestas:

  1. Algoritmos de Mitigación de Sesgos: Desarrollar e implementar algoritmos que puedan identificar y mitigar sesgos en los LLMs, asegurando evaluaciones justas y objetivas.
  2. Actualizaciones Regulares de Evaluación: Establecer un sistema de evaluación continua y actualizaciones para los LLMs, con el fin de abordar sesgos emergentes y mejorar su alineación con las preferencias humanas.
  3. Transparencia y Explicabilidad: Mejorar la transparencia y explicabilidad de los LLMs para proporcionar información sobre sus procesos de toma de decisiones, permitiendo una mejor comprensión y rendición de cuentas.
  4. Datos de Entrenamiento Diversificados: Asegurar que los LLMs se entrenen con conjuntos de datos diversos que representen con precisión la variedad de perspectivas y voces en la sociedad, reduciendo el riesgo de resultados sesgados.

Conclusión: Los hallazgos del estudio subrayan la necesidad de medidas proactivas para abordar los sesgos cognitivos en los LLMs. Al implementar las soluciones propuestas, podemos mejorar la confiabilidad y equidad de los LLMs, haciéndolos más adecuados para aplicaciones del mundo real donde el juicio imparcial es crucial. Esta investigación sirve como base para los esfuerzos continuos destinados a mejorar el uso ético y responsable de la inteligencia artificial en los procesos de toma de decisiones