Bryant, Rebecca. “Implementing an AI reference chatbot at the University of Calgary Library.” Hanging Together (OCLC Research), 12 diciembre 2024. https://hangingtogether.org/implementing-an-ai-reference-chatbot-at-the-university-of-calgary-library/
El artículo describe la implementación y evolución de un chatbot de referencia basado en inteligencia artificial en la Biblioteca de la Universidad de Calgary, desarrollado como parte de un sistema de atención bibliotecaria híbrido que combina asistencia humana y automatizada.
El proyecto de implementación de un chatbot de referencia basado en inteligencia artificial en la Biblioteca de la Universidad de Calgary se inicia en un contexto de fuerte presión sobre los servicios de atención al usuario. Desde comienzos de la década de 2010 la biblioteca ya ofrecía un servicio de chat en vivo atendido por personal bibliotecario en horario limitado (de 9:00 a 17:00). Sin embargo, la pandemia de COVID-19 provocó un incremento extraordinario de la demanda, lo que obligó a replantear el modelo de atención. Las cifras ilustran claramente esta presión: mientras en 2019 el servicio gestionaba entre 500 y 900 chats mensuales, en septiembre de 2020 se alcanzaron los 3.077. Este crecimiento exponencial generó problemas de carga de trabajo, necesidad de más personal y la imposibilidad de ampliar indefinidamente el servicio humano.
A este aumento de demanda se sumaban otros factores estructurales. El servicio, al depender de personal, estaba limitado a determinadas franjas horarias, lo que dejaba sin cobertura a estudiantes que necesitaban ayuda por la noche o a primera hora de la mañana. Además, incluso los usuarios que se encontraban físicamente en la biblioteca utilizaban el chat por su comodidad, lo que reforzaba la idea de que existía una fuerte demanda de asistencia inmediata, independiente del espacio físico. A ello se añadía un análisis clave: muchas de las preguntas recibidas eran repetitivas o fácilmente automatizables. En paralelo, la iniciativa encajaba con las prioridades estratégicas de la universidad, centradas en la mejora del éxito estudiantil y en servicios más accesibles y centrados en el usuario. Todo ello llevó a considerar seriamente la implementación de un chatbot basado en IA.
En la fase de análisis inicial, el equipo bibliotecario realizó un estudio detallado de unas 3.000 interacciones de chat registradas durante un mes del periodo pandémico. Estas consultas se exportaron y clasificaron manualmente en categorías temáticas como información sobre espacios de estudio, impresión o servicios de préstamo. Este trabajo de codificación, realizado principalmente con Excel y con una inversión aproximada de 30 horas, permitió identificar patrones claros en la demanda. El resultado más relevante fue que entre un 14% y un 24% de las consultas eran de carácter direccional o básico (por ejemplo, “¿dónde está…?”), lo que indicaba un alto potencial de automatización. El equipo señaló además que el uso de herramientas más avanzadas, como Python, podría haber agilizado este proceso de análisis.
Con esta evidencia, el proyecto avanzó hacia la definición del alcance del chatbot. Se seleccionó un conjunto inicial de aproximadamente 50 preguntas frecuentes que representaban los tipos de consultas más adecuadas para un sistema automatizado. El objetivo no era cubrir todo el espectro de preguntas posibles, sino evitar la “expansión de alcance” (scope creep) y centrarse en un núcleo manejable y bien definido. Paralelamente, se eligió una solución tecnológica comercial que combinaba modelos de lenguaje grande (LLM) con técnicas de recuperación aumentada por generación (RAG), entrenada exclusivamente con el contenido web de la biblioteca, incluyendo guías temáticas (LibGuides), horarios y páginas informativas institucionales. Esto garantizaba que el chatbot no “inventara” información, sino que respondiera a partir de fuentes oficiales controladas.
La fase de implementación práctica comenzó en abril de 2021 con un equipo de ocho personas encargado de entrenar, probar y ajustar el sistema junto con el proveedor tecnológico. El proceso de prueba se centró en mejorar la consistencia de las respuestas y asegurar que el chatbot respondiera de forma fiable a las preguntas seleccionadas. En julio de 2021, el sistema se abrió a pruebas más amplias con la participación de más personal de la biblioteca. Finalmente, el chatbot se lanzó oficialmente el 16 de agosto de 2021 bajo el nombre de “T-Rex”, diferenciándolo del chatbot “Rex” ya existente en el campus (gestionado por el Registro académico).
Tras su lanzamiento, la biblioteca estableció un sistema estructurado de evaluación continua de calidad. Las respuestas del chatbot se revisan semanalmente de forma anónima y se puntúan en una escala de 1 a 5, donde 5 representa una respuesta completamente correcta y satisfactoria. Este sistema permitió identificar distintos niveles de rendimiento: respuestas perfectas (5/5) cuando el bot resolvía correctamente preguntas como la disponibilidad de bases de datos; respuestas muy buenas (4–5/5) incluso con pequeñas variaciones en la formulación o errores ortográficos del usuario; y respuestas deficientes (2/5) cuando el chatbot no podía responder porque la información no estaba presente en el sitio web, aunque en algunos casos intentaba ofrecer una orientación genérica. Este proceso de evaluación permitió no solo medir el rendimiento, sino también comprender las limitaciones estructurales del sistema basado en su “cerebro” documental.
A partir del análisis de las consultas reales tras el lanzamiento, el equipo comenzó a desarrollar respuestas personalizadas para preguntas recurrentes. Este trabajo se basó en la observación de patrones: si una pregunta aparecía más de tres veces por semana en interacciones distintas, se creaba una respuesta específica. Durante el primer año, este proceso requirió aproximadamente cinco horas semanales y permitió desarrollar entre 10 y 15 nuevas respuestas cada semana. También se abordaron problemas frecuentes como errores ortográficos en nombres de recursos (por ejemplo, PsycInfo, con múltiples variantes de escritura), que fueron incorporados al sistema para mejorar la recuperación de información.
Asimismo, se implementaron reglas específicas para gestionar casos complejos o sensibles. Un ejemplo fue la consulta sobre la devolución de libros previamente declarados como perdidos, donde una respuesta automática inicial resultó incorrecta. Este tipo de situaciones llevó al equipo a crear respuestas condicionadas: si el usuario menciona palabras clave como “lost” y “book”, el sistema activa una respuesta que deriva al usuario al contacto con personal bibliotecario. De manera similar, consultas sobre “recalls” se redirigen a información contextual específica. Este enfoque permitió mejorar la seguridad y la fiabilidad del sistema sin necesidad de reestructurar completamente el contenido web.
En febrero de 2023, el sistema experimentó una evolución importante con la incorporación de una capa adicional basada en GPT, lo que permitió al chatbot generar respuestas más flexibles además de las respuestas previamente programadas. Esta mejora aumentó significativamente la capacidad del sistema para interpretar preguntas y ofrecer respuestas más naturales. Actualmente, el chatbot “T-Rex” proporciona soporte rápido y accesible las 24 horas del día, con cumplimiento de estándares de accesibilidad (WCAG 2.1 AA). El sistema maneja más de dos millones de palabras (considerando variantes léxicas como entradas distintas) y dispone de más de 1.000 respuestas personalizadas.
Los resultados obtenidos muestran un rendimiento superior al esperado inicialmente. Mientras que en la fase de diseño se estimaba que el chatbot podría responder entre el 14% y el 24% de las consultas, en la práctica alcanza aproximadamente el 50% de las preguntas con una calidad igual o superior a 4/5. Esto ha permitido derivar una parte significativa de las consultas del servicio humano, liberando aproximadamente 1,5 equivalentes a tiempo completo (FTE) para tareas más estratégicas. Aunque se han reducido algunas horas de atención en mostradores, no ha habido despidos, sino una redistribución del trabajo hacia actividades de mayor valor añadido.
En la fase de madurez, el mantenimiento del sistema se ha simplificado considerablemente. Actualmente requiere alrededor de una hora semanal de supervisión, centrada en la revisión de funcionamiento general y actualización de enlaces o cambios en la web institucional, gestionados mediante hojas de cálculo. El equipo también destaca la importancia de mantener la web de la biblioteca como única fuente de verdad, evitando duplicar la información directamente en el chatbot, ya que esto generaría problemas de mantenimiento.
Finalmente, el proyecto ofrece una serie de aprendizajes clave. Entre ellos destaca la necesidad de considerar el sitio web institucional como base de conocimiento del chatbot, la importancia de trabajar de forma colaborativa para reducir puntos de fallo y la necesidad de adaptar las respuestas a las expectativas de los usuarios, que prefieren soluciones directas con el menor número posible de clics. También se subraya que el chatbot debe anticipar preguntas no estrictamente bibliotecarias, como consultas sobre matrícula o servicios universitarios, lo que llevó a derivar este tipo de preguntas hacia otros chatbots del campus.
Otro aprendizaje importante es la persistencia de usuarios que prefieren la interacción humana: aproximadamente entre el 12% y el 15% solicitan hablar con una persona incluso cuando el chatbot podría resolver su consulta. Por ello, el sistema mantiene la opción de derivación a personal bibliotecario en horario laboral. En conjunto, la experiencia de la Universidad de Calgary demuestra que un chatbot de referencia basado en IA, bien diseñado y cuidadosamente mantenido, puede mejorar significativamente la eficiencia del servicio, aumentar la disponibilidad de atención y liberar recursos humanos, siempre que se mantenga una supervisión constante y una integración coherente con los sistemas de información institucionales.
Universo Abierto 