Archivo de la etiqueta: Evaluación

Lo que funciona y lo que no: un estudio exploratorio de los modelos de referencia bibliotecaria actuales en grandes bibliotecas universitarias

Weare, William H., Jaena Alabi, y John Fullerton. “What’s Working and What Isn’t: An Exploratory Study of Current Reference Models in Large Academic Libraries.” portal: Libraries and the Academy 25, n.º 4 (2025): 753-780. https://preprint.press.jhu.edu/portal/sites/default/files/09_25.4weare.pdf

El estudio analiza los modelos actuales de servicio de referencia en grandes bibliotecas universitarias, con el objetivo de identificar qué prácticas funcionan bien, cuáles presentan dificultades y cómo los cambios organizacionales afectan estas funciones.

Para ello, los autores entrevistaron a 15 responsables de servicios de referencia en universidades “land-grant” con alta matrícula (más de 20.000 estudiantes), situadas en Estados Unidos, utilizando un enfoque cualitativo con entrevistas semiestructuradas entre 2018 y 2019. Los entrevistados representaban instituciones sin programa acreditado de ciencias de la información, lo cual evitaba contar con un grupo de profesionales locales del gremio que pudiera distorsionar las dinámicas normales del servicio. Las entrevistas, con duración entre 43 y 73 minutos, fueron transcritas, codificadas y analizadas para identificar modelos de referencia, decisiones de personal y los factores que guiaban los cambios entre las diversas aproximaciones.

Los hallazgos revelan que no existe un modelo universal de referencia aplicado por todas las bibliotecas: muchas adoptan combinaciones adaptadas a su contexto institucional. Los autores identificaron siete enfoques dominantes: tradicional (con bibliotecarios atendiendo físicamente en escritorio), escritorio único combinado (referencia + circulación), peer-to-peer (estudiantes como asistentes de referencia), servicios escalonados (tiered), servicio “on call”, modelo de referencia por derivación (referral) y chat (o referencia virtual). En la práctica, los modelos no son mutuamente excluyentes; muchas bibliotecas combinan distintos enfoques según turno, necesidades del usuario o capacidades del personal. Un patrón frecuente es consolidar múltiples servicios en un solo mostrador para simplificar la experiencia del usuario y reducir la fragmentación de puntos de servicio.

Tres temas centrales atraviesan las decisiones institucionales: (1) la consolidación hacia un escritorio único de servicios, motivada por la necesidad de simplificar la experiencia del usuario y disminuir la confusión entre múltiples mostradores; (2) la retirada progresiva de bibliotecarios del servicio presencial directo, con la intención de liberar su tiempo para tareas especializadas, colaboración, docencia o proyectos externos; y (3) el aumento del uso de estudiantes en los puestos frontales de atención, como primer nivel de contacto, delegando a personal profesional preguntas más complejas. Entre las razones que impulsan estos movimientos destacan la reducción de la demanda presencial (caída de estadísticas de referencia), presiones institucionales para que los bibliotecarios asuman funciones de mayor impacto, cambios administrativos o de clasificación investigadora de la universidad, y un cuestionamiento sobre la eficiencia de tener personal altamente cualificado atendiendo consultas triviales.

Asimismo, el estudio señala que en muchas bibliotecas el volumen de consultas profundas es muy bajo; usando la escala READ (Reference Effort Assessment Data), varios entrevistados reportaron que un gran porcentaje de las preguntas corresponden a niveles bajos de complejidad, lo que sugiere que podrían atenderlas asistentes bien entrenados. Al mismo tiempo, se reconoce que la naturaleza de las preguntas ha evolucionado: aunque disminuye el volumen de preguntas básicas, los desafíos que llegan suelen ser más complejos y requieren intervención experta. En algunos casos, las instituciones mantienen el modelo tradicional por razones de identidad profesional, inercia institucional o porque sus bibliotecarios valoran el contacto directo con los usuarios.

En resumen, este estudio aporta evidencia cualitativa de que el futuro de los servicios de referencia en bibliotecas universitarias grandes se orienta hacia modelos híbridos, adaptativos y escalonados, más que hacia una sustitución total del servicio presencial o su configuración en un solo modelo rígido. La elección óptima depende del contexto institucional, cultura organizativa, recursos humanos y expectativas de los usuarios.

El programa PISA integrará alfabetización mediática e inteligencia artificial (IA) en 2029

Organisation for Economic Co-operation and Development (OECD). “PISA 2029 Media & Artificial Intelligence Literacy (MAIL).” OECD, consultado April 2025. https://www.oecd.org/en/about/projects/pisa-2029-media-and-artificial-intelligence-literacy.html

Según se indica, la nueva edición pondrá en el centro del análisis y evaluación escolar competencias como el pensamiento crítico, la conciencia algorítmica y la capacidad de evaluar críticamente los medios, reflejando la necesidad de preparar a los estudiantes para un entorno digital cada vez más complejo.

El programa PISA, desarrollado por la Organización para la Cooperación y el Desarrollo Económicos (OCDE), es reconocido por evaluar las habilidades de estudiantes de 15 años en lectura, matemáticas y ciencias en contextos del mundo real. La edición de 2029 incluye un nuevo dominio innovador: la alfabetización mediática y en inteligencia artificial, conocida como MAIL (Media & Artificial Intelligence Literacy), que amplía significativamente el alcance tradicional de la evaluación. El dominio MAIL busca evaluar si los estudiantes han tenido oportunidades de aprender a participar de modo proactivo y crítico en un mundo mediado por herramientas digitales y de inteligencia artificial.

La evaluación MAIL se diseñará como un entorno simulado—incluyendo redes sociales, internet y herramientas generativas de IA—que permitirá evaluar de forma realista competencias relacionadas con el análisis de credibilidad del contenido digital, el uso ético de la IA y la colaboración en entornos digitales.

La edición de 2029 planteará una agenda educativa más adaptativa e integral, centrada en la alfabetización mediática (comprensión crítica de contenido digital y medios) y en la alfabetización sobre IA, lo que incluye entender cómo funcionan los algoritmos, cómo influyen en la sociedad y cómo interactuar con las herramientas digitales de manera ética e informada.

Este cambio significativo en PISA orienta a las escuelas y responsables de políticas educativas hacia una actualización de los currículos. Es esencial que las instituciones incluyan en sus programas de estudios contenidos específicos sobre IA y medios digitales, y que desarrollen metodologías que evalúen estas competencias emergentes. De este modo, no solo se adaptan a los cambios en las herramientas de evaluación internacional, sino que contribuyen a formar estudiantes más preparados para un mundo donde la tecnología digital y algorítmica es omnipresente.

Project Outcome: evaluación y medición de resultados en bibliotecas públicas

El Proyecto Outcome es una iniciativa de la Public Library Association (PLA) que proporciona herramientas gratuitas para que las bibliotecas públicas midan y comprendan el impacto de sus programas y servicios esenciales. Lanzado en 2015, este proyecto ofrece encuestas estandarizadas y un proceso sencillo para medir y analizar resultados, permitiendo a las bibliotecas demostrar su efectividad y abogar por su valor en la comunidad.

Las encuestas del Proyecto Outcome están diseñadas para evaluar cuatro resultados clave en los usuarios: conocimiento, confianza, aplicación y conciencia. Estas encuestas se centran en nueve áreas de servicio prioritarias, incluyendo lectura de verano, habilidades laborales, alfabetización infantil temprana, aprendizaje digital y salud. Además, se ofrecen recursos y capacitación para ayudar a las bibliotecas a aplicar sus resultados y defender con confianza el futuro de sus servicios.

El Proyecto Outcome ha demostrado ser una herramienta valiosa para las bibliotecas, permitiéndoles no solo medir el impacto de sus programas, sino también utilizar esos datos para mejorar sus servicios y abogar por su relevancia en la comunidad. Con el apoyo de la PLA, las bibliotecas pueden acceder a estos recursos y capacitaciones sin costo alguno, fortaleciendo así su capacidad para servir a sus comunidades de manera efectiva.

Se publica la nueva edición de Scholar Metrics 2025

Google Scholars. “2025 Scholar Metrics Released.” Google Scholar Blog, 22 de julio de 2025. Consultado en línea. https://scholar.google.com/

English Scholar Metrics

Spanish Scholar Metrics

Social Sciences

Health & Medical Sciences

Life Sciences & Earth Sciences

Communication

El 22 de julio de 2025, Google publicó oficialmente su nueva edición de Scholar Metrics, una herramienta que permite a autores e instituciones evaluar rápida y eficazmente la visibilidad e influencia de publicaciones científicas recientes. Esta versión abarca artículos publicados entre 2020 y 2024, utilizando todas las citas de artículos indexados en Google Scholar hasta julio de 2025, y se focaliza especialmente en métricas como el h5‑index y el h5‑median, que reflejan el impacto de los artículos durante los últimos cinco años

Solo se incluyen en Scholar Metrics aquellas revistas y conferencias que cumplan ciertos requisitos: al menos 100 artículos publicados en el periodo 2020‑2024 y al menos una cita durante esos años. Además, se limita a publicaciones de sitios que siguen las pautas de inclusión de Google Scholar, y a conferencias seleccionadas en ingeniería y ciencias computacionales. Se excluyen patentes, libros, tesis, opiniones legales y publicaciones sin citaciones o con escasa producción.

La plataforma permite explorar categorías específicas como Engineering & Computer Science o Health & Medical Sciences., ofreciendo listados con las 20 principales publicaciones por h5‑index y h5‑median. También se encuentran rankings por idioma (español, portugués, entre otros), mostrando los 100 mejores títulos en cada lengua. Asimismo, es posible buscar publicaciones adicionales por palabra clave en el título, lo que facilita el acceso a revistas que no aparecen en los listados principales

Estas métricas son útiles para autores, editores y bibliotecarios que buscan evaluar o comparar la influencia de revistas dentro de un campo específico o región lingüística. No obstante, su eficacia puede estar limitada por la falta de transparencia en los criterios de indexación, la inclusión de revistas menores o mal configuradas y la ausencia de filtros por ISSN, región o características editoriales, aspectos que han sido señalados como puntos débiles en estudios críticos sobre Google Scholar Metrics

Evaluación de 8 chatbots de inteligencia artificial

Caswell, Amanda. “I Tested 8 AI Chatbots for Our First Ever AI Madness — and This Is the Surprise Winner.” Tom’s Guide, marzo‑abril 2025.

Texto completo

En marzo de 2025, el medio tecnológico Tom’s Guide organizó una competencia llamada “AI Madness”, una especie de torneo eliminatorio inspirado en los brackets deportivos, para evaluar y comparar ocho de los chatbots de inteligencia artificial más avanzados del momento.

La periodista Amanda Caswell fue la encargada de probar cada modelo en múltiples rondas, utilizando una serie de prompts reales que abarcaban seis criterios clave: precisión factual, creatividad, utilidad, capacidades multimodales, experiencia de usuario e interfaz, y velocidad de respuesta.

En la primera ronda, ChatGPT (de OpenAI) venció a Perplexity.ai gracias a su equilibrio entre creatividad, profundidad y claridad. Gemini, el chatbot de Google, superó a Mistral por ofrecer una lógica más ordenada y explicaciones más didácticas. Una de las mayores sorpresas fue que Grok, el modelo de xAI desarrollado por Elon Musk, derrotó a Claude (de Anthropic), al mostrar respuestas más completas y accesibles para usuarios generales. Finalmente, DeepSeek, una plataforma emergente de origen chino, logró imponerse a Meta AI destacando por su tono conversacional, precisión técnica y versatilidad temática.

En las semifinales, Gemini se enfrentó a ChatGPT en una ronda muy reñida. Aunque ambos ofrecieron un alto nivel de rendimiento, Gemini destacó por estructurar mejor las respuestas y adaptarse a distintos tipos de consultas, como explicaciones académicas, planificación de menús y diseños de bases de datos. DeepSeek, por su parte, logró derrotar a Grok al demostrar una mayor profundidad analítica y un estilo más claro, manteniendo a la vez un enfoque conversacional eficaz.

La final del torneo fue entre Gemini y DeepSeek. Aunque Gemini mantuvo un nivel alto de desempeño, DeepSeek logró brillar en la mayoría de las tareas propuestas, entre ellas la resolución de problemas reales, la explicación de conceptos para diferentes edades, y la creatividad narrativa. El modelo combinó razonamiento avanzado con un lenguaje claro y accesible, superando las expectativas del jurado. Como resultado, DeepSeek fue proclamado ganador absoluto del torneo AI Madness 2025.

Un factor diferencial que explica el rendimiento sobresaliente de DeepSeek fue su enfoque de entrenamiento. A diferencia de muchos modelos que dependen principalmente del aprendizaje supervisado, DeepSeek-R1 utiliza aprendizaje por refuerzo (reinforcement learning), lo que le permite mejorar su capacidad de razonamiento y reflexión con menos intervención humana. Esto le otorga mayor autonomía y eficiencia a la hora de generar respuestas coherentes y detalladas en tiempo real.

¿Son mejores las ideas de investigación generadas por Inteligencia Artificial o las creadas por humanos?

Si, Chenglei, Tatsunori Hashimoto y Diyi Yang. The Ideation-Execution Gap: Execution Outcomes of LLM-Generated versus Human Research Ideas. arXiv, 25 de junio de 2025. https://arxiv.org/abs/2506.20803

Los resultados mostraron que las ideas generadas por LLM recibieron puntuaciones significativamente más bajas que las ideas humanas en todos los criterios evaluados: novedad, entusiasmo, efectividad y puntuación general. Este fenómeno, denominado «brecha ideación-ejecución», sugiere que, aunque los LLM pueden generar ideas originales, su capacidad para traducir esas ideas en resultados de investigación efectivos es limitada.

El estudio investiga la diferencia entre la generación de ideas de investigación por modelos de lenguaje grande (LLM, Large Language Models) y la capacidad real de esas ideas para traducirse en resultados concretos y efectivos cuando se llevan a la práctica. Aunque investigaciones anteriores han señalado que los LLM pueden producir ideas originales e innovadoras, el presente estudio se enfoca en la llamada “brecha ideación-ejecución” para determinar si estas ideas realmente tienen éxito cuando se implementan en proyectos de investigación reales.

Para evaluar esta cuestión, los autores diseñaron un experimento riguroso en el que 43 investigadores expertos en procesamiento de lenguaje natural recibieron ideas de investigación generadas tanto por humanos como por LLM. Cada investigador trabajó durante más de 100 horas en la ejecución de una de estas ideas, desarrollando proyectos completos documentados en informes detallados de cuatro páginas. Estos informes fueron luego evaluados de manera anónima por otros expertos para medir la calidad y el impacto de los resultados obtenidos.

Los resultados revelaron que, en múltiples dimensiones evaluadas —incluyendo la novedad de la idea, el entusiasmo generado, la efectividad del proyecto y la valoración general—, los proyectos derivados de ideas humanas superaron claramente a los derivados de ideas generadas por LLM. En otras palabras, aunque los LLM son capaces de ofrecer propuestas creativas y novedosas, su capacidad para traducir esas ideas en investigaciones exitosas y aplicables es significativamente menor.

Este hallazgo tiene implicaciones importantes para el uso de la inteligencia artificial en la investigación científica. Sugiere que, aunque la IA puede ser una herramienta valiosa para inspirar ideas o asistir en la fase inicial de generación conceptual, la supervisión humana y la experiencia siguen siendo cruciales para asegurar que las ideas puedan concretarse en resultados tangibles y de calidad. El estudio enfatiza la necesidad de evaluar no solo la creatividad o novedad de las ideas producidas por IA, sino también su factibilidad y capacidad de ejecución.

Finalmente, los autores invitan a reflexionar sobre cómo integrar de manera efectiva las capacidades de los modelos de lenguaje en el proceso de investigación, proponiendo un enfoque colaborativo entre humanos e IA que maximice las fortalezas de cada uno, minimizando las limitaciones observadas.

GLAT: herramienta para evaluar la alfabetización en inteligencia artificial generativa

Yueqiao Jin, Roberto Martinez-Maldonado, Dragan Gašević, Lixiang Yan, GLAT: The generative AI literacy assessment test, Computers and Education: Artificial Intelligence,
Volume 9, 2025, 10 de junio de 2025. https://www.sciencedirect.com/science/article/pii/S2666920X25000761

Se presenta «GLAT: The Generative AI Literacy Assessment Test» una herramienta para el desarrollo y validación del rendimiento para medir la alfabetización en inteligencia artificial generativa (GenAI).

Esta prueba, denominada GLAT, fue diseñada para evaluar la capacidad de los individuos para utilizar herramientas de GenAI de manera efectiva y ética, abordando la creciente necesidad de evaluar habilidades en un entorno digital cada vez más automatizado.

La investigación destaca que, a pesar del aumento en el uso de tecnologías de GenAI, existe una falta de herramientas estandarizadas para medir la competencia en este ámbito. GLAT se diferencia de las evaluaciones tradicionales al centrarse en tareas prácticas que simulan escenarios reales donde los usuarios deben interactuar con sistemas de GenAI, evaluando su capacidad para generar, analizar y aplicar contenido de manera crítica.

Además, el estudio valida la fiabilidad y validez del GLAT a través de pruebas empíricas, demostrando que la herramienta es efectiva para medir la alfabetización en GenAI en diversos grupos demográficos. Los resultados sugieren que el GLAT puede ser una herramienta valiosa para instituciones educativas, organizaciones y gobiernos que buscan evaluar y mejorar las competencias digitales relacionadas con la inteligencia artificial generativa.

GLAT es una solución innovadora para abordar la necesidad urgente de evaluar la alfabetización en GenAI, proporcionando una base para el desarrollo de políticas educativas y formativas que promuevan el uso responsable y competente de las tecnologías de inteligencia artificial generativa

El valor y el impacto de las bibliotecas públicas

Scottish Book Trust. The Impact of Scotland’s Libraries. Última modificación en 2025. https://www.scottishbooktrust.com/our-research/the-impact-of-scotlands-libraries.

Scottish Book Trust ha llevado a cabo una investigación independiente sobre el valor y el impacto de las bibliotecas públicas y escolares en Escocia en colaboración con la Biblioteca Nacional de Escocia (NLS), el Consejo Escocés de Bibliotecas e Información (SLIC) y el Instituto Colegiado de Profesionales de Bibliotecas e Información de Escocia (CILIPS).


Scottish Book Trust ha emprendido un proyecto de investigación independiente, dirigido por nuestro Director de Investigación y Evaluación Éadaoín Lynch, para informar sobre el valor y el impacto de nuestras bibliotecas públicas y escolares – y mostrar cómo son intrínsecas a la eliminación de la desigualdad a través de muchas intersecciones de la vida escocesa.

Trabajamos con todas las autoridades locales, esforzándonos por ofrecer a todas las personas la oportunidad de contar sus historias; como tales, estamos en una posición única para dar testimonio.

Los métodos incluyen

  • Encuestas a bibliotecarios públicos y escolares
  • Entrevistas con bibliotecarios públicos y escolares
  • Opiniones cualitativas de usuarios de bibliotecas
  • Recopilación de datos cuantitativos sobre horarios de apertura y capacidad de las bibliotecas.

El informe completo, publicado en junio de 2025, revela el papel vital y diverso que desempeñan las bibliotecas, al tiempo que desvela el alcance de los cierres y la reducción de servicios en toda Escocia en los últimos 16 años.

RESULTADOS PRELIMINARES – ENCUESTAS A BIBLIOTECARIOS ESCOLARES

Tras las encuestas distribuidas a los bibliotecarios en otoño/invierno de 2023-24, Scottish Book Trust ha preparado informes de resultados preliminares separados para las bibliotecas escolares de primaria y secundaria de Escocia.

El documento «Resumen principal» ofrece una sinopsis de alto nivel y una comparación de los resultados de las escuelas primarias y secundarias.

Estos resultados muestran cómo los bibliotecarios escolares de toda Escocia son apasionados de su trabajo, dedicados a sus alumnos, innovadores e ingeniosos en su actividad, y una firme corrección a la desinformación y la desinformación en línea. Sin embargo, estos resultados también demuestran el impacto de los drásticos recortes de financiación, las restricciones y las demandas en competencia sobre los espacios dedicados a las bibliotecas, y el tiempo y los recursos limitados del personal.

El informe destaca la importancia de contar con profesionales de la información en las bibliotecas escolares, no solo para fomentar la lectura por placer, sino también para guiar en la investigación y el acceso a información confiable en una era de abundancia de datos y desinformación.

Diferencias entre bibliotecas de primaria y secundaria:

  • Solo el 15% de los bibliotecarios en escuelas primarias son profesionales cualificados, frente al 71% en secundaria.
  • En secundaria, 91% de los encuestados indicaron que su biblioteca está gestionada por un bibliotecario, mientras que en primaria solo 24%.
  • En primaria, las bibliotecas son mayormente administradas por maestros (49%), voluntarios (27%) y alumnos asistentes (17%).
  • 49% de los bibliotecarios de secundaria han estado en su rol por más de 10 años, mientras que en primaria solo 10%.
  • 87% de las escuelas secundarias reciben apoyo de la autoridad local, frente al 71% de las primarias.

Problemas y desafíos:

  • Hay desigualdad en la gestión de las bibliotecas, ya sea en términos de salario, tiempo y calidad del servicio.
  • Muchos trabajadores sin certificación hacen un esfuerzo considerable para mantener las bibliotecas funcionando, a pesar de la falta de recursos y reconocimiento.
  • 59% de los bibliotecarios de secundaria reportaron restricciones en financiación y recursos, y 21% indicaron falta de espacio dedicado a la biblioteca. En primaria, 29% señalaron limitaciones de financiamiento y 12% la eliminación del bibliotecario escolar.
  • Falta de comprensión por parte de los directivos sobre el papel y la relevancia de las bibliotecas.

Impacto de las bibliotecas escolares:

El estudio del Scottish Book Trust identifica cuatro áreas clave de impacto:

  1. Lectura por placer.
  2. Oportunidades de aprendizaje.
  3. Inclusión digital.
  4. Ciudadanía activa.

El informe subraya que las bibliotecas deberían ser el corazón de la escuela, pero en muchos casos se han reducido a simples salas con computadoras y libros. La falta de financiamiento y apoyo está amenazando su existencia.

RESULTADOS PRELIMINARES – ENCUESTA A BIBLIOTECARIOS PÚBLICOS

Tras las encuestas distribuidas en otoño/invierno de 2023-24, Scottish Book Trust ha preparado un informe de conclusiones preliminares sobre las bibliotecas públicas de Escocia.

Estos resultados muestran las presiones a las que se enfrenta el sector bibliotecario, los éxitos conseguidos por los infatigables trabajadores de las bibliotecas y el profundo impacto que las bibliotecas tienen en sus comunidades en términos de inclusión digital, lectura por placer, oportunidades de aprendizaje y ciudadanía activa.

Aquí tienes un resumen de los hallazgos principales:

  • 1 de cada 3 bibliotecarios reportó que su servicio completo está en riesgo de reducción o eliminación.
  • 82% (4 de cada 5 bibliotecarios) señaló restricciones en financiamiento y recursos.
  • 1 de cada 3 bibliotecarios reportó la pérdida de personal bibliotecario dedicado.

Además de los recortes presupuestarios en el sector bibliotecario, los bibliotecarios indicaron que hay falta de comprensión por parte de las autoridades locales sobre el impacto social y a largo plazo de su servicio. En un contexto de financiación precaria, los enfoques centrados solo en costos no reflejan el verdadero valor de las bibliotecas.

Para demostrar el impacto positivo que generan, el estudio de Scottish Book Trust se enfocó en cuatro áreas clave:

  1. Lectura por placer
  2. Oportunidades de aprendizaje
  3. Inclusión digital
  4. Ciudadanía activa

Guía práctica para la implementación de la evaluación responsable de la investigación en organizaciones que realizan investigación

Allen, Liz, Virginia Barbour, Kelly Cobey, Zen Faulkes, Haley Hazlett, Rebecca Lawrence, Giovanna Lima, Flora Massah, y Ruth Schmidt. A Practical Guide to Implementing Responsible Research Assessment at Research Performing Organizations. Maryland, USA: DORA, 2025. https://doi.org/10.5281/zenodo.15000683

La organización DORA (Declaration on Research Assessment) ha celebrado su 12.º aniversario con la publicación de una nueva Guía Práctica para la Implementación de una Evaluación Responsable de la Investigación. Esta guía está dirigida a organizaciones que realizan investigación (RPOs) y ofrece herramientas prácticas, ejemplos ilustrativos y recursos para ayudar a estas instituciones a desarrollar, mejorar o transformar sus sistemas de evaluación científica de manera responsable, justa e inclusiva.

El documento reconoce que no existe un enfoque único que funcione para todas las instituciones ni disciplinas, por lo que propone una metodología flexible y adaptable a diferentes contextos. La guía puede ser utilizada tanto por organizaciones que deseen crear una estrategia desde cero como por aquellas que buscan reformar procesos existentes o simplemente comenzar a dar pasos hacia evaluaciones más holísticas.

Este recurso ha sido desarrollado de manera colaborativa con diversos actores del ámbito académico y científico, especialmente durante un encuentro celebrado en enero de 2025 en Maryland, EE. UU. Asimismo, se agradece la participación del Comité Directivo de DORA y de especialistas que contribuyeron a estructurar y organizar los contenidos de la guía.

La guía forma parte del Proyecto TARA, una iniciativa respaldada por la fundación Arcadia, que promueve el acceso abierto al conocimiento, la conservación del patrimonio natural y cultural, y la mejora de las prácticas académicas. Dentro de este proyecto, la guía se complementa con otras herramientas como Reformscape, Building Blocks for Impact y Debiasing Committee Composition, diseñadas para apoyar a las organizaciones que buscan reformar sus políticas de evaluación.

En conjunto, esta Guía Práctica representa un paso significativo hacia la consolidación de criterios más responsables, éticos y eficaces para valorar la calidad de la investigación, en un contexto donde la evaluación académica necesita responder a los desafíos contemporáneos de la ciencia y la sociedad.

¿Qué miden realmente los rankings universitarios? Un sistema atrapado en su propia lógica

Mohan, Deepanshu. “In a Ranking-Obsessed System, What Exactly Are Universities Measuring?” The Wire, marzo 2025. https://thewire.in/education/ranking-universities-education-system-research

En la educación superior actual, los rankings universitarios globales, como los QS World University Rankings by Subject, han dejado de ser simples clasificaciones para convertirse en herramientas de gran influencia. Estos rankings moldean percepciones, guían decisiones políticas y afectan tanto la elección de los estudiantes como las prioridades de inversión de los gobiernos.

La edición de 2025 de los QS Rankings by Subject, publicada el 12 de marzo, evaluó más de 55 disciplinas en cinco grandes áreas del conocimiento, lo que refleja la creciente especialización académica. Se incorporaron 171 nuevas instituciones, evidenciando una expansión significativa, sobre todo en áreas estratégicas como medicina, ciencias de la computación y ciencia de materiales. Por ejemplo, las universidades clasificadas en informática pasaron de 601 en 2020 a 705 en 2024. Este crecimiento no solo revela un mayor interés académico, sino también una fuerte competencia entre universidades por visibilidad y prestigio en sectores con alto potencial de financiación e innovación.

Se cuestiona si los rankings realmente miden mérito académico o si premian a quienes mejor entienden y manipulan su lógica. En países como Arabia Saudita o Singapur, se observa un crecimiento desproporcionado en la reputación académica sin una mejora equivalente en las citas, lo que sugiere posibles prácticas de gestión reputacional poco éticas.

Fuente: Clasificación Mundial de Universidades QS por Materias 2025

Se ha identificado una correlación preocupante entre el aumento de publicaciones y el incremento en retracciones de artículos científicos, especialmente en países como China, India, Pakistán, Arabia Saudita, Egipto e Irán. Esto sugiere que la presión por publicar y escalar posiciones ha conducido en algunos casos a malas prácticas científicas como la fabricación o duplicación de resultados. Arabia Saudita, por ejemplo, duplicó su producción científica entre 2019 y 2024, pero también registró un fuerte aumento en retracciones. En India, la producción aumentó más de un 56% en cinco años, pero también se han visto afectadas por problemas de calidad y control.

Fuente: Número total de trabajos de investigación según Scopus: artículos y revisiones.

Se destaca el ascenso de instituciones de Asia Occidental y países árabes como Arabia Saudita, Emiratos Árabes Unidos y Catar, gracias a inversiones en I+D. Sin embargo, también se cuestiona si este progreso refleja mejoras reales o estrategias diseñadas para escalar en el ranking, como el aumento artificial de citaciones o encuestas de reputación manipuladas.

India ha sido uno de los países con mayor crecimiento en los rankings globales, especialmente en áreas STEM (ciencia, tecnología, ingeniería y matemáticas). Este ascenso se ha vinculado a políticas como la iniciativa Institutions of Eminence (IoE), que busca crear universidades de élite. Sin embargo, esta estrategia ha generado críticas por concentrar recursos en pocas instituciones, mientras muchas universidades estatales sufren abandono, falta de financiación y precariedad.

Los rankings se basan ahora en indicadores como la reputación académica (40 %), la reputación entre empleadores (10 %), las citas de investigación por artículo (20 %) y el índice H (20 %), respaldados además por la puntuación de la red internacional de investigación. Uno de los problemas principales es que el QS otorga casi el 50% del peso a encuestas de reputación académica y empresarial, lo que deja margen para maniobras estratégicas de autopromoción institucional y visibilidad controlada. A esto se suma el fenómeno de las “citas en anillo” y la contratación de académicos con alta visibilidad para inflar métricas.

Además, estos rankings influyen profundamente en la formulación de políticas educativas, especialmente en economías emergentes. Estar en el top 200 puede significar más financiación, mayor atracción de estudiantes internacionales y prestigio diplomático. Sin embargo, esta influencia genera comportamientos orientados a mejorar la posición en rankings antes que a desarrollar auténtica calidad educativa.

En conclusión, los rankings como QS y THE, aunque útiles para comparaciones internacionales, también pueden ser engañosos. Favorecen la visibilidad y los indicadores cuantitativos sobre la calidad docente, el compromiso social o la equidad. La carrera por ascender en estas clasificaciones puede fomentar reformas superficiales y cosméticas, en lugar de una transformación estructural del sistema educativo.