Archivo de la etiqueta: Evaluación

¿Existe consenso entre los investigadores sobre en que revistas publicar sus trabajos?

Van Buskirk, Ian, Marilena Hohmann, Ekaterina Landgren, Johan Ugander, Aaron Clauset y Daniel B. Larremore. Consensus and Fragmentation in Academic Publication Preferences. arXiv:2603.00807v1 [cs.DL], 28 de febrero de 2026

Este trabajo analiza cómo los investigadores toman decisiones sobre dónde publicar sus trabajos científicos y hasta qué punto existen patrones de consenso o, por el contrario, fragmentación dentro de las comunidades académicas.

Los autores parten de la premisa de que la elección de la revista o del canal de publicación no es un proceso puramente individual, sino que refleja dinámicas colectivas dentro de cada disciplina científica. Estas decisiones están influenciadas por múltiples factores —prestigio de las revistas, redes académicas, incentivos institucionales o visibilidad— y, en conjunto, configuran un sistema complejo de preferencias compartidas que puede ser estudiado mediante herramientas de análisis de redes y ciencia de datos. El objetivo central del artículo es identificar si las comunidades científicas muestran patrones claros de acuerdo sobre qué revistas son más relevantes o si, por el contrario, el sistema editorial está caracterizado por una pluralidad de preferencias que fragmenta el espacio de publicación.

Para abordar esta cuestión, los autores desarrollan un enfoque cuantitativo que combina datos de publicaciones académicas con modelos de redes y análisis estadístico. A partir de estos datos reconstruyen un mapa de las preferencias de publicación de los investigadores, observando cómo los científicos de distintas áreas tienden a concentrar sus envíos en determinados grupos de revistas. Este enfoque permite detectar estructuras emergentes en el sistema editorial: por un lado, núcleos de consenso donde muchos investigadores convergen en un pequeño conjunto de revistas consideradas centrales; y por otro, regiones de fragmentación en las que las preferencias se dispersan entre múltiples opciones. El análisis muestra que estas estructuras no son uniformes en todas las disciplinas: algunas comunidades presentan jerarquías editoriales muy claras, mientras que otras exhiben una distribución más diversificada de canales de publicación.

Uno de los hallazgos más relevantes del estudio es que el sistema de publicación científica funciona como una red de coordinación social. Las decisiones individuales de los investigadores están influidas por lo que hacen sus pares, lo que genera dinámicas colectivas de imitación, reputación y señalización. Publicar en determinadas revistas actúa como una señal de calidad y legitimidad dentro de la comunidad científica, lo que refuerza la concentración de envíos en ciertos títulos. Sin embargo, esta dinámica también puede producir fragmentación cuando diferentes subcomunidades científicas desarrollan sus propios circuitos editoriales o cuando emergen nuevas revistas y plataformas que compiten con las tradicionales. De este modo, el sistema editorial no es completamente centralizado ni completamente disperso, sino que presenta una estructura híbrida caracterizada por clusters o comunidades de publicación.

El artículo también examina las implicaciones de estos patrones para la evaluación científica y la difusión del conocimiento. Cuando existe un fuerte consenso en torno a unas pocas revistas, estas adquieren un poder simbólico considerable, lo que puede reforzar desigualdades en la visibilidad de la investigación y consolidar jerarquías académicas. Por el contrario, una mayor fragmentación puede favorecer la diversidad de enfoques y la aparición de nuevos espacios de comunicación científica, aunque también puede dificultar la identificación de estándares comunes de calidad. En este sentido, el estudio sugiere que comprender la estructura de preferencias de publicación es fundamental para analizar fenómenos como la concentración editorial, la influencia de los rankings de revistas o el impacto de políticas de ciencia abierta.

Finalmente, los autores destacan que su enfoque ofrece una nueva perspectiva cuantitativa para estudiar el ecosistema de la publicación científica, integrando métodos de análisis de redes, ciencia computacional y sociología de la ciencia. Este tipo de análisis permite comprender mejor cómo se forman los consensos en torno a determinadas revistas, cómo surgen nichos editoriales especializados y cómo evolucionan las comunidades científicas a lo largo del tiempo. En última instancia, el estudio aporta evidencia empírica sobre las dinámicas colectivas que subyacen a la comunicación académica y abre nuevas líneas de investigación sobre la gobernanza del sistema de publicación científica, especialmente en un contexto marcado por la expansión del acceso abierto, la proliferación de nuevas revistas y los cambios en los mecanismos de evaluación de la investigación.

La persistente influencia del factor de impacto en la evaluación científica

Grove, Jack. “Journal Impact Factors Still Exert ‘Undue Influence’, Finds PLOS Study.” Times Higher Education, 2 de febrero de 2026.

Leer artículo original

El artículo analiza el papel que sigue desempeñando el factor de impacto de las revistas en los procesos de evaluación académica, a pesar de las numerosas críticas que ha recibido en los últimos años.

Un estudio reciente basado en una encuesta a casi quinientos investigadores del ámbito de la biología —todos ellos participantes recientes en comités de evaluación de proyectos o en procesos de contratación y promoción académica— revela que los evaluadores continúan recurriendo de forma habitual a indicadores externos como la reputación de la revista o el propio factor de impacto para valorar la calidad y credibilidad de la investigación. En concreto, el 57 % de los encuestados afirmó utilizar al menos uno de estos indicadores para juzgar si un trabajo científico es fiable, lo que evidencia que la reputación editorial sigue funcionando como un atajo cognitivo en la toma de decisiones académicas.

Entre los distintos indicadores considerados, la reputación de la revista aparece como el criterio más utilizado para evaluar la credibilidad de los resultados científicos, seguido por la reputación del laboratorio o del grupo de investigación. El factor de impacto, aunque menos empleado directamente, continúa desempeñando un papel significativo: alrededor del 19 % de los investigadores lo utiliza para valorar la credibilidad de un artículo y un 15 % para juzgar su fiabilidad. Sin embargo, diversos estudios han demostrado que este indicador es un predictor pobre de la calidad real de un artículo individual, ya que mide el promedio de citas de una revista y no el valor específico de cada trabajo publicado en ella.

Dado que el 90 % de los encuestados afirmó que la evaluación de los resultados de investigación es importante para las decisiones de los comités, pero menos de la mitad dijo estar satisfecha con el conjunto de métricas disponibles, el estudio sostiene que existe “un amplio margen de oportunidad para proporcionar nuevas señales de credibilidad y fiabilidad”

El artículo recuerda que desde hace más de una década existen iniciativas internacionales que buscan limitar el uso del factor de impacto en la evaluación científica. Un ejemplo destacado es la Declaración de San Francisco sobre Evaluación de la Investigación (DORA), que recomienda explícitamente no emplear el JIF en decisiones relacionadas con financiación, contratación o promoción académica. A pesar de estas recomendaciones, el estudio sugiere que la persistencia de este indicador se debe en gran medida a la falta de alternativas claras y aceptadas para evaluar la calidad intrínseca de los trabajos científicos.

Así, los autores del estudio sostienen que existe una demanda creciente entre los evaluadores de nuevos indicadores que reflejen mejor la integridad, la transparencia y el rigor metodológico de la investigación. Entre las posibles señales de calidad se mencionan prácticas de ciencia abierta como la disponibilidad de datos, código o protocolos, así como mecanismos que permitan evaluar la reproducibilidad y la integridad de los resultados. La investigación concluye que mejorar estos “indicadores de credibilidad” podría contribuir a reducir la dependencia de métricas simplificadoras como el factor de impacto y favorecer evaluaciones más justas y rigurosas de la producción científica.

Impacto social de las Bibliotecas Públicas en Canadá

Canadian Urban Libraries Council/Conseil des Bibliothèques Urbaines du Canada (CULC/CBUC). (30 de enero de 2026). Social Impact Study: National Social Impact Study on Urban Public Libraries in Canada. Informe nacional sobre el impacto social de las bibliotecas públicas urbanas en Canadá.

Texto completo

Se trata de una investigación pionera realizada en Canadá para comprender de manera profunda el papel social y comunitario de las bibliotecas públicas urbanas. Esta iniciativa analiza cómo los servicios, espacios, programas y actividades de las bibliotecas influyen en la vida de las personas y en el tejido social de las comunidades, más allá de las métricas tradicionales como la cantidad de visitas, préstamos de libros o participación en eventos. El estudio explora el valor que las bibliotecas generan en términos de bienestar social, inclusión, aprendizaje, cohesión comunitaria y participación cívica.

La investigación se basa en datos empíricos obtenidos de más de 18.000 encuestados que interactúan con bibliotecas en 26 sistemas urbanos de bibliotecas públicas en todo Canadá. Para recopilar esta información, se combinaron métodos cuantitativos y cualitativos que incluyen encuestas en línea detalladas y entrevistas individuales, proporcionando una visión holística del impacto que estos espacios tienen en la vida diaria de las personas. Además, el estudio se llevó a cabo en colaboración con el consorcio de investigación Is It a Bird / It Depends, especializado en análisis de impacto social, lo cual fortifica la rigurosidad metodológica de la investigación.

Uno de los aspectos centrales del Estudio Nacional de Impacto Social es su enfoque integral y centrado en la experiencia vivida de las personas usuarias. Más que medir solo estadísticas operativas, el estudio pretende captar cómo las bibliotecas contribuyen al bienestar emocional, social, intelectual y creativo de sus comunidades. Los resultados —publicados en enero de 2026— no solo aportan datos significativos para entender mejor el valor de las bibliotecas, sino que también pretenden orientar conversaciones nacionales y regionales sobre políticas públicas, inversión, planificación y defensa del papel de las bibliotecas en la sociedad canadiense del siglo XXI.

En términos de impacto estratégico, este estudio proporciona evidencia sólida y contextualizada sobre la importancia de las bibliotecas públicas urbanas, destacando cómo estos espacios fortalecen la cohesión social, facilitan el acceso equitativo al conocimiento y fomentan oportunidades de aprendizaje a lo largo de la vida. Asimismo, al poner el foco en experiencias reales de los usuarios, el estudio amplía el entendimiento tradicional de los resultados de las bibliotecas, demostrando que su valor no se limita únicamente a actividades culturales o educativas, sino que impacta de forma significativa en el bienestar global de las comunidades urbanas.

Adiós a Elsevier y Clarivate: OpenAlex y la nueva era de la ciencia abierta

Winemiller, Sam. 2026. “OpenAlex and Values‑Aligned Tools.” ACRLog, 26 de enero de 2026. https://acrlog.org/2026/01/26/openalex-and-values-aligned-tools/

Se hace una llamada a la comunidad académica y bibliotecaria para cuestionar la hegemonía de herramientas comerciales en la evaluación científica y abrazar alternativas abiertas como OpenAlex —no solo por su utilidad técnica, sino también por su potencial para reflejar y reforzar valores compartidos de acceso abierto, inclusión y control comunitario sobre las infraestructuras que sostienen el conocimiento global.

La academia necesita desvincular de las entidades corporativas nuestra capacidad para comprender y evaluar la actividad académica. Compañías como Elsevier y Clarivate han integrado efectivamente métodos de evaluación en la academia que dependen de sus herramientas propietarias (Scopus y SciVal; Web of Science y Journal Citation Reports e InCites, respectivamente). De manera conveniente, estos productos también emiten juicios sobre la “legitimidad” de los lugares de publicación académica y sobre si son valiosos como líneas dentro de un expediente de promoción o para decisiones de suscripción bibliotecaria, lo que plantea preguntas sobre posibles conflictos de interés. Uno podría suponer que las revistas propiedad de Elsevier rara vez se excluyen del corpus de Scopus, por ejemplo.

La necesidad de separar la indexación y evaluación de la actividad académica del control corporativo coincide con la necesidad de recuperar cierto grado de control sobre todo el sistema de publicación académica. Un camino posible sería un cambio significativo hacia espacios gestionados por instituciones académicas, sociedades científicas o alianzas académicas, en lugar de editores con fines de lucro; sin embargo, un obstáculo básico para este cambio es la indexación inconsistente e incompleta de dichos espacios en gráficos de conocimiento científico como Scopus y Web of Science. En su reciente artículo sobre el tema, Nazarovets et al. (2026) concluyen con esta sugerencia: “…la visibilidad desigual de las UJs [revistas universitarias] resalta un punto ciego estructural en la evaluación global de la investigación: a menos que infraestructuras más inclusivas como DOAJ y OpenAlex sean ampliamente reconocidas y mejoradas en cuanto a cobertura y fiabilidad de metadatos, grandes partes de la producción académica permanecerán invisibles incluso si se decide abandonar WoS [Web of Science] y Scopus.” Este es solo uno de los posibles beneficios de invertir en infraestructura abierta como OpenAlex (tal como lo recomienda la UNESCO). La infraestructura abierta puede definirse como herramientas y recursos fundamentales, gratuitos, sobre los cuales se puede realizar, compartir y explorar la ciencia y la investigación abierta.

Para quienes no estén familiarizados con OpenAlex, es esencialmente una gran base de datos de trabajos académicos y metadatos relacionados. OpenAlex se centra en la inclusión amplia de trabajos académicos, en contraste con la “curaduría” de fuentes legítimas practicada por servicios propietarios. Posee una interfaz web y puede consultarse mediante API, pero en esencia es una infraestructura dedicada al dominio público a través de la licencia CC0, mantenida activamente por una organización sin fines de lucro (501(c)3). Por supuesto, depender de datos de citas reportados por los editores puede ser cuestionable, pero mientras trabajamos en reconocer y recompensar otros tipos de evidencia sobre el impacto de la investigación, al menos podemos usar datos de citas lo más completos posibles.

¿Es OpenAlex tan bueno como sus competidores? Según mi experiencia, suele ser igual o mejor para la mayoría de propósitos, como generar listas de publicaciones de autores, incluyendo preprints, o analizar tendencias de publicación en acceso abierto de una institución a lo largo del tiempo. La mayoría de quienes lo han explorado a fondo parecen coincidir. Culbert et al. (2024) analizaron la cobertura de referencias de OpenAlex en comparación con Web of Science y Scopus, encontrándola “comparable”, incluso antes de las recientes mejoras de OpenAlex, que incluyeron más de 50 millones de trabajos nuevos. En una revisión de Katina, Ho (2025) calificó a OpenAlex como “…una alternativa prometedora y fiable a las bases de datos de citas tradicionales por suscripción para investigadores, administradores universitarios, instituciones de investigación y organismos gubernamentales interesados en actividades de investigación y colaboraciones potenciales.” Otras herramientas de descubrimiento académico, como Overton, utilizan OpenAlex como fuente de datos fundamental.

Cada persona necesitará probarlo para evaluar si su usabilidad cumple con sus estándares, pero para quienes dudan, basta considerar que el simple uso de estas herramientas puede ser una pequeña contribución hacia un futuro diferente para la infraestructura de investigación. Los coordinadores involucrados en la Declaración de Barcelona sobre Información de Investigación Abierta comentaron sobre el compromiso de la declaración de apoyar infraestructuras para información de investigación abierta:

“Lo que creemos importante para las organizaciones es asumir seriamente su responsabilidad de apoyar estas infraestructuras, las cuales solo pueden existir y desarrollarse si son usadas y apoyadas. Esto incluye apoyo financiero, pero también puede involucrar participación en la gobernanza y contribuciones en especie, como aportar datos y mejorar su calidad. En cuanto a las contribuciones financieras, la Universidad de la Sorbona es un gran ejemplo: cuando se dieron de baja de Web of Science, redirigieron parte de ese presupuesto a apoyar OpenAlex. En general, abogamos por hacer de las inversiones en infraestructura abierta una parte integral de los presupuestos institucionales.”

Para muchos en bibliotecas universitarias, no contamos con recursos significativos para invertir o desinvertir, aunque votar con nuestro dinero sigue siendo una opción si tenemos autorización para hacerlo. Sin embargo, lo que sí está dentro de nuestro ámbito de influencia es aprender sobre infraestructura alineada con valores y usarla, aprovechando nuestras posiciones como profesionales de la información para enseñar y motivar a otros a usar infraestructura alineada con valores. En mi institución, hemos empezado con proyectos pequeños, como integrar OpenAlex en nuestra plataforma local de perfiles académicos y trabajar para añadir nuestro repositorio institucional como fuente de datos para OpenAlex. Ya sea OpenAlex u otra herramienta alineada con valores, podemos “votar” con nuestro uso como un pequeño acto diario de apoyo o resistencia. Enseñando sobre estas herramientas, pequeños actos individuales se convierten en poder colectivo.

Una nueva prueba de IA analiza si los chatbots protegen el bienestar humano

Bellan, Rebecca. “A New AI Benchmark Tests Whether Chatbots Protect Human Well-Being.” TechCrunch, November 24, 2025. https://techcrunch.com/2025/11/24/a-new-ai-benchmark-tests-whether-chatbots-protect-human-wellbeing

Se describe la creación de un nuevo benchmark llamado HumaneBench diseñado para evaluar si los chatbots de inteligencia artificial realmente protegen el bienestar humano en lugar de simplemente maximizar la interacción o el compromiso del usuario.

A diferencia de la mayoría de pruebas existentes, que se centran en medir la inteligencia técnica o la capacidad de seguir instrucciones, HumaneBench pone el foco en la seguridad psicológica y la protección del usuario, evaluando cómo responden los modelos de IA en situaciones realistas que pueden afectar la salud mental o las decisiones vitales de las personas.

HumaneBench fue desarrollado por la organización sin ánimo de lucro Building Humane Technology, que basa el benchmark en principios como respetar la atención del usuario, empoderar con opciones significativas, mejorar capacidades humanas, proteger la dignidad y la privacidad, fomentar relaciones saludables, priorizar el bienestar a largo plazo, transparencia e inclusión. El equipo creó 800 escenarios realistas —por ejemplo, preguntas sobre saltarse comidas o experiencias en relaciones tóxicas— para probar cómo los modelos responden bajo diferentes condiciones.

Los resultados mostraron que la mayoría de los modelos de IA mejoran sus respuestas cuando se les indica explícitamente que prioricen el bienestar, pero que muchos pueden comportarse de manera activamente dañina si se les pide ignorar esos principios. Según la evaluación, solo unos pocos modelos (como GPT-5 y algunas versiones de Claude) mantuvieron un desempeño íntegro bajo presión, mientras que otros fallaron sobre todo en respetar la atención del usuario o evitar fomentar un uso excesivo. Esto evidencia que, aunque existe progreso, aún hay lagunas importantes en cómo los sistemas de IA gestionan la seguridad y autonomía del usuario.

Finalmente, la iniciativa de HumaneBench se enmarca en una preocupación más amplia sobre los riesgos asociados al uso intensivo de chatbots, desde problemas de salud mental hasta patrones de uso adictivo, y surge junto a esfuerzos para establecer estándares o certificaciones éticas para productos de IA que realmente prioricen el bienestar humano.

La presión sobre la publicación científica en la era de la sobreproducción académica

Hanson, Mark A., Pablo Gómez Barreiro, Paolo Crosetto, y Dan Brockington. 2024. “The Strain on Scientific Publishing.” Quantitative Science Studies 5 (4): 823–843. https://doi.org/10.1162/qss_a_00327

El artículo analiza la presión creciente que sufre la publicación científica como consecuencia del aumento acelerado del número de artículos que se publican cada año. Aunque la producción de conocimiento científico se ha expandido de forma notable, el número de investigadores capaces de leer, evaluar y revisar ese volumen de trabajos no ha crecido al mismo ritmo, lo que genera una sobrecarga estructural en todo el sistema editorial académico.

Los autores muestran que, en la última década, las bases de datos científicas han registrado un incremento muy significativo del número de artículos indexados. Este crecimiento ha intensificado las exigencias para los investigadores, que no solo deben producir más publicaciones, sino también dedicar una cantidad cada vez mayor de tiempo a tareas como la lectura y la revisión por pares. Como resultado, el sistema de “publicar o perecer” se vuelve más exigente y menos sostenible. Así, el número de artículos indexados en bases como Scopus y Web of Science se ha incrementado de forma exponencial en los últimos años, con un aumento de alrededor del 47 % entre 2016 y 2022.

Mientras que las grandes editoriales tradicionales (como Elsevier o Springer) han aumentado su producción de manera moderada, otras —especialmente aquellas que dependen de modelos de acceso abierto con cargos por procesamiento de artículos (APC) como MDPI y Frontiers— han visto incrementos marcados en artículos por revista y en la proporción de publicaciones a través de special issues o números especiales. Esto sugiere que las estrategias editoriales específicas pueden estar impulsando parte de la expansión de contenidos.

El trabajo propone una serie de métricas para analizar esta tensión, entre ellas el aumento del volumen total de artículos, el uso creciente de números especiales, los tiempos de evaluación editorial, las tasas de rechazo y la evolución de las métricas de impacto. Estas medidas permiten observar cómo las prácticas editoriales han cambiado y cómo algunas estrategias contribuyen a acelerar la publicación sin que ello garantice una mejora en la calidad científica.

Uno de los hallazgos más relevantes es que ciertos modelos editoriales, especialmente aquellos basados en el acceso abierto financiado mediante cargos por publicación, han impulsado un crecimiento muy rápido del número de artículos por revista. En algunos casos, este crecimiento se apoya en un uso intensivo de números especiales, lo que puede facilitar procesos editoriales más rápidos y homogéneos, pero también suscita dudas sobre el rigor de la revisión por pares.

El análisis de los tiempos de aceptación muestra que algunas revistas publican artículos con gran rapidez y con escasa variación entre los plazos de revisión, lo que sugiere procesos altamente estandarizados. Aunque la rapidez no implica necesariamente baja calidad, los autores señalan que esta tendencia puede aumentar la presión sobre revisores y editores y reducir la capacidad de evaluación crítica en profundidad.

En relación con las tasas de rechazo, el estudio revela que no existe un patrón único: algunas editoriales mantienen niveles altos, mientras que otras los reducen o los estabilizan. Esto indica que el aumento de publicaciones no responde a una lógica uniforme, sino a decisiones editoriales específicas que influyen directamente en la carga global del sistema.

El artículo también aborda la inflación de las métricas de impacto, mostrando cómo el aumento generalizado de citas puede distorsionar la percepción de calidad científica. La dependencia excesiva de indicadores bibliométricos refuerza comportamientos estratégicos por parte de investigadores y revistas, orientados a maximizar visibilidad y rendimiento cuantitativo más que a fortalecer la solidez del conocimiento producido.

En sus conclusiones, los autores sostienen que la tensión en la publicación científica no es consecuencia de un único factor, sino del encaje problemático entre incentivos académicos, modelos de negocio editoriales y sistemas de evaluación de la investigación. Para aliviar esta presión, consideran necesario repensar las políticas de evaluación, mejorar la transparencia editorial y reducir la dependencia de métricas basadas exclusivamente en el volumen de publicaciones.

Los investigadores creen que su institución valora más la publicación en revistas muy citadas que el impacto real que pueda tener un trabajo.

Grove, Jack. (2025, 12 de diciembre). Policy Impact Undervalued by Universities, Social Scientists Say. Inside Higher Ed. Recuperado de https://www.insidehighered.com/news/faculty-issues/research/2025/12/12/social-scientists-policy-impact-undervalued-universities

Los resultados reflejan que las universidades tienden a valorar más las publicaciones en revistas altamente citadas y otras métricas tradicionales de prestigio académico, como el recuento de citas o factores de impacto, antes que evaluar el impacto real de la investigación en la formulación de políticas o cambios sociales tangibles.

Encuesta global realizada por Sage entre más de 1 800 científicos sociales de 92 países, centrada en entender cómo perciben la valoración que sus universidades otorgan al impacto de su investigación en la sociedad y las políticas públicas. Según los datos del sondeo, solo alrededor de un tercio de los participantes considera que su institución los promovería o les daría valor por el impacto de su trabajo fuera del ámbito académico, lo que indica una desconexión entre las aspiraciones de estos investigadores y las prioridades institucionales.

En el estudio, el 92 % de los encuestados afirmó que para ellos el objetivo principal de la investigación es contribuir positivamente a la sociedad, pero solo el 68 % cree que esto sea una meta compartida por sus instituciones. Asimismo, un porcentaje similar percibe que los líderes universitarios no valoran plenamente la utilidad social de su trabajo, lo que sugiere que las prácticas de evaluación académica actuales aún están ancladas en métricas internas y tradicionales, dejando fuera dimensiones más abiertas o aplicadas del impacto científico. Cuando se les preguntó si su institución promocionaría o concedería la titularidad a un académico por sus esfuerzos por aplicar la investigación fuera del ámbito académico, solo el 37 % de los 1805 científicos sociales encuestados por Sage respondió afirmativamente.

Los datos también muestran que solo un 28 % de los científicos sociales opina que sus esfuerzos por influir en políticas públicas podrían traducirse en más financiación de investigación, y apenas un 35 % afirma que su universidad ofrece premios o reconocimiento explícito por el impacto fuera de la academia. Además, un 30 % de los encuestados declaró no recibir ningún tipo de reconocimiento por este tipo de trabajo, lo que pone en evidencia una brecha entre el compromiso de los científicos sociales con la relevancia de su investigación y las prácticas de recompensa institucional.

Del mismo modo, el 91 % de los investigadores está de acuerdo en que el objetivo final de la investigación es ampliar la bibliografía y facilitar futuras investigaciones, pero solo el 71 % cree que los responsables de su institución están de acuerdo con esto.

En conjunto, este artículo sugiere que, aunque los investigadores ven la contribución al bien público y a la toma de decisiones informadas como una parte esencial de su labor, el ecosistema académico permanece predominantemente orientado hacia la producción y citación de literatura especializada, con menor énfasis en la aplicación de conocimientos para abordar problemas sociales o influir en políticas. Esto plantea preguntas importantes sobre cómo las universidades podrían replantear sus criterios de evaluación y promoción profesional para reconocer y fomentar formas de investigación que conecten más directamente con desafíos sociales reales.

Esa percepción de desajuste entre la motivación de los científicos sociales y las instituciones debería llevar a replantearse si las métricas de prestigio utilizadas en el mundo académico están desajustadas con los valores, argumenta el informe de Sage.

Principios del seguimiento de la ciencia abierta

Open Science Monitoring Initiative. (2025). The Principles of Open Science Monitoring. Recuperado de https://open-science-monitoring.org/principles/

Se presentan los principios del Open Science Monitoring Initiative (OSMI), diseñados para ofrecer un marco global que oriente la creación de sistemas de seguimiento (monitorización) de la ciencia abierta en distintos contextos nacionales, institucionales y disciplinarios.

La iniciativa surge como respuesta a la falta de directrices globales para evaluar el grado y avance de prácticas de ciencia abierta tras la adopción de la 2021 UNESCO Recommendation on Open Science.

Los principios se estructuran alrededor de tres pilares fundamentales:

  • Relevancia y significación: los indicadores deben ser útiles, adaptables a diversos contextos, desarrollados con participación de distintos actores, y capaces de reflejar impactos reales de la ciencia abierta. Esto asegura que los sistemas de monitoreo realmente aporten información significativa para políticas, instituciones o comunidades científicas.
  • Transparencia y reproducibilidad: los sistemas de monitoreo deben apoyarse en infraestructuras abiertas, usar herramientas de código abierto, documentar públicamente los procesos y metodologías, asegurar la trazabilidad de los datos y permitir la reutilización. Los datos deben ser accesibles, los métodos claros, y los resultados comunicados de forma abierta, lo cual promueve confianza, auditabilidad y comparabilidad entre contextos
  • Autoevaluación y uso responsable: la monitorización debe emplearse como herramienta de mejora continua, con revisiones periódicas, sensibilidad al contexto, y nunca como un mecanismo para clasificar o rankear a investigadores individualmente. En su lugar, debe centrarse en apoyar el desarrollo colectivo de prácticas de ciencia abierta, respetando diversidad disciplinaria, equidad, inclusión y adaptabilidad local.

El documento enfatiza que estos principios no son prescriptivos sino aspiracionales: buscan guiar y orientar la creación de sistemas de monitoreo —no imponer un modelo único. Su carácter flexible y modular facilita su adopción por diversos actores institucionales, gubernamentales o comunitarios con distintas capacidades, recursos y realidades.

La perdida de influencia del factor de impacto: hacia una evaluación más holística de la investigación

Worlock, David. The Implosion of the Impact Factor. David Worlock Blog, octubre de 2025. https://www.davidworlock.com/2025/10/the-implosion-of-the-impact-factor/

Se analiza la creciente irrelevancia del factor de impacto como métrica principal en la evaluación de la investigación académica. Worlock argumenta que esta métrica, que históricamente ha influido en decisiones de financiación, promoción y prestigio académico, está perdiendo eficacia debido a su enfoque limitado y a la evolución del panorama de la investigación.

David Worlock recuerda una reunión entre Eugene Garfield y Thompson en 1982 en la que Garfield afirmo, “Saben”, lo que he desarrollado aquí es solo la forma menos mala de medir la importancia de la ciencia experimental. Todas las demás que he examinado tienen fallas graves y perjudiciales: medir las citas es neutral y universal”.

A lo largo de los años se han hecho muchas sugerencias para añadir métricas/altmétricas nuevas o diferentes, o para crear un esquema de múltiples métricas para crear mejores maneras de distinguir la ciencia sólida de las contribuciones más importantes. Todas han fracasado.

Worlock destaca que el factor de impacto no refleja adecuadamente la calidad o el impacto real de una investigación, ya que se basa en el número de citas recibidas por los artículos publicados en una revista, sin considerar el contexto o la relevancia de esas citas. Además, señala que la creciente disponibilidad de preprints y la diversificación de los canales de publicación están haciendo que esta métrica sea aún menos representativa del valor real de la investigación.

También menciona iniciativas como la de Web of Science, que han comenzado a cuestionar y revisar el uso del factor de impacto, sugiriendo que la comunidad académica está reconociendo la necesidad de adoptar métricas más holísticas y contextuales para evaluar la investigación.

En conclusión, el artículo sugiere que la «implosión» del factor de impacto es una señal de que el sistema de evaluación académica está en transición hacia métodos más sofisticados y representativos, que consideren una gama más amplia de factores y contextos en la valoración de la investigación. En la era de la IA, y nuestra capacidad para examinar y comparar estructuras taxonómicas y ontológicas con un nivel de intensidad completamente diferente, sin duda deberíamos hacerlo mejor.

Buenas prácticas para la implementación de la inteligencia artificial en las bibliotecas

Ehrenpreis, Michelle, y John DeLooper. “Chatbot Assessment: Best Practices for Artificial Intelligence in the Library.” portal: Libraries and the Academy 25, n.º 4 (2025): 669-701. https://preprint.press.jhu.edu/portal/sites/default/files/06_25.4ehrenpreis.pdf

El estudio representa una evaluación pionera de un chatbot de biblioteca que incorpora la API de ChatGPT, proporcionando evidencia práctica de sus capacidades y limitaciones, así como recomendaciones operativas para maximizar su utilidad en entornos académicos.

Evaluación detallada de un chatbot utilizado en una biblioteca universitaria, específicamente Ivy.ai (“IvyQuantum”) en la Lehman College Library (parte del sistema CUNY). Este chatbot fue inicialmente implementado en otoño de 2019, usando un modelo basado en reglas (rules-based), y más adelante, desde abril de 2023, se integró con la API de ChatGPT para convertirse en un sistema híbrido de generación más inteligente (modelo generativo + base de conocimiento local).

Para evaluar el desempeño tras esta actualización, los autores analizaron una muestra aleatoria de 101 interacciones de chatbot durante el semestre de primavera de 2023 (de un total de 816) más las 39 “tickets” generados cuando el chatbot no pudo contestar (es decir, casos en los que el usuario solicitaba asistencia humana). Cada interacción fue valorada mediante un rúbrica desarrollada por los autores que incluyó criterios como confianza del chatbot (respuestas “low confidence”, “no confidence”), si el usuario rechazó generar un ticket, la evaluación del usuario (pulgar arriba/abajo) y variables de comportamiento del usuario (por ejemplo, desconexión prematura, satisfacción explícita, solicitud de agente humano). Además, las respuestas fueron codificadas según temas (por ejemplo, libros, artículos, solicitudes de agente, investigación) para identificar los tipos de preguntas con menor desempeño.

Los resultados muestran que el chatbot tiene un rendimiento moderado: en la muestra aleatoria, aproximadamente el 39 % de las respuestas recibieron una calificación 1 (correctas pero incompletas) según la rúbrica, mientras que el 42 % fueron calificadas como respuestas completas pero incorrectas (puntuación 2). En comparación con la tasa de éxito atribuida a bibliotecarios humanos en servicios de referencia (alrededor del 55 %), su desempeño es destacable para una herramienta automatizada, aunque con limitaciones claras. Las preguntas más problemáticas para el chatbot fueron aquellas que solicitaban hablar con un agente humano, consultas sobre libros (incluyendo disponibilidad, edición o reservas) y peticiones para investigación o artículos académicos. Tras la integración del ChatGPT, se observó una reducción en el número total de consultas sin ticket (−45 %) pero un aumento significativo en el número de tickets generados (+190 %) en comparación con el periodo anterior.

A partir de sus hallazgos, los autores proponen una serie de mejores prácticas para bibliotecas que consideren adoptar chatbots: revisión periódica de las transcripciones y las preguntas de los usuarios para ajustar respuestas personalizadas, mantener actualizada y estructurada la base de conocimiento de la biblioteca (por ejemplo, mediante archivos CSV con datos limpios), diseñar la interfaz para que los usuarios comprendan el propósito del chatbot (por ejemplo, distinguiendo claramente cuándo derivar al chat humano), y asegurar que haya personal bibliotecario dedicado al mantenimiento y mejora del sistema.

También destacan que la participación institucional y el compromiso de los bibliotecarios son factores clave para el éxito, y que la adopción de sistemas híbridos (reglas + generación) puede ofrecer un equilibrio entre control y flexibilidad.