Archivo de la etiqueta: Imapcto

Cuando medir empobrece: el coste conceptual de cuantificar la investigación

Martins, Igor. “The Pressure to Quantify Research Is Erasing Conceptual Depth.” LSE Impact of Social Sciences (blog), junio 11, 2025 https://blogs.lse.ac.uk/impactofsocialsciences/2025/06/11/the-pressure-to-quantify-research-is-erasing-conceptual-depth/

Igor Martins advierte que la presión por traducir ideas complejas en indicadores concretos —como citaciones, rankings o índices— conduce a una investigación superficial, donde lo medible desplaza lo significativo

Tanto investigadores como instituciones están cada vez más obligados a presentar resultados que encajen en indicadores numéricos —citaciones, rankings de revistas, índices de desarrollo—, lo que no solo limita qué se investiga, sino también cómo se construye el conocimiento.

Este fenómeno refleja la falacia de McNamara: priorizar lo cuantificable y desechar lo que no puede medirse. Como se explica en la “Ética de la cuantificación”, esta forma de pensar puede generar una confianza excesiva en los números y hacer que problemas complejos de tipo político o social se traten como si fueran únicamente cuestiones técnicas, simplificando en exceso su naturaleza y dificultando soluciones adecuadas.

Para las metodologías cualitativas, la presión por métricas transforma conceptos en marcos rígidos que favorecen eficiencia y comparabilidad a costa de profundidad. Según un estudio en BMC (2025), «estos marcos… promueven eficiencia y comparabilidad, pero arriesgan perder lo valioso de una buena investigación cualitativa: la profundidad» Además, convertir datos cualitativos en parámetros fácilmente cuantificables (p. ej., inter-rater reliability) puede distorsionar la riqueza del análisis.

Martins relata su experiencia durante un posdoctorado en la Universidad de Lund, donde trabajó en una teoría sobre el cierre de brechas económicas. Para ello debió operacionalizar conceptos abstractos como “capacidades sociales”, traduciendo nociones de inclusión, autonomía o estabilidad en métricas concretas. Sin embargo, relata que las exigencias de claridad y objetividad reducían la riqueza teórica original. Él mismo admite: “en aquel momento… la demanda de una métrica había empezado a desplazar el trabajo conceptual en sí”

El artículo profundiza en los riesgos de aplicar criterios cuantitativos uniformes a disciplinas muy diversas. Citando a Jonathan Adams, Martins advierte: “producir métricas comparables entre filósofos, historiadores o economistas borra las diferencias que dan valor a esa diversidad intelectual” . Cuando los proxies –las métricas– se institucionalizan, se corre el riesgo de confundir el mapa con el territorio, perdiendo de vista el fenómeno original .

No obstante, Martins reconoce que la medición tiene beneficios prácticos: facilita la comparación, replicación y comunicación de resultados, especialmente en economía del desarrollo y bienestar, donde indicadores como el PIB o la calidad institucional guían políticas. El problema no es medir, sino que la métrica se convierta en el fin, sustituyendo el pensamiento profundo. Advierte que “la ambigüedad no siempre es un problema; a veces, es lo que hace que un concepto valga la pena”

Por lo que llama a un uso cuidadoso de las métricas: que sean herramientas para clarificar y ampliar el pensamiento, no reemplazos del mismo. Propone mantener vigilante el equilibrio entre la cuantificación y la riqueza conceptual, reconociendo que cierta vaguedad es necesaria para capturar fenómenos complejos.

Futuro de los Identificadores Persistentes (PIDs) en la publicación académica

Packer, Tara. «CHORUS Forum: Navigating the Future of Persistent Identifiers (PIDs) in Scholarly Publishing – Summary». CHORUS (blog), 17 de junio de 2024. https://www.chorusaccess.org/chorus-forum-navigating-the-future-of-persistent-identifiers-pids-in-scholarly-publishing-summary/.

En el Foro CHORUS sobre Navegación hacia el Futuro de los Identificadores Persistentes (PIDs) en la Publicación Académica, se discutió ampliamente sobre los beneficios y desafíos asociados con los PIDs. Destacaron los siguientes puntos:

Se mencionaron las cargas administrativas para los investigadores y las dificultades en el análisis de datos como principales preocupaciones. Entre los beneficios se destacó la capacidad para rastrear métricas y establecer conexiones confiables. Se subrayó la importancia de asignar PIDs para optimizar el ciclo de los mismos, facilitando un flujo de trabajo abierto, eficiente, rastreable y persistente.

Alice Meadows, moderadora del evento, mencionó los resultados de una encuesta preliminar entre los participantes, resaltando la investigación y el seguimiento como beneficios, y la falta de interoperabilidad social como un desafío.

John Chodacki, del Centro de Curación de la Universidad de California, compartió iniciativas junto a NISO, Research Data Alliance (RDA) y Open Research Funders Group (ORFG) para definir características deseables de sistemas de PIDs, desarrollar recomendaciones para una Estrategia Nacional de PIDs en EE.UU., y asegurar la interoperabilidad a largo plazo de sistemas de identificadores.

Carly Robinson, del Departamento de Energía de EE.UU., mencionó cómo las agencias federales están implementando PIDs de manera significativa conforme a las directrices de la NSPM-33 y otras políticas, para mejorar la gestión de datos de investigación.

Scott Dineen, de Optica Publishing Group, discutió el papel crítico de los PIDs desde la perspectiva editorial, enfatizando la necesidad de convenciones más rigurosas y transparentes.

Amanda French, de Research Organization Registry (ROR), detalló los esfuerzos para la transición de la identificación de financiadores desde el Crossref Open Funder Registry a ROR, destacando colaboraciones con diversas organizaciones para asegurar la correcta implementación.

El evento concluyó con una sesión de preguntas y respuestas que exploró temas como la infraestructura ideal para PIDs, la inclusión de metadatos mejorados y la ampliación de la participación en la contribución de PIDs en las publicaciones académicas.

La presión sobre la publicación científica: el volumen creciente de artículos publicados no significa una época dorada de la ciencia

Hanson, Mark A., Pablo Gómez Barreiro, Paolo Crosetto, y Dan Brockington. 2023. «The strain on scientific publishing». arXiv. https://doi.org/10.48550/arXiv.2309.15884.

La presión sobre la publicación científica, escrita por Mark A. Hanson, Pablo Gómez Barreiro, Paolo Crosetto y Dan Brockington, aborda el creciente desafío que enfrentan los científicos debido al volumen creciente de artículos. Se destaca que el total de artículos indexados en Scopus y Web of Science ha experimentado un crecimiento exponencial en los últimos años, con un aumento del 47% en 2022 en comparación con 2016. Este aumento ha superado el crecimiento limitado, o incluso inexistente, en el número de científicos en ejercicio.

El gráfico que compara el aumento en el número de doctorados con la proliferación de publicaciones muestra claramente una tensión en la publicación científica. La carga de trabajo asociada con la publicación, que incluye la redacción, revisión y edición de artículos, se ha incrementado drásticamente, y los autores definen este problema como la «presión sobre la publicación científica». Para analizar este fenómeno, se presentan cinco métricas basadas en datos que revelan el crecimiento de los editores, los tiempos de procesamiento y los comportamientos de citación. Estos datos se obtuvieron mediante scrapes web, solicitudes de datos a editores y material disponible de forma gratuita a través de sitios web de editores.

Los hallazgos del estudio se basan en millones de documentos producidos por destacados editores académicos. Se destaca que ciertos grupos específicos han experimentado un crecimiento desproporcionado en la cantidad de artículos publicados por año, contribuyendo a la presión observada. Algunos editores facilitaron este aumento al adoptar la estrategia de organizar números especiales que publican artículos con tiempos de respuesta reducidos.

Dado el contexto en el que los investigadores enfrentan presiones para publicar y competir por financiamiento, se sugiere que estas ofertas para publicar más artículos podrían haber exacerbado la presión sobre la publicación científica. Además, se observó una inflación generalizada año tras año de los factores de impacto de las revistas, lo que plantea el riesgo de confundir las señales de calidad. En última instancia, los autores argumentan que un crecimiento exponencial de esta magnitud no puede ser sostenible a largo plazo y proponen métricas que podrían contribuir a encontrar soluciones prácticas para abordar este desafío en la publicación científica.

Se plantea la pregunta de si la causa de este problema debe atribuirse a los propios investigadores o si los editores y sus modelos comerciales están impulsando el aumento en la producción de artículos. Un nuevo preprint examina la situación, destacando cinco tendencias a partir del análisis de millones de documentos en el archivo Scimago y web scraping:

  1. El crecimiento de artículos proviene de diversos editores, ya sea aquellos que venden revistas mediante suscripción o aquellos que aplican cargos por procesamiento de artículos en el modelo de acceso abierto dorado.
  2. Algunos editores han reducido significativamente sus tiempos de respuesta, homogeneizándolos, a pesar de las diferencias en las necesidades de los documentos.
  3. La disminución de las tasas de rechazo puede generar más artículos, pero no hay tendencias claras en las tasas de rechazo en todo el sector.
  4. Las «Special Issues» son impulsoras del crecimiento en algunos editores de acceso abierto dorado, asociándose con tasas de rechazo más bajas y tiempos de respuesta más homogéneos.
  5. Se observa una inflación generalizada de los factores de impacto, lo que plantea interrogantes sobre la calidad de las publicaciones.

La proliferación de «autores extremadamente productivos» no indica una época dorada de la ciencia, sino más bien una inclinación hacia la sobrevaloración del volumen de publicaciones.

Informe final de la iniciativa piloto sobre el marco de impacto de las bibliotecas universitarias y de investigación

Building a Community of Assessment: Final Report of the Research Library Impact Framework Pilot Initiative. Association of Research Libraries (ARL), 2023

Texto completo

La iniciativa piloto Research Library Impact Framework (RLIF) de la Association of Research Libraries (ARL), establecida en 2019, ha publicado su informe final, Building a Community of Assessment. El informe detalla los proyectos de investigación, los hallazgos y las lecciones aprendidas realizadas en la fase piloto de este marco. También incluye información sobre el propio marco como medio para explorar y aprender sobre los impactos de las bibliotecas de investigación. Por último, el informe identifica los próximos pasos y las consideraciones potenciales para cualquier implementación futura.

El RLIF proporciona una estructura para examinar los servicios bibliotecarios, las operaciones, el impacto y la alineación con la misión y los objetivos institucionales en cuatro áreas críticas: Investigación y ciclo de vida académico; Enseñanza, aprendizaje y éxito de los estudiantes; Colecciones; y Espacio físico. El marco completo incluye 185 preguntas de investigación potenciales en estas áreas críticas. Sin embargo, el marco también pretende ser flexible y modular, permitiendo modificaciones y ajustes basados en cuestiones destacadas a las que se enfrentan las bibliotecas de investigación. De este modo, el marco sirve como herramienta para organizar y priorizar los esfuerzos de investigación.

La iniciativa RLIF estableció cuatro objetivos para guiar su estrategia y aplicación

  • Objetivo 1: Crear y fomentar una cultura de evaluación mediante la participación en proyectos de investigación formales y metodológicamente sólidos.
  • Objetivo 2: Aumentar y mejorar los procesos de identificación de puntos de datos para la recopilación y distribución de información que corrobore el impacto de la biblioteca a los responsables institucionales y dentro del ecosistema de investigación y aprendizaje.
  • Objetivo 3: Ampliar las capacidades para colaborar y comparar datos y métodos con otros colegas sobre temas de gran relevancia para las bibliotecas individuales y poner en común la experiencia y los recursos de investigación en beneficio colectivo.
  • Objetivo 4: Mejorar el impacto de los servicios y programas para los usuarios

Papel e impacto de Facebook como medio de comunicación científica

810f13cb08ff17254079afe254859953

Enkhbayar, Asura ; Haustein, Stefanie ; Barata,Germana ; Alperin, Juan Pablo «How Much Research Shared on Facebook is Hidden From Public View? A Comparison of Public and Private Online Activity Around PLOS One Papers”. arXiv, 2019

Texto completo

 

A pesar de su posición indiscutible como la mayor plataforma de medios sociales, Facebook nunca ha tenido en cuenta su potencialidad para la visibilidad de la investigación (altmetrics). En este estudio se argumenta que la falta de atención por parte de los investigadores no se debe a la falta de actividad relevante en la plataforma, sino a los retos en la recopilación de datos por parte de Facebook que se han limitado a la actividad que tiene lugar en páginas selectas y grupos públicos.

Aquí se presenta un nuevo método de recogida de acciones, reacciones y comentarios a través de la plataforma Facebook para recopilar datos de todos los artículos publicados en la revista PLOS ONE entre 2015 y 2017. Se comparan estos datos con recopilados recopilados y agregados por Altmetric.com.

Los resultados muestran que el 58,7% de los documentos compartidos en la plataforma se producen fuera de la vista del público y que, al recoger todas las acciones, el volumen de actividad se aproxima a los patrones de compromiso que antes sólo se observaban en Twitter. Ambos resultados sugieren que se ha subestimado el papel y el impacto de Facebook como medio de comunicación científica y académica. Además, enfatizan la importancia de la apertura y la transparencia en torno a la recopilación y agregación de datos altmétricos.