Archivo de la etiqueta: Impacto

¿La investigación de autoría femenina tiene más impacto educativo que la investigación de autores masculinos? Evidencias de Mendeley

texas-heart-instiute_dr-stephanie-coulter-673x376

Thelwall, Mike. «Does Female-authored Research have More Educational Impact than Male-authored Research? Evidence from Mendeley». Journal of Altmetrics (1,1)
DOI: 10.29024/joa.2

Texto completo

En la mayoría de los países es más probable que las mujeres en el ámbito académico desempeñen tareas relacionadas con la enseñanza. Como consecuencia de esto, los artículos de revistas de autoría femenina pueden tender a ser más útiles para los estudiantes. Este estudio evalúa esta hipótesis investigando si la investigación de primera autoría femenina tiene más aceptación en la educación que la investigación de primera autoría masculina.

Basado en un análisis de los lectores de Mendeley de artículos de 2014 en cinco países y 100 categorías de temas de Scopus, los resultados muestran que los artículos de autoría femenina atraen a más lectores estudiantes que los de autoría masculina en España, Turquía, el Reino Unido y los Estados Unidos, pero no en la India, y tienden a ser menos populares entre los académicos de alto nivel. Debido a que los resultados se basan en el análisis de las diferencias dentro de campos concretos, no pueden ser tomados en cuenta por las mujeres que trabajan en disciplinas más relacionadas con la educación. Sin embargo, el aparente impacto educativo adicional para la investigación de autoría femenina podría deberse a la selección de microespecialidades más accesibles, como los instrumentos relacionados con la salud. Cualquiera que sea la causa, los resultados sugieren que las evaluaciones de investigación basadas en citas pueden subestimar el impacto más amplio de las investigadoras.

 

 

Cómo garantizan las bibliotecas universitarias la confianza en el proceso de investigación del siglo XXI

color-3207345_1280-1080x675

 

Laura Rothfritz ; Dorothea Strecker «How libraries secure trust in the research process of the 21st century» Elephant in the lab: Bold ideas and critical thoughts on science.

Ver original

 

El papel de las bibliotecas en el siglo XXI está cambiando. Una indicación es la aparición de nuevos servicios y perfiles de trabajo: las bibliotecas ofrecen servicios de apoyo a los investigadores durante todo el proceso de creación, publicación, difusión y descubrimiento de sus investigaciones. En países como Estados Unidos y el Reino Unido, las bibliotecas universitarias crean puestos especiales, llamados acertadamente «bibliotecarios de enlace» o de gestión de la comunicación académica. El perfil del puesto requiere competencias básicas en la gestión de publicaciones, políticas y mandatos de los financiadores, gestión de los derechos de publicación y la medición del impacto académico. Este conjunto de requisitos difiere considerablemente del trabajo de biblioteca tradicional  : hoy en día, los bibliotecarios se involucran en todo el proceso de investigación y en las condiciones del entorno de la publicación académica. En nuestra opinión, el papel de las bibliotecas en el proceso de investigación del siglo XXI es principalmente generar confianza en el proceso de investigación.

A continuación se exponen tres ejemplos de compromiso de la biblioteca con la confianza: alfabetización en comunicación académica, calidad de la información y seguridad jurídica.

ALFABETIZACIÓN EN COMUNICACIÓN ACADÉMICA

Si bien la cantidad de investigaciones publicadas se duplica cada nueve años (Van Noorden, 2014), la necesidad de comunicación científica y transferencia de conocimientos al público en general también está ganando atención (Wissenschaftsrat, 2016). Parte de esto es un proceso llamado comunicación académica, que se refiere a la creación, evaluación, difusión y preservación de publicaciones académicas (Association of College & Research Libraries, 2003).

Los bibliotecarios de enlace ayudan a los investigadores a encontrar una revista adecuada en la que publicar sus hallazgos y maximizar el impacto de sus publicaciones. De hecho, tener amplios conocimientos de los sistemas de comunicación académica hace que los bibliotecarios sean el aliado perfecto para los investigadores a la hora de publicar sus resultados. Además, los bibliotecarios tienen una larga tradición de apoyo a la alfabetización informativa, por lo que están acostumbrados a compartir conocimientos sobre cómo encontrar, evaluar y utilizar los recursos de información.

Lo mismo es aplicable cada vez más al apoyo a los investigadores para que fortalezcan su capacidad de comunicación académica: su capacidad para encontrar, evaluar y difundir sus investigaciones entre la comunidad, así como para comprender las diferentes formas en que se mide el impacto de la producción académica. Un estudio de anuncios de trabajo para puestos de biblioteca relacionados con la comunicación académica encontró que «instruction» era el término más utilizado en las descripciones de trabajo (Finlay et al., 2015).

La comunicación académica no es un campo fácil para los investigadores, especialmente en lo que se refiere a las editoriales y revistas. Aunque la mayoría de los bibliotecarios en general están trabajando para para mejorar el acceso a las publicaciones, también trabajan con los investigadores para protegerlos de ser presa de los llamados editores depredadores. Estos editores se aprovechan de la máxima «publica o perece» que prevalece en la ciencia y de la necesidad de que los académicos tengan que publicar para obtener financiación, reconocimiento y obtener evidencias científicas de cara a los procesos de acreditación académica.

Este modelo perjudicial aprovecha el pago de los gastos de procesamiento de artículos (APC) por parte del investigador por la publicación de su manuscrito Open Access. Las revistas depredadoras se presentan como revistas legales para el investigador, al tiempo que no ofrecen ninguna de las garantías de calidad que las revistas legítimas de acceso abierto ofrecen a cambio de los cargos de APC, como la revisión por pares, la capacidad de descubrimiento y el acceso a largo plazo. Puede resultar confuso para los investigadores distinguir la calidad y la reputación del modelo de negocio de las revistas: ya que los APC más altos no garantizan estándares de calidad más altos.

Los investigadores pueden consultar con los bibliotecarios antes de enviar un manuscrito a una revista, ya que los bibliotecarios tienen la capacidad de analizar la confiabilidad de las revistas. De hecho, la primera lista de editores depredadores en llevar un registro de revistas no autorizadas fue iniciada en 2008 por un bibliotecario de la Universidad de Colorado Denver-Jeffrey Beall. Rodeado de mucha controversia, Beall finalmente retiró la lista en enero de 2017, pero ha sido reencarnado por un grupo anónimo con un proyecto llamado «Stop predatory publishing» que se ejecuta en GitHub. Otras iniciativas para hacer frente a los bibliotecarios de publicaciones depredadoras y a los especialistas en información son el Directory of Open Access Journals (DOAJ), que indexa revistas de acceso abierto de alta calidad, y la campaña «Think, check, submit» (Piensa, comprueba, envía), que ayuda a los investigadores a identificar revistas de confianza.

CALIDAD INFORMATIVA

Las bibliotecas están equipadas para evaluar las fuentes de información, lo que sigue siendo el caso de los recursos de información digitales. Los bibliotecarios están capacitados para identificar e interpretar los metadatos, que describen la fuente de información. Pueden ayudar a los investigadores a averiguar si la información es realmente lo que parece ser (autenticidad), si ha sido alterada de alguna manera (integridad) y si ha sido proporcionada por una fuente confiable (procedencia).

En los últimos años, las bibliotecas han ampliado sus responsabilidades para incluir la . La calidad de los conjuntos de datos y su descripción (metadatos) son esenciales para su posible reutilización. La calidad de los metadatos está garantizada por la implementación de estándares, como el esquema de metadatos de DataCite. Al ofrecer la descripción y las diferentes versiones, cuyo esquema permite que otros entiendan y evalúen los conjuntos de datos.

Antes de la publicación de los resultados de la investigación, incluidos los datos de la investigación, varios financiadores exigen a los investigadores que redacten planes de gestión de datos (Data Management Plans o DMPs) que documenten la creación de conjuntos de datos, así como las estrategias para compartir y preservar (Harting y Soßna, 2016). Las bibliotecas han desarrollado una serie de herramientas para facilitar la redacción de estos planes.

La información fidedigna está en el centro de todo descubrimiento científico. Sin embargo, la ciencia está experimentando una crisis de replicación: la incapacidad de reproducir los resultados de la investigación. Según una encuesta publicada en Nature, la gran mayoría de los encuestados no lograron reproducir un experimento (Baker, 2016). Aunque la replicabilidad no es un indicador universal de la buena ciencia, como señala la mayor organización alemana de financiación de la investigación, la crisis de la replicación suscita debates sobre la confianza en los resultados de la investigación (Deutsche Forschungsgemeinschaft, 2017).

Las bibliotecas son socios importantes en el apoyo a estos debates productivos. Ofrecen servicios destinados a hacer que los datos de la investigación estén disponibles abiertamente y tienen el potencial de actuar como «centros de calidad de datos» (Giarlo, 2013). Al publicar los datos subyacentes y vincularlos a la publicación del texto, los resultados son más transparentes (Sayre y Riegelman, 2018). Los investigadores pueden fomentar la confianza en los resultados de la investigación aprovechando estos servicios y trabajando con los bibliotecarios durante el proceso de investigación y publicación.

 

SEGURIDAD JURÍDICA

La incertidumbre en cuanto a los aspectos legales es una barrera importante para la Ciencia Abierta. Las bibliotecas tienen una larga tradición en la mediación de los intereses de los investigadores y el derecho. Con el surgimiento de nuevas prácticas de investigación, las bibliotecas intentan incluir las necesidades actuales en este proceso.

En los últimos años, las cuestiones jurídicas se han puesto especialmente de manifiesto en el contexto de los datos de la investigación. A medida que los financiadores y las universidades abogan cada vez más por la publicación de datos de investigación, surgieron preocupaciones legales como la propiedad de los datos y la protección de la privacidad. Las bibliotecas alemanas son conscientes de estos problemas y están trabajando en material informativo y servicios de apoyo para los investigadores.

Otra fuente de incertidumbre es la llamada «ruta verde» de acceso abierto. Que serefiere a la práctica de subir a un repositorio una versión de un trabajo que fue publicado en una revista de pago y, por lo tanto, hacerla abiertamente disponible. Las políticas de las revistas con respecto al Acceso Abierto pueden ser confusas. Los investigadores que estén considerando subir su producción académica a los repositorios de Acceso Abierto pueden verse desanimados por esta área gris legal. A fin de aclarar la situación jurídica del acceso abierto en la ruta verde, el Bundestag alemán promulgó un derecho de publicación secundario para los titulares de derechos de autor en determinadas condiciones (Bruch y Pflüger, 2014). Las bibliotecas apoyan el acceso abierto ecológico proporcionando a los investigadores la información necesaria sobre las políticas de revistas (SHERPA/RoMEO), los repositorios de acceso abierto (OpenDOAR) y los derechos de publicación secundaria.

Los bibliotecarios dominan el uso de licencias de contenido abierto, como Creative Commons. Las licencias de contenido abierto permiten al propietario de los derechos de autor dar permiso a otros para compartir y utilizar una obra, a la vez que establecen claramente las condiciones para su (re)utilización. Por lo tanto, las licencias de contenido abierto son una herramienta esencial para que la investigación sea más inclusiva y transparente. Las bibliotecas pueden ayudar a los investigadores a elegir las licencias adecuadas para sus trabajos.

Otra área con implicaciones legales es el acceso a la información. En este momento, el acceso a los resultados de la investigación está sujeto a grandes transformaciones. Debido al aumento de los costos de suscripción a revistas, las bibliotecas están pasando de un modelo basado en suscripciones a otro basado en el acceso abierto. Al mismo tiempo, Sci-Hub, la mayor de las llamadas «bibliotecas en la sombra«, ofrece acceso a aproximadamente el 70% de toda la literatura académica con un DOI (Himmelstein et al., 2018).

Con el fin de proporcionar una base legal aceptable para el acceso a los resultados de la investigación, Project DEAL negocia acuerdos de licencia a nivel nacional con grandes editores. Casi 200 bibliotecas apoyan las negociaciones con Elsevier, uno de los mayores editores, cancelando las suscripciones. Las bibliotecas también promueven infraestructuras abiertas para el acceso abierto, como los sistemas de revistas abiertas. Al poner en común recursos financieros e iniciativas de financiación como la Open Library of Humanities, las bibliotecas apoyan la transición de las revistas existentes a un modelo de publicación de acceso abierto sin cargos de procesamiento de artículos en las humanidades.

 

CONCLUSIÓN

La digitalización del proceso de investigación y su difusión ha tenido efectos positivos, por ejemplo, en la mayor disponibilidad de los resultados de la investigación y en los nuevos enfoques para medir su impacto. Pero también ha provocado una serie de problemas a los que se enfrentan los investigadores. Debido a la gran cantidad de recursos de información disponibles a través de las nuevas formas de publicaciones académicas, puede ser difícil para los investigadores evaluar la calidad de las fuentes de información. También puede ser un desafío identificar revistas de alta calidad y conocer las implicaciones legales que ello conlleva. La confianza en los resultados de la investigación, las partes interesadas, las infraestructuras y los servicios son un requisito previo para la calidad de la investigación en general.

Aunque la confianza es difícil de medir, esta puede verse mejorada a través de relaciones de trabajo continuas. La confianza depende de las experiencias que se han adquirido a lo largo de estas asociaciones. Cuantos más investigadores y bibliotecarios trabajen juntos, mejor será la comprensión de las perspectivas de cada uno sobre las prácticas de investigación y la comunicación de los resultados de la investigación.

Los bibliotecarios pueden proporcionar una buena dosis de fiabilidad en diferentes áreas. Los investigadores y bibliotecarios pueden trabajar juntos para mejorar sus habilidades, y consecuentemente para mejorar la calidad de los resultados de la investigación.

Aunque estas colaboraciones pueden ser beneficiosas, todavía depende de ambas partes convertirse en socios colaborativos (StakeHolders). Recomendamos a los investigadores que trabajen en estrecha colaboración con los bibliotecarios, ya que pueden ofrecer una valiosa ayuda en todo el proceso de investigación. En consecuencia, los bibliotecarios también deberían desempeñar un papel más activo en la detección de las necesidades de los investigadores, ya que éstas pueden cambiar debido a las nuevas prácticas de investigación. Los bibliotecarios necesitan comunicar sus habilidades a los investigadores, ya que es posible que no las conozcan. Proponemos colaboraciones estrechas con miembros del profesorado que pueden actuar como multiplicadores entre sus colegas.

Si los investigadores y los bibliotecarios trabajan juntos, pueden confiar en el proceso de investigación del siglo XXI.

 

 

 

¿Qué puede decirnos Altmetrics sobre el impacto de los libros en el «mundo real»?

 

thumb

Engineering, Altmetric; Konkiel, Stacy; Adie, Euan (2018): What altmetrics can tell us about the “real world” impacts of books. figshare. Paper., 2018

Texto completo

Libro blanco que analiza el impacto de los datos de atención en línea de los libros y capítulos publicados.

 

En los pocos años transcurridos desde que surgió el concepto de altmetrics, ha aumentado el número de los editores han recurrido a estos datos no tradicionales de la web social para entender cómo las audiencias se comprometen con la investigación que publican. Junto con la bibliometría tradicional («¿Cuántas citas se han hecho a esta obra recibida?»), altmetrics puede añadir textura y profundidad a las narrativas y los números se utiliza para entender la influencia de la investigación publicada en una amplia variedad de formatos.

Hasta hace muy poco, gran parte de los datos de altmetrics disponibles sobre el compromiso con el mundo de la investigación se centraba en el artículo de la revista. Pero desde 2016, cuando nace Altmetric.com la medición altmétrica para monografías ha creciendo rápidamente en términos de interés, cobertura y tecnología.

Lo que está menos claro es hasta qué punto la altmetría de los libros difiere de los patrones utilizados en altmetría para artículos de revistas y otros formatos de investigación. En este libro blanco, proporciona una mirada de alto nivel a la altmetría para libros y capítulos de libros, examinando los patrones de discusión en las diecisiete fuentes de datos que Altmetric.com.

La ventaja de la cita del acceso abierto: ¿existe y qué significa para las bibliotecas?

oa_verbeeldingskr8-1

Lewis, C. L. «The Open Access Citation Advantage: Does It Exist And What Does It Mean For Libraries?» Information Technology and Libraries (ITAL) vol. 37, n. 3 (2018).

Texto completo

La última revisión bibliográfica de la investigación sobre las ventajas de citación de los documentos en acceso abierto – Open Access Citation Advantage (OACA)– fue publicada en 2011 por Philip M. Davis y William H. Walters. Este artículo reexamina las conclusiones a las que llegaron Davis y Walters al proporcionar una revisión crítica de la literatura de la OACA que se ha publicado en 2011, y explora cómo los aumentos en las tendencias de publicación deOA podrían servir como una herramienta de apoyo para las bibliotecas frente a los altos costos de las suscripciones a revistas.

Los medios digitales y sociales son la plataforma más rentable para la publicación y difusión de revistas revisadas por pares en abierto

pros

Gedela, Srinubabu.»Digital and Social media emerges as the cost effective platform for peer reviewed journal publication and dissemination» PRESS RELEASE PR Newswire Jun. 24, 2018, 05:00 PM

 

Ver completo

Ver además

El surgimiento de los medios digitales en línea está cambiado por completo el escenario de publicación científica. Ya que, además de las citas a los artículos y el factor de impacto, se empieza a tener en cuenta la cantidad de clics recibidos por el artículo, las vistas, descargas, comentarios, recursos compartidos, y los «me gusta». De este modo, las plataformas de redes académicas como ResearchGate, LinkedIn, GoogleScholar y las redes sociales como Facebook y Twitter están desempeñando un papel crucial en la mejora del factor de impacto del artículo.

 

También este nuevo contexto, la publicación en acceso abierto está ganando popularidad a medida que el mundo cada vez está mas interconectado, facilitando el archivo, la indexación, la minería de datos, la recuperación y la rápida distribución de la investigación. Las publicaciones de acceso abierto generan un millón de artículos al año y dan empleo a entre 25.000 y 30.000 personas. El número de investigadores y autores que están adoptando los foros y plataformas de acceso abierto está creciendo gradualmente, se calcula que un 10% de los investigadores se suman a ellos cada año, en la actualidad 5,5 millones de autores contribuyen a las publicaciones de acceso abierto. Sin duda, la publicación de acceso abierto va a seguir siendo el modelo de publicación preferido en el futuro, ya que los sitios de publicación e indexación basados en suscripciones están desapareciendo gradualmente a medida que los académicos y científicos obtienen fuentes de información relevantes en las revistas de acceso abierto.

Por otro lado, a ello han contribuido la mayoría de las agencias de financiación como la OMS, EMBL, NIH, Welcometrust, etc. que obligan a que las investigaciones financiadoas por ellos se publiquen en revistas de acceso abierto. De los 25.000 millones de dólares del valor del mercado editorial, el valor de las revistas científicas de Science, Technology and Medical (STM) fue de 12.000 millones de dólares en 2016. Mientras que el mercado de revistas STM basadas en suscripciones se redujo drásticamente a 8.000 millones de dólares en 2016, -un importante descenso frente a los 12.500 millones de dólares que obtuvieron en en 2014-, la publicación de revistas STM de acceso abierto alcanzó los 900 millones de dólares en 2017 y produjeron 2.5 millones de artículos al año, aumentando el número de artículos en un 10%.

 

 

El impacto científico aumenta cuando los investigadores publican en acceso abierto y en colaboración internacional

colaboracic3b3n

Breugelmans JG, Roberge G, Tippett C, Durning M, Struck DB, Makanga MM (2018) Scientific impact increases when researchers publish in open access and international collaboration: A bibliometric analysis on poverty-related disease papers. PLoS ONE 13(9): e0203156. https://doi.org/10.1371/journal.pone.0203156

 

Este artículo investiga el efecto de la publicación en revistas OA y con colaboración internacional dentro y entre países europeos y de África subsahariana sobre el impacto de las citas en  artículos más citados en la investigación de enfermedades relacionadas con la pobreza.

 

Las publicaciones de investigación sobre enfermedades específicas fueron recogidos de  web de Science™ y MEDLINE utilizando términos de Medical Subject Heading (MeSH). Los datos sobre la accesibilidad abierta de la literatura científica se obtuvieron de 1science oaFindr. Se extrajeron los datos de publicación, incluidos los recuentos relativos de citas, para el período 2003-2015.

Los resultados muestran que, desde 2003, los documentos sobre pobreza están cada vez más disponibles en acceso abierto. Entre todas las áreas, la investigación sobre la malaria es el tema más recurrente en OA y en colaboración internacional. Los análisis de regresión ajustados muestran que, si se mantienen constantes otros factores, la investigación publicada sobre agricultura biológica y en la colaboración internacional tiene una ventaja significativa en cuanto a las citas en comparación con la investigación colaborativa no biológica o no internacional. La publicación de artículos como parte de una colaboración a escala europea o entre Europa y el África subsahariana aumenta el impacto de la investigación. Por el contrario, esta ventaja de la colaboración no se observa en el caso de la investigación en la que sólo participan países de África subsahariana, lo que parece reducir el impacto de la investigación.

Los resultados indican que existe una ventaja real y mensurable en la publicación de la investigación sobre pobreza en OA y en la colaboración internacional. Sin embargo, la ventaja de la colaboración internacional parece ser específica de cada región, con un mayor impacto en la investigación para las colaboraciones a escala europea y en el África subsahariana, pero una disminución del impacto en la investigación de las colaboraciones limitadas a las instituciones de investigación de África subsahariana. Se requiere investigación adicional para verificar más a fondo este hallazgo y para entender los factores subyacentes relacionados con esta disminución observada en el impacto de la investigación.

Comparación del impacto científico de los libros adquiridos a través de planes de aprobación, peticiones del bibliotecario y adquisiciones impulsadas por el usuario en función de las citas recibidas

 

atrtmvznwsusldbggb7b

 

Tyler, David C. ; Hitt, Brianna D. ; Nterful, Francis A. ; Mettling, McKenna R. «Research Article: “The Scholarly Impact of Books Acquired via Approval Plan Selection, Librarian Orders, and Patron-Driven Acquisitions as Measured by Citation Counts” (Preprints). C&RL preprint 2018

Texto completo

 

El modelo de adquisición impulsada por el usuario (Patron Driver Adquisitions – PDA, por sus siglas en inglés) ha sido una propuesta novedosa, aunque polémica, entre los modelos de adquisición en bibliotecas durante los últimos años, en todo este tiempo se probó en numerosos programas piloto con buenos resultados. Sin embargo, aún hay numerosas dudas entre el personal bibliotecario, especialmente en lo que se refiere a la composición de los planes, paquetes que ofrecen los proveedores y la opinión de los usuarios. La literatura hasta la fecha ha abordado la evaluación de la adquisición impulsada por el usuario (PDA) mediante el análisis de la circulación/uso, las opiniones de los usuarios o de los bibliotecarios sobre la utilidad e idoneidad del modelo, la búsqueda de pruebas de los desequilibrios de la colección y la comprobación de la superposición de las compras impulsadas por el usuario y de los bibliotecarios.

Este estudio aborda el impacto académico y examina los modelos de adquisición comparando los los planes de aprobación, la adquisición por parte de los bibliotecarios y los modelos de adquisición dirigida por el usuario en Ciencias Sociales y Humanidades: Para ello los autores recopilaron muestras aleatorias de libros adquiridos mediante planes de aprobación y pedidos de los bibliotecarios durante cinco años de sus instituciones, y compararon sus citas con los recuentos de libros adquiridos a través del programa PDA. Para el conteo de citas se empleó Google Scholar.

 

 

 

La evaluación de las Humanidades y de las Ciencias Sociales en revisión

mona-lisa-final-760x755

Giménez Toledo, E. and E. G. Toledo «La evaluación de las Humanidades y de las Ciencias Sociales en revisión.» Revista española de Documentación Científica vol. 41, n. 3 (2018). pp. e208. http://redc.revistas.csic.es/index.php/redc/article/view/1012

Texto completo

La evaluación de las Humanidades y las Ciencias Sociales ha resultado siempre controvertida. En este artículo se revisan los cambios que se están produciendo en las metodologías y enfoques de la evaluación, así como las líneas de trabajo que están marcando estos procesos de evaluación en Europa. Las claves de la evaluación científica en la actualidad pueden resumirse en: 1. Utilización de datos completos sobre producción científica y desarrollo de fuentes de indicadores para revistas y libros académicos, al margen de las bases de datos comerciales; 2. Evaluación más cualitativa y/o con enfoques bottom up; 3. El acceso abierto y su implicación en la evaluación científica; 4. Métricas alternativas y citas abiertas; 5. Métricas responsables; 6. Impacto social de la investigación.

Dimensions: contexto de construcción para búsqueda y evaluación

 

dimensions-395

Hook, D. W., S. J. Porter, et al. «Dimensions: Building Context for Search and Evaluation.» Frontiers in Research Metrics and Analytics vol. 3, n. 23 (2018). pp.: https://www.frontiersin.org/article/10.3389/frma.2018.00023

 

Dimensions es una nueva base de datos que se centra en un conjunto de problemas diferente a otros sistemas de búsqueda académica. Específicamente, al incluir no sólo datos sobre publicaciones y su gráfico de citación natural asociado, sino también datos de concesión de subvenciones, datos de patentes, datos clínicos y datos de atención altmétrica, Dimensions tiene una representación de un gráfico n-partito asociado con los objetos de investigación heterogéneos. Estos objetos han sido tratados como heterogéneos, pero necesitan ser puestos en pie de igualdad (y homogeneizados) para que tengan sentido para el usuario. Los enlaces en la red ampliada de objetos se crean a través del uso extensivo de la minería de textos y el aprendizaje automático para extraer y normalizar datos. Este artículo ofrece una visión general de las técnicas utilizadas para crear el conjunto de datos Dimensiones.

 

Pruebas externas de la validez de la revisión por pares mediante medidas de impacto.

 

istock-148441660-credit-retrorocket-1200-x-600

Gallo, S. A. and S. R. Glisson «External Tests of Peer Review Validity Via Impact Measures.» Frontiers in Research Metrics and Analytics vol. 3, n. 22 (2018). pp.: https://www.frontiersin.org/article/10.3389/frma.2018.00022

 

La revisión por pares se utiliza comúnmente en la ciencia como una herramienta para evaluar el mérito y el impacto potencial de los proyectos de investigación y hacer recomendaciones de financiación de la investigación. Si bien es probable que el impacto potencial sea difícil de evaluar con anterioridad, ha habido relativamente pocos intentos de obtener una idea de la exactitud predictiva de las decisiones de revisión utilizando medidas de impacto de los resultados de los proyectos finalizados.

Aunque existen muchos resultados, y por lo tanto medidas potenciales de impacto, para los proyectos de investigación, la gran mayoría de la evaluación de los resultados de la investigación se centra en la bibliometría. En el artículo se revisan los múltiples tipos de medidas de impacto potencial con interés en su aplicación para validar las decisiones de revisión. Se presenta una revisión de la literatura actual sobre la validación de las decisiones de revisión por pares con medidas de impacto de los resultados de la investigación; sólo se identificaron 48 estudios, aproximadamente la mitad de los cuales son de EE.UU. y el tamaño de la muestra por estudio varia enormemente. El 69% de los estudios utilizaron la bibliometría como resultado de la investigación. Mientras que el 52% de los estudios emplearon medidas alternativas (como patentes y licencias de tecnología, revisión por pares después del proyecto, colaboración internacional, éxito de la financiación en el futuro, obtención de puestos de trabajo y satisfacción profesional), sólo el 25% de todos los proyectos utilizaron más de una medida de los resultados de la investigación.

En general, el 91% de los estudios con controles no financiados y el 71% de los estudios sin dichos controles proporcionaron evidencia de al menos algún nivel de validez predictiva de las decisiones de revisión. Sin embargo, varios estudios informaron que también observaron errores considerables de tipo I y II. Además, muchos de los efectos de observación fueron pequeños y varios estudios sugieren un poder de discriminación grosero, capaz de separar las propuestas pobres de las mejores, pero no la discriminación entre las propuestas o solicitantes de nivel superior.

Se necesita más investigación, particularmente en la integración de múltiples tipos de indicadores de impacto en estas pruebas de validez, así como en la consideración del contexto de los resultados de la investigación en relación con los objetivos del programa de investigación y las preocupaciones de reproducibilidad, traducibilidad y sesgo de publicación. Paralelamente, se necesita más investigación centrada en la validez interna de los procedimientos de toma de decisiones de revisión y el sesgo de los revisores.