Archivo de la etiqueta: Evaluación

ie-CSIC : Índice de evaluación de editoriales

41505942540_c683e7b2c7_o_d

ie-CSIC : Indice de editoriales CSIC: manual PCO. Versión modificada noviembre 2017. Madris:CSIC, 2018

Texto completo

Listado de editoriales

La comunidad investigadora del CSIC cuenta con una nueva herramienta: se trata de ie-CSIC (Índice de editoriales CSIC), un índice de editoriales con valor asignado, con el propósito de ayudar en la evaluación de la producción científica de los investigadores del CSIC dentro de la PCO de cada centro e instituto.

 

La evaluación del cumplimiento de los objetivos que se realiza anualmente en el CSIC incluye la evaluación de la producción científica, y dentro de esta, tienen un destacado papel los libros y capítulos de libros. De forma paralela a las revistas científicas, a cada libro incluido en conCIENCIA se le asigna un valor alto, medio o bajo, dependiendo de la editorial en la que haya sido publicado. Hasta ahora no se había publicado un listado que permitiera a los investigadores conocer por anticipado cómo se valoraba la publicación en una u otra editorial, y las asignaciones de valor a las editoriales se habían llevado a cabo en distintos momentos y sin la posibilidad de manejar sistemáticamente datos de referencia externos.

Con el fin de corregir esta situación, se intentó recurrir a instrumentos y listados de valoración editorial, pero ninguno se adaptaba a las necesidades de una institución como el CSIC. Por ello, en junio de 2016 e impulsado por la VICYT, se puso en marcha un proceso para desarrollar un índice de editoriales con un valor asignado: ie-CSIC (Índice de Editoriales CSIC).

Para la elaboración de ie-CSIC, se partió de las editoriales registradas en conCIENCIA, cuyos nombres fueron corregidos y homogenizados con el fin de obtener una única entrada por editorial. El listado resultante se contrastó con las editoriales recogidas en cuatro índices reconocidos a nivel nacional e internacional: Book Citation Index (Thomson Reuters), Scholarly Publishers Indicators (SPI) / Prestigio editorial (Grupo ILIA/CSIC), Scopus Book Titles (Elsevier) y Norwegian Register for Scientific Journals, Series and Publishers (NSD). Finalizado este cotejo, se elaboró un único y extenso listado en el que a cada editorial se le asignó un valor (alto, medio, bajo) siguiendo criterios homogéneos y utilizando datos obtenidos de los instrumentos de referencia consultados. Para un mayor detalle sobre la metodología seguida, consúltese el pdf anexo.

En esta primera versión del índice de ie-CSIC, se recogen un total de 5817 editoriales procedentes de las cinco fuentes mencionadas en el párrafo anterior, de las cuales 1044 están clasificadas con valor Alto, 1664 con valor medio y 3109 con valor bajo.

Está previsto realizar actualizaciones periódicas de ie-CSIC para incorporar todas aquellas editoriales que se vayan registrando en conCIENCIA en el futuro, corregir los errores que se detecten y perfeccionar los datos. En el caso de que sea necesaria la revisión concreta de alguna editorial, esta podrá ser llevada a cabo por las ocho comisiones de áreas científicas del CSIC y sus decisiones se incluirán en versiones siguientes de ie-CSIC.

Plan de trabajo de la Asociación de Universidades Europeas (EUA) sobre la evaluación de la investigación en la transición hacia la ciencia abierta

41336384590_2cb5c73d75_o_d

EUA Roadmap on Research Assessment in the Transition to Open Science EUA, 2018

Texto completo

 

Los nuevos enfoques de la evaluación de la investigación reflejan la urgente necesidad de cambiar el paradigma actual más allá del típico factor de impacto de la revista. Este La hoja de ruta aborda una selección de temas relacionados con los nuevos enfoques en la evaluación de la investigación, incluida la evaluación de los resultados de la investigación, los investigadores y las unidades de investigación, y las instituciones.

La Asociación Europea de Universidades (EUA) ha apoyado de forma continuada a las universidades europeas. las universidades en la transición hacia la Ciencia Abierta y, en particular, hacia el Acceso Abierto. Al de su Grupo de Expertos en Ciencia 2.0/Ciencia Abierta, la EUA ha desarrollado una una serie de iniciativas en este ámbito, tal como se esboza en la hoja de ruta de la AEU sobre el acceso abierto a la investigación Publicaciones. Esta hoja de ruta se centraba principalmente en la introducción del acceso abierto como modelo principal de acceder a las publicaciones de investigación. Mirando hacia el futuro, hacia una transición más global hacia Ciencia Abierta, con su marco más amplio más allá del acceso a las publicaciones de investigación, la El Grupo de Expertos está empezando a abordar nuevos modelos de valoración y evaluación de la investigación en todos los niveles, ya que son fundamentales para lograr un sistema más justo, abierto y transparente impulsado por investigadores.

La ciencia abierta que abarca la investigación abierta en todas las áreas disciplinarias) todavía no es una práctica establecida y su integración en las comunidades científicas sigue siendo un reto, ya que adopta diversas formas. El acceso abierto a las publicaciones de investigación representa sólo una de las etapas necesarias de la Ciencia Abierta, y la Ciencia Abierta en su conjunto está todavía lejos de su pleno potencial, lo que requiere una transformación sustancial basada en los principios de compartir y colaborar. Los nuevos modelos cuantitativos y cualitativos futuros de valoración y evaluación de la investigación deben reflejar y promover una actitud tan novedosa.

El tema de la evaluación de la investigación, es decir, la búsqueda de mejores formas de evaluación, se está volviendo cada vez más importante para la comunidad científica en general y para una variedad de de los responsables políticos nacionales y europeos. Este desarrollo está inexorablemente ligado a la transición hacia la Ciencia Abierta.

Los nuevos enfoques de la evaluación de la investigación reflejan la urgente necesidad de cambiar el paradigma actual más allá del típico factor de impacto de la revista. Este La hoja de ruta aborda una selección de temas relacionados con los nuevos enfoques en la evaluación de la investigación, incluida la evaluación de los resultados de la investigación, los investigadores y las unidades de investigación, y las instituciones (laboratorios, centros de investigación y universidades). Con este documento, EUA tiene por objeto sensibilizar y apoyar a las instituciones en el desarrollo de la evaluación de la investigación enfoques que se centran en la calidad de la investigación, el impacto potencial y futuro, y que tienen en cuenta de Open Science.

En su plan de trabajo, la EUA identifica los siguientes objetivos para su futura labor en este ámbito:

  • Fomentar el desarrollo de enfoques de evaluación de la investigación flexibles, transparentes, justos y sólidos, recompensando las contribuciones de la Ciencia Abierta y teniendo en cuenta las diferencias entre las disciplinas académicas, la investigación multidisciplinaria y la investigación fundamental y aplicada;
  • Promover enfoques flexibles, transparentes y responsables en la evaluación de las carreras de los investigadores, teniendo en cuenta las diferentes etapas de sus carreras;
  • Apoyar a las universidades europeas y a las conferencias nacionales de rectores en el desarrollo y la aplicación de nuevos enfoques para la evaluación de la investigación.

 

Para ello, la EUA centrará sus esfuerzos en la recopilación y el intercambio de información, entablando un estrecho diálogo con las universidades y otras partes interesadas pertinentes y proponiendo recomendaciones sobre políticas y buenas prácticas.

Actividad investigadora de las universidades españolas. Informe IUNE 2018

28341291897_ae7ffa26be_b_d

Elías Sanz-Casado (Coord.) Actividad investigadora de las universidades españolas. Informe IUNE 2018. Alianza 4 Universidades, 2018

Texto completo

El Informe IUNE 2018 analiza la actividad científica de las universidades españolas
en la década 2007-2016. El estudio se realiza desde distintas dimensiones, con la
finalidad de conocer en profundidad la actividad investigadora y tecnológica de las
universidades que conforman el Sistema Universitario Español (SUE). 

 

El Observatorio IUNE es el resultado del trabajo realizado por un grupo de investigadores pertenecientes a las universidades que integran la “Alianza 4U”: Universidad Carlos III de Madrid, Universidad Autónoma de Madrid, UniversitatAutònoma de Barcelona y Universitat Pompeu Fabra.

La creación y desarrollo del Observatorio IUNE ha sido posible gracias a la financiación recibida por los ministerios de Ciencia e Innovación y de Educación. El Ministerio de Educación, Cultura y Deporte firmó un convenio con la Alianza 4U para el apoyo al Observatorio IUNE. Este es el informe correspondiente al periodo 2007-2016 que se elabora anualmente, a partir de los datos del Observatorio IUNE.

El análisis de las dimensiones de la actividad científica e investigadora de las universidades españolas en el período 2007-2016 permite obtener las siguientes conclusiones:

• La evolución de los ingresos liquidados por operaciones no financieras muestra una bajada importante en la financiación de las universidades españolas, pasando de 9.814 millones de euros en 2008 a 9.228 en 2016, con un descenso de un 6%.

• Los ingresos generados por la investigación en las universidades españolas también han tenido una caída importante, ya que han pasado de 1.312 millones de euros en 2008 a 1.098 millones en 2016, lo que ha supuesto una pérdida de un 16,31.

• Por los que respecta a los recursos humanos, el promedio de profesores para este período ha sido de 62.837. No han crecido significativamente las plantillas desde 2007, ya que se ha pasado de 59.925 profesores en ese año (2007) a 64.296 (2016).

• El número total de publicaciones del SUE recogida en la base de datos Web of Science (WoS) ha sido de 451.744 documentos, pasando de 31.690 publicaciones (2007) a 54.764 (2016), un 72,81% más.

• Las universidades con un mayor número de documentos en la base de datos WoS
son: Universitat de Barcelona (UB) con un 9,84% del total del SUE, la Universitat Autònoma de Barcelona (UAB) con 8,21%, y la Universidad Complutense de Madrid (UCM) con 6,7%.

• Sin embargo, si analizamos las publicaciones por profesor, destaca la Universitat Pompeu Fabra (UPF) con una media anual de 3,20 docs/profesor, seguida de la Universitat Autònoma de Barcelona (UAB) con 2,42 docs/profesor.

• La productividad del SUE en la década analizada es de 0,72 documentos por profesor/año. Esta productividad ha aumentado en el período, pasando de 0,53 (2007) a 0,85 (2016). El crecimiento acumulativo medio de la productividad asciende a 5,39%.

• Respecto a la producción científica por CCAA, Cataluña aportó un 25,85% al total del SUE, seguida de la Comunidad de Madrid con un 19,97% y Andalucía con un 15,84%.

• Desagregando los datos por área temática, es Ciencias Experimentales (EXP) la más productiva con un 37,47% del total. Le siguen Medicina y Farmacología (MED) e Arquitectura, Ingeniería y Ciencias de Computación (ING) con 27,36% y un 25,4%, respectivamente. Ciencias Sociales y Humanidades (SOC) aportan un 10,67%, y Arte (ART) un 5,97% a la producción total del SUE, siendo las áreas peor representadas en esta base de datos.

• Un 43,18% de la producción total del SUE se firmó en colaboración internacional frente a un 28,06% en colaboración nacional. En cuanto a la evolución de la colaboración, es la internacional la que mayor crecimiento acumulativo muestra para todo el período (9,88%), seguida de un 3,65% en los documentos sin colaboración y un 3,43% en el caso de la colaboración nacional.

• Estados Unidos sigue siendo el país con el que las universidades españolas mantienen una mayor colaboración, con un 21,72% sobre el total de la producción en colaboración internacional, seguido de Alemania (15,84%) y Reino Unido (15,73%).

• Las universidades españolas con mayor impacto considerando el número de citas recibidas en el decenio analizado, son la Universitat de Barcelona (13,35% del SUE), Universitat Autònoma de Barcelona (10,63% del SUE) y Universidad Autónoma de Madrid (7,5% SUE). En cuanto al impacto relativo (citas/profesor) son la Universitat Pompeu Fabra (UPF) con 64,03 citas/profesor y la Autónoma de Barcelona (UAB) con 43,62 citas/ profesor las que lideran este indicador.

• En términos de visibilidad, el SUE publicó un 52,88% de su producción científica en revistas del primer cuartil (Q1) en 2016. La evolución temporal de este indicador muestra un crecimiento acumulativo medio de un 7,40%. En cuanto al porcentaje de documentos publicados en las tres primeras revistas de cada categoría (TOP3), el 9,58% de la producción total del SUE se publicó en estas revistas con mejor factor de impacto.

• Respecto a actividad innovadora, el número de patentes del SUE muestra un incremento de un 104,69% en el decenio (de 279 a 529 patentes de 2007 a 2016). Destacan con mayor actividad patentadora la Universidad Politécnica de Madrid (UPM) con 359 patentes y la Universitat Politècnica de Catalunya (UPC) con 333 patentes para todo el período.

• El análisis de la competitividad, mediante los proyectos nacionales y europeos, muestra diferencias importantes: mientras que los primeros muestran un caída de un 12,65% en el período, los segundos se han incrementado un 53,01%.

• Las Universidades que destacan en obtención de proyectos europeos son las Politécnicas de Madrid y Cataluña con 332 (9,95%) y 233 proyectos (7%), respectivamente. Cuando se considera el número de proyectos por cada 100 profesores, ocupa el primer lugar la Universitat Pompeu Fabra (UPF) con 5,88 la Universitat Politècnica de Catalunya (UPC) con 1,66, y Universidad Carlos III de Madrid con 1,59 proyectos/ 100 profesores.

• Respecto a la dimensión de atracción y formación de talento, en el decenio se han concedido un total de 1.998 contratos Juan de la Cierva y 1.222 contratos Ramón y Cajal. Por su parte en lo que se refiere a becas/contratos predoctorales, el SUE consiguió un total de 11.871 FPU y 7.147 FPI.

 

Journal Citation Reports (JCR), Incluye las citas de libros y las distribuciones de citas diarias

 

jcr-citation-distribution

Figure 1. Journal Citation Report example journal distribution. Source: Clarivate press release, 26 June 2018.

 

2017 Journal Impact Factors Feature Citation Distributions. Scholary Kitchen
By PHIL DAVISJUN 27, 2018

Ver original

Cada año Clarivate Analytics publica los datos de Journal Citation Reports (JCR), un compendio anual de métricas de citas a nivel de revista. Pero este año incluye algunas novedades.

En primer lugar, el 2018 JCR ahora incluirá citas de Clarivate Citation Index Book. Esta adición incrementará los puntajes del JIF del año pasado en aproximadamente 1%, de promedio, para los títulos de ciencia e ingeniería y un 2% para las revistas de ciencias sociales y humanidades. En 2016, Clarivate agregó, sin anuncio público , citas de su Emerging Sources Citation Index , que tuvo un efecto global de aumentar los JIF en un 5% y un 13%, respectivamente.

En segundo lugar, y lo que es más importante, el JCR ahora publicará las distribuciones de citas diarias.

Las distribuciones de diarios de Clarivate abordan y mejoran varias deficiencias de la propuesta original al:

  • Normalización de los histogramas. Esto evitará que los editores modifiquen sus ejes para presentar favorablemente sus publicaciones y ayudará a facilitar las comparaciones entre revistas.
    Estandarizar los datos incluidos en cada histograma. Esto evitará que editores y editores seleccionen los documentos que desean perfilar.
  • Proporcionar estadísticas descriptivas (rendimiento medio del papel) basadas en el tipo de artículo (artículo frente a revisión), como se propuso en la recomendación n.º 14 de la Declaración de San Francisco sobre evaluación de la investigación (DORA).
  • Incluye una divulgación de citas desvinculadas, es decir, citas que cuentan para el puntaje de una revista pero que no incluyen información suficiente para identificar inequívocamente un artículo específico.

 

En resumen, la edición de 2018 del JCR muestra un intento sincero de abordar constructivamente las demandas de la comunidad investigadora. Sin embargo, la implementación deficiente de su panel de rendimiento del diario puede evitar que se usen estas mejoras y puede alentar activamente el uso indebido y el abuso por parte de editores predadores.

Desarrollo de directrices internacionales para un proceso eficaz de evaluación del impacto de la investigación

Ampliar imagen

Adam, P., P. V. Ovseiko, et al. «ISRIA statement: ten-point guidelines for an effective process of research impact assessment.» Health Research Policy and Systems vol. 16, n. (2018). pp. 8. https://doi.org/10.1186/s12961-018-0281-5

Texto completo

 

Pavel Ovseiko, Paula Adam, Kathryn Graham y Jonathan Grant presentan las directrices internacionales iniciales para un proceso eficaz de evaluación del impacto de la investigación e invitan a los lectores del Impact Blog a ponerlas en práctica y compartir su experiencia, evidencia y competencia cultural con la comunidad global.

Los gobiernos, los organismos de financiación y las organizaciones de investigación de todo el mundo se han comprometido a medir el impacto de la investigación más allá de las publicaciones académicas. En consecuencia, se está desarrollando rápidamente una práctica multidisciplinaria llamada evaluación del impacto de la investigación. Sin embargo, esta práctica permanece en sus etapas formativas, por lo que actualmente no se dispone de recomendaciones sistematizadas o estándares aceptados para guiar a los investigadores y profesionales.

Poco después de articular la idea de método científico en su Novum Organum Scientiarum de 1620, Francis Bacon subrayó la importancia de que la investigación sea «útil y práctica para la vida del hombre». Sin embargo, no fue hasta hace mucho tiempo que los gobiernos, los organismos de financiación y las organizaciones de investigación de todo el mundo se dieron cuenta de la necesidad de medir el impacto de la investigación más allá de las publicaciones académicas, comprender cómo funciona la ciencia y optimizar su impacto social y económico.

Para ayudar a los investigadores y profesionales a mejorar el proceso, se han propuesto unas directrices iniciales para un proceso eficaz de evaluación del impacto de la investigación. La eficacia de estas directrices se basa en el conocimiento experto y la experiencia de los profesionales de la International School on Research Impact Assessment. En un documento publicado recientemente, con los puntos de vista de más de 450 expertos y profesionales de 34 países que participaron en la escuela durante los últimos cinco años (2013-2017) se sistematizan en directrices de diez puntos (Figura 1).

1. Analice su contexto
La investigación y su impacto están determinados por el contexto en el que se lleva a cabo y se evalúa la investigación. Por eso es importante entender tanto los entornos de investigación internos (por ejemplo, una institución o un grupo de investigación) como externos (por ejemplo, un país o un campo de investigación).

2. Reflexione continuamente sobre sus propósitos
Las preguntas y la metodología de la evaluación dependen de los objetivos principales. Los investigadores y los profesionales necesitan reflexionar continuamente sobre los propósitos de la evaluación del impacto de la investigación y su relación con la investigación que se está evaluando, sobre todo porque éstos pueden evolucionar con el tiempo.

3. Identificar a las partes interesadas y sus necesidades
Los financiadores de la investigación, los participantes en la investigación, los investigadores, los usuarios de la investigación y los beneficiarios de la investigación tienden a tener diferentes expectativas y usos previstos. Por lo tanto, es imperativo identificar y analizar a las partes interesadas y sus necesidades, priorizar sus intereses y desarrollar estrategias de compromiso apropiadas.

4. Comprometerse con las partes interesadas clave desde el principio
El compromiso de los grupos de interés es clave para valorar la co-creación con la evaluación del impacto de la investigación. Aumenta la solidez social de la misma al hacerla más transparente y participativa. La participación de las partes interesadas también hace que la puesta en práctica de los resultados de manera más eficaz y eficiente al reducir la necesidad de una fase de difusión separada.

5. Elegir críticamente los marcos conceptuales
Al tiempo que proporcionan orientación metodológica y claridad analítica, los marcos conceptuales inevitablemente reducen la riqueza y complejidad de la investigación que se está evaluando. Por lo tanto, los marcos conceptuales deben elegirse de manera crítica, prestando atención al contexto y propósito de un determinado ejercicio de evaluación del impacto de la investigación y a las limitaciones de los marcos.

6. Utilizar métodos mixtos y fuentes de datos múltiples
La evaluación del impacto de la investigación desde la perspectiva de las diferentes partes interesadas aumenta la solidez y la fiabilidad de las evaluaciones del impacto contextual. La mejor manera de lograrlo es desarrollar informes ricos sobre el impacto de la investigación utilizando una combinación de métodos y una variedad de fuentes de datos.

7. Seleccionar indicadores y métricas de manera responsable
Los indicadores cuantitativos y las métricas a menudo se utilizan indebidamente, lo que conduce a resultados sesgados e incentivos perversos. Para evitar estas consecuencias imprevistas, los indicadores cuantitativos y las métricas deben utilizarse de manera equilibrada en relación con el contexto de las evaluaciones del impacto ambiental y en apoyo de otros tipos de pruebas.

8. Anticipar y abordar las cuestiones éticas y los conflictos de intereses
Como en el caso de cualquier investigación y evaluación, la evaluación del impacto de la investigación puede plantear problemas éticos y crear conflictos de intereses. Para maximizar el valor social de la evaluación del impacto de la investigación, los investigadores y los profesionales deben anticipar y abordar estas cuestiones éticas y los conflictos de intereses.

9. Comunicar los resultados a través de múltiples canales
Las diferentes partes interesadas suelen preferir diferentes canales de comunicación y mensajes adaptados a sus necesidades y capacidades de asimilación de conocimientos. Por lo tanto, la traducción efectiva de los resultados de las evaluación del impacto de la investigación en la práctica requiere una estrategia de comunicación integral y diversificada, que incluya blogs de investigación, redes sociales y feeds web, entre otros.

10. Comparta su aprendizaje con la comunidad de evaluación del impacto de la investigación
Dado que la evaluación del impacto de la investigación se encuentra todavía en su etapa formativa, su desarrollo se sustenta en el conocimiento empírico y las habilidades prácticas de la comunidad de práctica. Por lo tanto, es imperativo que los investigadores y profesionales compartan sus experiencias y aprendizajes con la comunidad de práctica sobre la evaluación del impacto de la investigación.

Conclusiones

Estas directrices internacionales pueden ayudar a los profesionales y a los responsables de la formulación de políticas de los organismos de financiación, el gobierno, la industria, las organizaciones benéficas y el mundo académico a mejorar el proceso  evaluación del impacto de la investigación. Pero como estas las directrices no son exhaustivas, requieren evaluación y mejora continua. se invita a los lectores a poner en práctica las directrices y a compartir su experiencia, evidencia y competencia cultural adquirida a través de la implementación de las directrices en nuevos contextos con la comunidad global de práctica de RIA.

 

Marketing de Bibliotecas Públicas: Métodos y Buenas Prácticas

marketingthinktank

Public Library Marketing: Methods and Best Practices, Library Journal, 2013.

Texto completo

 

En noviembre de 2012, Library Journal encuestó a profesionales bibliotecarios de 471 bibliotecas públicas para obtener información sobre cómo se comercializan, la efectividad de esas iniciativas de marketing y el compromiso resultante dentro de sus comunidades. Los resultados indican que hay una desconexión entre lo que los bibliotecarios creen que debería estar sucediendo y lo que realmente está sucediendo.

La mayoría de las personas que respondieron fueron directores y administradores de bibliotecas públicas. Cuando se les preguntó acerca de los canales de visualización y comunicación que su biblioteca utilizaba para mantener una presencia en sus comunidades, los lugares que habitualmente utilizan fueron: El sitio web de la biblioteca, material impreso en la biblioteca, el periódico local y los medios sociales. Sin embargo, cuando se les pidió que transmitieran cuán efectivos se sentían estos canales, los porcentajes cayeron a cuotas asombrosamente bajas:

  • El 77% de los encuestados están completamente de acuerdo en que el marketing de aumenta el conocimiento que tiene la comunidad sobre la biblioteca
  • El 47% estaba de acuerdo que una estrategía de marketing mejora la eficacia de las comunicaciones
  • El 46% de las bibliotecas dicen que la evaluación/medición es «una gran idea, pero no tenemos tiempo para hacerla»
  • Menos del 20% de todas las bibliotecas informaron de tener un plan de marketing en marcha. Sólo el 11% de las bibliotecas tienen un plan de marketing actualizado. Y otro 16% está en proceso de crear un plan de Marketing.

 

 

 

 

Ranking de las Bibliotecas Españolas Universitarias

41137889590_9c938dc924_b_d

Ranking de las Bibliotecas Españolas Universitarias

Secaba-Rank es una herramienta digital abierta que incluye Secaba-Rank Universitarias y Secaba-Rank Públicas con el objeto de conocer y evaluar la realidad de las bibliotecas universitarias y las redes de lectura pública españolas para su mejora.

Ayer se anunciaba Ranking de las Bibliotecas Españolas Universitarias elaborado por el equipo de investigación Secaba-Lab de la Universidad de Granada con datos relativos a 2016. La investigación toma datos de las bibliotecas universitarias incluidos en Rebiun para dicho año

La metodología empleada basada en la teoría general de sistemas ha permitido el desarrollo de indicadores de segundo nivel centrados en la eficiencia, facilitando el benchmarking y la localización de los modelos de buenas prácticas para la mejora constante y especialmente de las que más lo necesita

 la herramienta consta de las siguientes secciones: Inicio, Secaba-Rank, Formulación del Sistema, Indicadores, Series Temporales, Benchmarking, y Estimación y Predicción. Además, en la sección general sobre la Metodología se incluye toda la información referente al proceso que va desde los datos y su procesamiento, el cálculo de indicadores y la obtención de los resultados, incluyendo la explicación de nuestra metodología.

Aquí estaría el listado de las bibliotecas que ocupan las 10 primeras posiciones en el ranking sobre eficiencia para el año 2016.

  1. Universitat Autònoma de Barcelona (1.9)
  2. UNED (1.86)
  3. Universitat Politècnica de València (1.74)
  4. Universidad de Sevilla (1.54)
  5. Universidad Autónoma de Madrid (1.49)
  6. Universidad Pablo de Olavide (1.38)
  7. Universitat Rovira i Virgili (1.31)
  8. Universidad del País Vasco (1.3)
  9. Universitat de València (1.25)
  10. Universitat de Barcelona (1.24)

 

 

 

 

Discrepancia entre las percepciones reales del impacto y las métricas que mide el impacto

figure-1

 

 

Rachel Borchardt and Matthew R. Hartings. The academic papers researchers regard as significant are not those that are highly cited. LSE impact blog, 2018

Ver original

 

Durante muchos años, la ciencia ha confiado en el conteo de citas como la principal forma de medir el impacto o la importancia de la investigación, informando de métricas como el Factor de Impacto y el h-index. Pero, ¿hasta qué punto estas métricas se alinean realmente con la evaluación subjetiva del impacto y la importancia de los investigadores? Rachel Borchardt y Matthew R. Hartings informan sobre un estudio que compara las percepciones de los investigadores sobre el significado, la importancia y lo que es altamente citado con los datos de citas reales. Los resultados revelan una discrepancia sorprendentemente grande entre las percepciones del impacto y la métrica que utilizamos actualmente para medirlo. Los trabajos científicos que los investigadores consideran significativos no son aquellos que son muy citados

 

Lo que comenzó como un intento de cuantificar la calidad de la investigación se nos ha escapado y ha cobrado vida propia. Este problema no es particularmente nuevo; ha sido ampliamente reconocido por académicos e investigadores y, como resultado, se está hablando de él más abiertamente. El problema es más sencillo se reduce a definir y medir el impacto.

Una descripción simple para la investigación de impacto es la investigación que se utiliza. Algunas investigaciones tienen la capacidad de transformar la sociedad a través de descubrimientos innovadores, de impactar en la política social y la regulación gubernamental a través de análisis que abren los ojos, y la capacidad de captar la atención del público con investigaciones que son relevantes para sus vidas, su medio ambiente o su bienestar. Este tipo de investigación se suele denominar «de alto impacto» y se ha convertido en el centro de atención de muchas universidades, centros de investigación y administradores que compiten por la financiación de becas, la atracción de los mejores y más brillantes estudiantes, y el prestigio y los rankings.

 

«Lo que comenzó como un intento de cuantificar la calidad de la investigación se nos ha escapado de las manos y ha cobrado vida propia.»

Rachel Borchardt and Matthew R. Hartings

 

Sin embargo, designar la investigación como de alto impacto no es tan sencillo como parece. Durante muchos años, el mundo académico ha confiado en el conteo de citas como la principal forma en que medimos el impacto o la importancia de la investigación. Como resultado, el conteo de citaciones es una de las métricas primarias usadas cuando se evalúa a los investigadores. Los recuentos de citas también forman la base de otras métricas, entre las que destacan el Factor de Impacto de Clarivate y el Índice h, que evalúan respectivamente la calidad/prestigio de la revista y la notoriedad de los investigadores.

Las citas, el JIF y el h-index han servido como el triunvirato de la evaluación de impacto durante muchos años, particularmente en los campos científico y tecnológico, donde los artículos de revistas se publican con frecuencia. Muchos estudios han señalado varios defectos con la confianza en estas métricas, y con el tiempo, se ha creado una multitud de métricas complementarias basadas en citas para tratar de abordar varias competencias. Al mismo tiempo, está emergiendo las medidas del impacto en los medios sociales (altmetrics) como una alternativa o complemento potencial a las citas, donde podemos recolectar diferentes datos sobre las formas en que la investigación es vista, guardada y compartida en línea.

Sin embargo, lo que se discute con menos frecuencia es qué tan bien todas estas métricas se alinean realmente con la evaluación subjetiva del impacto y la importancia misma. Todos hemos llegado a ver las métricas como sinónimo de impacto y, por delegación, de importancia. ¿Pero lo son?

 

Todos hemos llegado a ver las métricas como sinónimo de impacto y, por derivación, de la importancia de una investigación. ¿Pero realmente lo son?

 

Para responder a esta pregunta se encuestó a investigadores de Química para medir que percepciones tenían de aquellos documentos que consideraban importantes y sobre los materiales muy citados. En un artículo en el blog orientado a la química de Matt, se pidió a los lectores que analizaran 63 artículos de una edición de la revista Journal of the American Chemical Society y utilizaran el hastag el #JACSChallenge. Se les pidió que identificaran los tres artículos que consideraban más significativos (permitiéndoles definir el significado de la manera que consideraban adecuada); los más citados; los artículos que compartirían con otros químicos; y los artículos que compartirían más ampliamente. Se analizaron los datos de más de 350 encuestados.

Los resultados, si bien no fueron realmente sorprendentes, fueron sin embargo un claro ejemplo de lo diferentes que son estos conceptos. Para empezar, los encuestados eligieron diferentes artículos para cada una de las cuatro preguntas, aunque algunas preguntas se correlacionaron más que otras. Los artículos significativos y muy citados tenían la correlación más alta en.9, mientras que los artículos para compartir con los químicos y los artículos para compartir ampliamente tenían la correlación más baja.64 Esto demuestra que los encuestados ven diferencias en estos diferentes enfoques de lo que podríamos llamar «investigación de impacto».

Pero quizás el descubrimiento más sorprendente fue cuando empezamos a comparar estas respuestas a las citas. Al comparar las cuatro preguntas con los recuentos de citas 10 y 13 años después de la publicación de los artículos, las correlaciones oscilaron entre 0,06 (artículos para compartir con los químicos) y 0,33 (artículos muy citados). Esto muestra una discrepancia sorprendentemente grande entre las percepciones de los investigadores sobre el impacto y la métrica que utilizamos actualmente para medir el impacto.

 

La investigación demostró que existe una una discrepancia sorprendentemente grande entre las percepciones que los investigadores tienen sobre el impacto y la métrica que utilizamos actualmente para medir el impacto.

 

¿Por qué estas correlaciones son tan bajas? Es probable que haya una serie de razones por las que la práctica real de citación no está más alineada con la percepción de los investigadores, pero resalta cuán diferente es la percepción de la práctica actual.

Estos datos dejan en evidencia que hay un problema importante con las métricas – no están midiendo lo que todos comúnmente asumimos que estamos midiendo, o al menos, no están representando con precisión las percepciones más abstractas de impacto e importancia de los documentos. lo que demuestra que el impacto va más allá del conteo de citas, y más allá del impacto académico. Pero, ¿qué podemos hacer para cambiar la práctica actual?

Parte de la responsabilidad recae en los evaluadores – los administradores, los «benchmarkers» de los rankings de prestigio de las universidades, los financiadores de la investigación. Pero la responsabilidad también recae en los investigadores y sus respectivas sociedades profesionales. Muchas sociedades profesionales tienen declaraciones amplias y generales sobre el papel de las métricas en la evaluación de los investigadores en su campo, pero hay más trabajo por hacer.

Estos datos dejan en evidencia que hay un problema importante con las métricas – no están midiendo lo que todos comúnmente asumimos que estamos midiendo, o al menos, no están representando con precisión las percepciones más abstractas de impacto e importancia de los documentos. lo que demuestra que el impacto va más allá del conteo de citas, y más allá del impacto académico.

Por una parte describir mejor los tipos de impacto en la academia y más allá, y presentarlos en un documento en el que los investigadores puedan confiar cuando se les pida que presenten sus evidencias de investigación para su revisión. Por otra parte sería necesario crear un marco de evaluación que comunique claramente los tipos de resultados de investigación y los modelos para su evaluación. Este tipo de marco se asemejaría al utilizado en el Modelo Becker, creado para la comunidad biomédica, que destaca cinco áreas diferentes de impacto, incluyendo el impacto económico y político, y describe claramente los resultados de la investigación y los modelos de evaluación para cada área de impacto.

Todas las disciplinas académicas estarían bien servidas para examinar con seriedad los resultados de la investigación de su disciplina y proporcionar una orientación significativa sobre su importancia en la comunicación científica de esa disciplina, junto con las mejores prácticas para su evaluación apropiada. Al mismo tiempo, los investigadores también pueden abogar por un cambio en las prácticas de evaluación de la investigación en sus instituciones en forma de documentos de políticas actualizados, incluidas las directrices departamentales para la promoción del investigador, que reflejen con mayor precisión su investigación disciplinaria y su impacto.

Sólo entonces empezaremos a cerrar la brecha entre la práctica «real» de impacto y la evaluación significativa de la investigación.

Esta entrada de blog se basa en el artículo co-escrito por los autores, «Perception of the importance of chemistry research papers and comparison to citation rates«, publicado en PLoS ONE (DOI: 10.1371/journal.pone.0194903).

Crédito de la imagen destacada: Dmitri Popov, via Unsplash (licenciado bajo una licencia CC0 1.0).

 

Correlación entre las altmetrías a través de Mendeley (F1000) y la calidad de la investigación

42353423662_d6e979faf7_o_d

Bornmann L and H. R «Do altmetrics correlate with the quality of papers? A large-scale empirical study based on F1000Prime data.» PLoS ONE vol. 13, n. 5 (2018). pp.: https://doi.org/10.1371/journal.pone.0197133

 

Este estudio, aborda la cuestión de si (y hasta qué punto, respectivamente) los indicadores altmétricos está relacionada con la calidad científica de los trabajos (medida por las evaluación por pares). Sólo unos pocos estudios han investigado previamente la co-relación entre altmetrics y la evaluación por pares. Primero se analizan las dimensiones subyacentes de la medición para las métricas tradicionales (recuentos de citas) y la altmetría utilizando el análisis de componentes principales (PCA) y el análisis factorial (FA). En segundo lugar, se analiza la relación entre las dimensiones y la calidad de los trabajos (medida por el sistema de revisión por pares posterior a la publicación en las evaluaciones del portal F1000Prime), utilizando un análisis de regresión. Los resultados del PCA y FA muestran que la altmetría opera a lo largo de diferentes dimensiones, mientras que los recuentos de Mendeley están relacionados con los recuentos de citas, y los tweets forman una dimensión separada. Los resultados del análisis de regresión indican que las métricas basadas en citas y los conteos de lectores están significativamente más relacionados con la calidad que con los tweets. Este resultado, por un lado, cuestiona el uso de los recuentos de Twitter para fines de evaluación de la investigación y, por otro lado, indica el uso potencial de los recuentos de lectores de Mendeley.

 

 

Encuesta sobre Alfabetización Informativa en Educación Superior 2017.

image_lj_firstyearexperiencesurvey_mar2017

First Year Experience Survey: Information Literacy In Higher Education 2017.
Research conducted by Library Journal in conjunction with Credo Reference. Library Journal, 2018

Texto completo

Descubre cómo las instituciones académicas vinculan la instrucción de alfabetización informativa con la experiencia de primer año. ¿Cuánta instrucción se da y quién la da? ¿La instrucción sobre alfabetización informacional está hecha a la medida de la disciplina? ¿Cuáles son los desafíos? ¿Cómo se mide el éxito? Los resultados de la encuesta de Library Journal responden a estas y otras preguntas. El informe presenta datos recopilados durante cuatro años en bibliotecas universitarias.

El estudio tenía como objetivo medir la necesidad y el alcance de la instrucción de conocimientos básicos de información entre estudiantes universitarios de primer año y su impacto en la experiencia de aprendizaje durante el primer curso. para ello se envío la encuesta por correo electrónico a dos listas de correo electrónico que tenían alrededor de 12.000 alumnos. La encuesta se cerró el 6 de febrero de 2017 con un total de 543 respuestas.

Cuestiones clave:

  • El estudio encontró que casi todas las instituciones académicas (97%) programan la capacitación en conocimientos básicos de información (IL) con estudiantes de primer año.
  • La capacitación programada sobre conocimientos básicos en materia de información en universidades de cuatro años se imparte más comúnmente a través de bibliotecarios en la clase (35%), seguida de cerca por talleres optativos en bibliotecas (33%).  Poco más del 20% también introducen habilidades de ALFIN durante los programas de orientación.  En las instituciones de aprendizaje de dos años, el 40% ofrece talleres de biblioteca opcionales y sólo el 23% realiza la formación a través de un bibliotecario en las clase.  El 21 % proveen instrucción sobre Alfabetización informacional a petición del profesorado.
  • La mayoría de los instructores de los cursos de alfabetización informacional  generalmente adaptan los contenidos en función de las disciplinas específicas, mientras que el 30% sólo ofrece un curso de fundamentos básicos. Las bibliotecas que proveen instrucción de alfabetización en información específica de la disciplina generalmente lo hacen para clases de lenguaje y literatura, ciencias sociales y comunicaciones, las cuales tienen un fuerte componente de escritura científica.
  • Del 23% de las instituciones que utilizan bibliotecarios integrados, la mayoría (70%) los integran en el primer año. Casi la mitad también utiliza bibliotecarios integrados en determinadas clases de ciencias sociales y más del 40% en cursos en idiomas y literatura.
  • Los bibliotecarios de referencia son las áreas de trabajo que con mayor probabilidad enseñan destrezas de alfabetización en información a los estudiantes. El 21% de las escuelas cuentan con profesores dedicados a la alfabetización informática y/o bibliotecarios con experiencia de primer año, especialmente en grandes universidades públicas.
  • Los bibliotecarios citan «la evaluación de las fuentes confiables» como el principal desafío que enfrentan los estudiantes de primer año. El segundo y tercer desafío para los estudiantes universitarios de cuatro años es la falta de conocimiento de los recursos disponibles y de cómo identificar las fuentes apropiadas para una tarea. Y los retos principales de los estudiantes de dos años de universidad incluyen no tener suficiente capacitación en conocimientos de información y dificultades con las citas sobre lectura y escritura.
  • A la mayoría de los bibliotecarios se les asignan una o dos horas programadas para enseñar a los estudiantes de primer año habilidades de alfabetización en información. En ese marco de tiempo, el enfoque es dar un recorrido por la colección, enseñando a los estudiantes cómo evaluar la relevancia e idoneidad de los recursos, y cómo leer, escribir y citar los mismos. Los retos más importantes para que los bibliotecarios involucren a los estudiantes son los malos usos arraigados y el enseñar habilidades sin que se haya establecido un contexto de aplicación de la enseñanza (pocos estudiantes de primer año tienen requisitos de cursos que requieran recursos de información).
  • Los esfuerzos de la experiencia de primer año pueden servir como un modo importante de participación del profesorado porque los programas exitosos aumentan la retención del estudiante y reducen el abandono de los estudios. Los bibliotecarios pueden necesitar pensar más allá de los talleres de Alfabetización Informacional  y asociarse con otros estudiantes, profesorado y personal administrativo de todo el campus para crear programas de colaboración. Estas colaboraciones pueden demostrar el valor de la biblioteca, la capacidad de innovación, adaptabilidad, flexibilidad y compromiso con el éxito de los estudiantes que van más allá de la mera Alfabetización Informacional.
  • El aprendizaje en grupo o el aprendizaje entre iguales puede ser una manera de involucrar a los estudiantes de primer año con aquellos que recibieron formación previamente para que muestren o enseñen a otros estudiantes que no tienen esta formación.