Archivo de la etiqueta: Impacto

Repensando la evaluación de la investigación Una rúbrica para analizar las condiciones y los indicadores de progreso institucional a fin de lograr buenos resultados

Hatch, A., & Schmidt, R. SPACE: La mejora de la evaluación académica. Una rúbrica para analizar las condiciones y los indicadores de progreso institucional a fin de lograr buenos resultados, DORA, 2022. Trad.: Universitat Oberta de Catalunya. 2022.

Texto completo

SPACE_DORA_ES_rubrica.pdf

SPACE_DORA_ES_plantilla.pdf

SPACE_DORA_ES_instrucciones.pdf

Rúbrica e información de soporte para analizar las condiciones institucionales y los indicadores de progreso para la reforma de la evaluación académica. La evaluación de la investigación y del personal investigador supone un reto: las instituciones que priorizan el desarrollo de infraestructuras institucionales pueden estar mejor preparadas que las que se centran solo en soluciones individuales.

Este documento forma parte de la guía práctica de recursos de la DORA para asistir a las instituciones académicas que estén en el proceso de mejora de sus políticas y sus prácticas. Pueden encontrar otros recursos en esa guía práctica.

Mejorar la evaluación de la investigación y la actividad académica exige la habilidad de analizar los resultados de acciones e intervenciones. Sin embargo, cuando solo se analizan las intervenciones individuales, dichas evaluaciones y observaciones no aprovechan la oportunidad de comprender cómo las propias condiciones institucionales condicionan el éxito de nuevas acciones o cómo el desarrollo del potencial institucional puede mejorar la efectividad y el impacto de estas nuevas prácticas a una escala mayor. La rúbrica SPACE se desarrolló para ayudar a las instituciones que se encuentran en cualquier fase de reforma de su evaluación académica a analizar su habilidad institucional de respaldar dichas intervenciones y asegurarse unos resultados satisfactorios.

Las organizaciones pueden usar la rúbrica SPACE como herramienta para la implementación de prácticas de evaluación de trayectorias académicas justas y responsables, de dos maneras. En primer lugar, puede servir para establecer como punto de partida el estado actual de las condiciones de la infraestructura, para así evaluar la capacidad de la institución para contribuir al desarrollo y la implementación de nuevas actividades y prácticas de evaluación académica. En segundo lugar, sirve para analizar con carácter retroactivo cómo las brechas y las fortalezas de dichas condiciones institucionales pueden haber tenido cierto impacto en los resultados de intervenciones concretas dirigidas a una tipología específica de actividades académicas de evaluación (como son la contratación, la promoción, la consolidación o incluso la evaluación de los estudiantes de doctorado), ya sea contribuyendo o dificultando el avance hacia esos objetivos.

La rúbrica SPACE es el resultado de la colaboración de la DORA con Ruth Schmidt, profesora del Institute of Design (Institute of Technology de Illinois), que dirigió el proceso iterativo del diseño de participación. La creación de la rúbrica se basó en la experiencia de 75 personas en 26 países de 6 continentes y se ha mejorado tras varias rondas de retroalimentación.

A medida que las instituciones adoptan progresivamente los nuevos principios y prácticas de evaluación, pueden tener dificultades para ahondar y expandir su potencial individual y desarrollar niveles más altos de integración en el sistema.

Sin embargo, debido a que de forma natural las instituciones se encuentran en distintos estadios de preparación y evolución, no hay una solución igual para todas, y los indicadores de progreso pueden no parecer los mismos.

MIAR LIVE 2022: actualización de MIAR con importantes novedades

MIAR: Matriz de Información para el Análisis de Revistas

https://miar.ub.edu/

MIAR es una matriz de datos procedentes de más de 100 repertorios de revistas y bases de datos de indización y resumen internacionales (de citas, multidisciplinares o especializadas), que se elabora con el propósito de facilitar información útil para la identificación de revistas científicas y el análisis de su difusión. El sistema trabaja mediante la elaboración de una matriz de correspondencia entre las revistas, identificadas por su ISSN, y las bases de datos y repertorios que las indizan o incluyen.

MIAR Live 2022 presenta una novedad importante respecto a años anteriores: se ha eliminado el indicador numérico ICDS, que únicamente se mostrará como información de archivo para las ediciones cerradas desde 2008 hasta el año 2021. La principal razón del cambio es la de presentar de una manera más descriptiva y menos jerarquizada la difusión de las revistas en las bases de datos y repertorios de las revistas que analizamos.

En la nueva edición se presenta la información de las revistas indicando en cuántas bases de datos y repertorios aparecen, sin establecer un valor que pudiera invitar a realizar rankings de las mismas respecto a los títulos de su misma especialidad. Se ha mantenido la estructura de las categorías de fuentes analizadas: bases de datos de citas (c), multidisciplinares (m), especializadas (e) y recursos de evaluación (x), sin asignar un valor específico por formar parte de un grupo concreto, criterio que anteriormente constituía el cálculo numérico ICDS. Entendemos que la nueva manera de presentar la difusión mediante la expresión “cX+mX+eX+xX”, donde X equivale al número de ocurrencias para cada categoría de fuente, es más clara y descriptiva a partir de la misma información que usaba ICDS, ya que informa del número y tipología de fuentes donde está presente una revista.

Este cambio responde a la voluntad de hacer de MIAR un agregador de información procedente de fuentes diversas, con el propósito de apoyar autores, editores y otros agentes en la identificación, caracterización y análisis de revistas, sin entrar a calcular indicador bibliométrico alguno a partir de la información recogida.

Equipo MIAR, 21 marzo 2022.

¿Cuál es la importancia de un repositorio de datos?: seis formas de depositar los datos para maximizar el impacto de tu investigación

What a difference a data repository makes: Six ways depositing data maximizes the impact of your science
October 18, 2021 Lindsay Morton

Texto completo

Los datos son la clave para la verificación, la replicación, la reutilización y la mejor comprensión de las conclusiones de la investigación. Cuando tus datos están en un repositorio -en lugar de un viejo disco duro, por ejemplo, o incluso un archivo de información de apoyo- su impacto y su relevancia se magnifican. He aquí seis formas en las que poner sus datos en un repositorio público puede ayudar a que su investigación llegue más lejos.

  1. No puedes perder los datos que están en un repositorio de datos público

¿Alguna vez has perdido la pista de un conjunto de datos? Tal vez hayas actualizado su ordenador o te hayas trasladado a una nueva institución. Tal vez hayas borrado un archivo por error, o simplemente no recuerdes el nombre del archivo que estás buscando. Sea cual sea la causa, la pérdida de datos puede resultar embarazosa y requerir mucho tiempo. No puedes proporcionar la información solicitada a las revistas durante el proceso de presentación o a los lectores después de la publicación. Es imposible realizar futuros metaanálisis o revisiones sistemáticas. Y es posible que tengas que rehacer los experimentos para poder avanzar en tu línea de investigación. Con los datos depositados de forma segura en un repositorio con un DOI único para tu seguimiento, normas de archivo para evitar su pérdida, y materiales de metadatos y léame para asegurarte de que tus datos se utilizan correctamente, cumplir con las solicitudes de las revistas o revisar trabajos anteriores es fácil.

  1. Los repositorios públicos de datos apoyan la comprensión, el reanálisis y la reutilización

La publicación transparente de los datos brutos en un repositorio público favorece una investigación científica fiable y reproducible. El conocimiento de los datos y los análisis permite a los lectores comprender mejor los artículos de investigación publicados. Ofrecer la oportunidad de que otros interpreten los resultados demuestra integridad y abre nuevas vías de debate y colaboración. El formato de los datos legibles por máquina permite incorporar el trabajo a futuras revisiones sistemáticas o metaanálisis, ampliando su utilidad.

  1. Los repositorios públicos de datos facilitan el descubrimiento

Incluso los mejores datos no se pueden utilizar si no se pueden encontrar. Los metadatos detallados, la indexación de las bases de datos y los enlaces bidireccionales hacia y desde artículos relacionados ayudan a que los datos de los repositorios públicos sean fácilmente buscables, de modo que lleguen a los lectores que más los necesitan, maximizando el impacto y la influencia del estudio en su conjunto.

  1. Los repositorios públicos de datos reflejan el verdadero valor de los datos

Los datos no deben tratarse como un producto secundario de un artículo de investigación. Los datos son investigación. Y los investigadores merecen el crédito académico por recopilar, capturar y conservar los datos que generan con su trabajo. Los repositorios públicos ayudan a ilustrar la verdadera importancia y la relevancia duradera de los conjuntos de datos asignándoles su propio y único DOI, distinto del de los artículos de investigación relacionados, para que los conjuntos de datos puedan acumular citas por derecho propio.

  1. Los datos públicos demuestran el rigor

No hay mejor manera de ilustrar el rigor de sus resultados que explicar exactamente cómo los ha obtenido. Compartir los datos le permite demostrar su credibilidad e inspira confianza en los lectores al contextualizar los resultados y facilitar la reproducibilidad.

  1. La investigación con datos en repositorios de datos públicos atrae más citas

Un estudio realizado en 2020 sobre más de 500.000 artículos de investigación publicados descubrió que los artículos que enlazan con datos en un repositorio público tienen una tasa de citación un 25% más alta de media que los artículos en los que los datos están disponibles a petición o como información de apoyo. Las razones exactas de esta asociación siguen sin estar claras. ¿Son los investigadores que depositan datos cuidadosamente curados en un repositorio también más propensos a producir una investigación rigurosa y digna de ser citada? ¿Los investigadores que tienen tiempo y recursos para dedicar a la conservación y el depósito de datos están más consolidados en sus carreras y, por tanto, son más citados? ¿Son los lectores más propensos a citar la investigación cuando confían en que pueden verificar las conclusiones con datos? ¿Quizás una combinación?

Patrones de autocitación de las revistas indexadas en el Journal Citation Reports

Taşkın, Zehra, et al. «Self-Citation Patterns of Journals Indexed in the Journal Citation Reports». Journal of Informetrics, vol. 15, n.o 4, noviembre de 2021, p. 101221.

Texto completo

Se examinaron los patrones de autocitación de 1.104 revistas indexadas en la edición de 2018 del Journal Citation Reports para evaluar la posibilidad de manipulaciones de rango subyacentes. Se comprobó que todas las revistas incluidas en este estudio tenían una tasa de autocitación superior al 25%. La investigación muestra que al excluir las tasas de autocitación, el rango de las revistas con un alto factor de impacto no se ve afectado; sin embargo, para otras revistas, la eliminación de incluso una sola autocita puede causar cambios significativos en el rango. Los patrones de autocitación son típicos de las revistas en idiomas locales, así como de las revistas de los países europeos de renta media-alta. Los factores de impacto utilizados en las evaluaciones del rendimiento de la investigación deberían utilizarse con más cuidado, especialmente cuando variables como el tamaño de la revista, el idioma de publicación, el país de la editorial y el área temática se correlacionan con los índices de autocitación.

¿Hasta qué punto es imprevisible el impacto de la investigación? Datos del Marco de Excelencia en Investigación del Reino Unido.

YaYaqub, Ohid, et al. “How Unpredictable Is Research Impact? Evidence from the Uk’s Research Excellence Framework.” SocArXiv, 9 Mar. 2022.

Texto completo

Cada vez hay más interés por el impacto más amplio de la investigación fuera del ámbito académico. En particular, preocupa hasta qué punto se puede prever el tema y los principales beneficiarios de dicho impacto antes incluso de que se financie la investigación. ¿El impacto de la investigación tiende a surgir en gran medida según lo previsto, o los impactos finales son irreconocibles respecto a los planes iniciales?

Para explorar lo inesperado del impacto, la investigación se basa en uno de los mayores ejercicios de evaluación del impacto de la investigación en el mundo: el Research Excellence Framework del Reino Unido. Se aprovechó el impacto del REF, que se remonta a las solicitudes de financiación de la investigación, como un conjunto de datos de 2.194 grupos de casos y subvenciones, para comparar los temas de impacto con los cometidos de los financiadores. Para 209 de esos grupos, se comapró directamente sus descripciones de impacto ex-ante y ex-post.

Se descubrió que las reivindicaciones de impacto en estos grupos de casos y subvenciones suelen ser congruentes entre sí, con un 76% de coincidencia. Esto indica que, condicionada a la inclusión en el REF, la investigación produce un impacto con la misma orientación que la prevista al inicio de sus proyectos. Esto es especialmente cierto cuando la investigación se produce conjuntamente con las partes interesadas. Estos resultados ofrecen un claro complemento a otros estudios preliminares sobre la REF, que han tendido a subrayar la gran diversidad y complejidad del impacto de la investigación.

Estas conclusiones sugieren que el impacto de la investigación dista mucho de ser aleatorio y que existe un amplio margen para la intervención política. En particular, se destaca el papel potencialmente importante que desempeña la colaboración en el establecimiento de la dirección del impacto de la investigación. Sin embargo, los resultados también pueden indicar que el REF excluye preferentemente los impactos no previstos y los impactos indirectos. Este efecto de selección, en el que se excluye una clase cualitativamente diferente de impactos, puede verse incrementado a medida que la parte de las recompensas de la REF se inclina más hacia el criterio de impacto.

Investigación de Big Data para las ciencias sociales y el impacto social

Visvizi, Anna, et al. Big Data Research for Social Sciences and Social Impact. MDPI – Multidisciplinary Digital Publishing Institute, 2020.

Texto completo

La integración de las ciencias sociales y la investigación en sistemas de información permite una nueva era de innovación. En este contexto, la adopción de la tecnología de Big Data y de la analítica aporta nuevos conocimientos a las ciencias sociales. También ofrece respuestas nuevas y flexibles a problemas y retos sociales cruciales. Nos enorgullece presentar este volumen editado sobre el impacto social de la investigación en big data.

Se trata de una de las primeras iniciativas a nivel mundial que analiza el impacto de este tipo de investigación en los individuos y los problemas sociales. La organización del debate correspondiente se articula en torno a tres pilares: Sección A: Investigación de Big Data para el impacto social: – Big Data y su impacto social; – Ciudadanos (inteligentes) de proveedores de datos a tomadores de decisiones; – Hacia el desarrollo sostenible de las comunidades en línea; – Sentimiento de las redes sociales en línea; – Big Data para la innovación. Sección B. Técnicas y métodos para la investigación impulsada por Big Data para las ciencias sociales y el impacto social: – Minería de opinión en los medios sociales; – Análisis del sentimiento de las preferencias de los usuarios; – Comunidades urbanas sostenibles; – Comportamiento de registro basado en el género mediante el uso de Big Data de los medios sociales; – Técnicas de minería de datos en la web; – Análisis de redes semánticas de la percepción de los medios de comunicación heredados. Sección C. Estrategias de investigación de Big Data: – Necesidades de habilidades para los investigadores que inician su carrera – Enfoque de minería de textos; – Reconocimiento de patrones a través del análisis bibliométrico; – Evaluación de la preparación de una organización para adoptar Big Data; – Aprendizaje automático para predecir el rendimiento; – Análisis de reseñas en línea mediante minería de textos; – Red de contexto-problema y método cuantitativo de análisis de patentes. Factores sociales y tecnológicos complementarios que incluyen: – Las grandes redes sociales en el desarrollo económico sostenible; La inteligencia empresarial.

10 consideraciones clave para elegir su sistema de gestión de impactos de la investigación

10 Key Considerations for Choosing Your Impact Management System (IMS). Vertigo Ventures, 2022

Texto completo

El impacto es complejo y puede tardar años o incluso décadas en manifestarse. Gestionar el amplio abanico de factores que intervienen en cualquier proyecto de impacto, y luego demostrar los numerosos tipos de impacto a lo largo de distintos plazos, suele suponer un reto importante para las instituciones y los individuos.

Hay varios métodos que pueden utilizarse para responder a las crecientes demandas de impacto; uno de ellos es la implantación de un Sistema de Gestión de Impacto (SGI), que puede ayudar a centralizar los hilos dispares de la actividad de impacto y catalizar el desarrollo de una cultura de apoyo en toda una institución. Sin embargo, en este ámbito en rápida evolución, hay muchos factores que deben tenerse en cuenta al considerar la adopción de una solución de este tipo.

Cómo elegir la revista adecuada para tu investigación.

Choosing the right journal for your research: a comprehensive guide for researchers. Taylor & Francis, Author Services, 2022

Texto completo

La elección de la revista en la que publicar tu investigación es una de las es una de las decisiones más importantes que hay que tomar como investigador. El lugar en el que decides presentar tu trabajo puede marcar una gran diferencia en el alcance y la repercusión de tu investigación. de tu trabajo puede marcar una gran diferencia en el alcance y la repercusión de tu investigación. Por ello, vale la pena tomarse el tiempo necesario para considerar las opciones y analizar cada uno de los aspectos de la presentación de de la revista, desde la preselección de títulos hasta el método de publicación preferido (por ejemplo, el acceso abierto). Esta extensa guía cubre todo lo que necesita saber para tomar una decisión informada sobre dónde publicar tu investigación, todo en un solo lugar.

Entrevista reflexiva: aumentar el impacto social a través de la investigación

Nardon L, Hari A, Aarma K. Reflective Interviewing—Increasing Social Impact through Research. International Journal of Qualitative Methods. January 2021. doi:10.1177/16094069211065233

Los investigadores piden cada vez más que la investigación «marque la diferencia» mediante impactos teóricos, prácticos, sociales y educativos. Reconociendo que la investigación académica va por detrás de los problemas de los profesionales y que la mayor parte de los escritos académicos son inaccesibles para quienes necesitan el conocimiento, algunos académicos piden que se incorpore el impacto social en el propio proceso de investigación.

Aquí se sostiene que la reflexión de los participantes puede aumentar el impacto social al cambiar la forma en que los individuos piensan, se comportan y actúan. Las entrevistas de investigación pueden ser intervencionistas con el potencial de facilitar la reflexión de los participantes; sin embargo, la literatura actual sobre el tema está fragmentada. Combinamos esta literatura fragmentada con discusiones sobre el impacto social y las técnicas de entrevista para proponer principios de entrevista que faciliten la reflexión de los participantes hacia el impacto social. Con ello se espera estimular a los investigadores de una amplia gama de disciplinas para que piensen más intencionadamente en el papel impactante de una herramienta metodológica cualitativa común, las entrevistas, para apoyar a los participantes en la investigación y participar en una investigación socialmente significativa.

Análisis relacional de citas para la identificación de dominios científicos

Grácio, Maria Cláudia Cabrini. Análises relacionais de citação para a identificação de domínios científicos : uma aplicação no campo dos Estudos Métricos da Informação no Brasil. SciELO Books – Editora UNESP, 2020

Texto completo

En todos los campos del conocimiento, la producción científica se basa en el hecho de que un investigador construye su trabajo a partir de publicaciones anteriores. En este contexto, el registro de la lista de referencias de un trabajo científico expresa el diálogo establecido por el investigador con sus pares, así como el proceso de construcción de su conocimiento, ya que muestra qué referencias teóricas y metodológicas constituyeron la base durante el desarrollo de la investigación. En esta coyuntura, las referencias registradas en los artículos científicos definen la ciencia legitimada y reconocida como relevante para el desarrollo conceptual, teórico y metodológico de un tema, un campo, una disciplina o un ámbito de conocimiento. En este escenario, aunque un artículo científico no se mencione en la lista de referencias de una publicación posterior, su inserción y visibilidad en el entorno científico está garantizada; sin embargo, el reconocimiento de su contribución al avance de la ciencia queda atestiguado, especialmente, por las citas de otros científicos.