Archivo de la etiqueta: Impacto

OpenCitations, una infraestructura electrónica abierta para fomentar la máxima reutilización de los datos de las citas

Di Giambattista, Chiara, et al. OpenCitations, an open e-infrastructure to foster maximum reuse of citation data. arXiv, 15 de junio de 2022. arXiv.org, https://doi.org/10.48550/arXiv.2206.07476.

OpenCitations es una organización independiente sin ánimo de lucro dedicada a la publicación de datos bibliográficos y de citación abiertos mediante el uso de tecnologías de la web semántica (Linked Data). OpenCitations colabora con proyectos que forman parte del ecosistema de la Ciencia Abierta y cumple con los principios fundacionales de la UNESCO para la Ciencia Abierta, las recomendaciones de I4OC y los principios de datos FAIR, según los cuales los datos deben ser Encontrables, Accesibles, Interoperables y Reutilizables. Dado que sus datos satisfacen todas las directrices de reutilización proporcionadas por FAIR en términos de riqueza, procedencia, licencias de uso y estándares comunitarios relevantes para el dominio, OpenCitations proporciona un ejemplo de una exitosa e-infraestructura abierta en la que la reutilización de datos es parte integral de su misión.

Papel Mills: la fabricación de artículos para la venta de autorías

Paper Mills: research report drom COPE & STM. STM, 2022

Texto completo

En el ámbito de la investigación, una Paper Mills (fábrica de articulos) es una «organización no oficial, potencialmente ilegal y con ánimo de lucro, que produce y vende la autoría de manuscritos de investigación»

La fabricación de artículos es el proceso por el que se envían manuscritos terminados a una revista a cambio de una cuota en nombre de los investigadores con el fin de facilitarles la publicación, o para ofrecerles la autoría a cambio de dinero.

En unas ocasiones, los Paper Mills contienen operaciones sofisticadas que venden puestos de autoría en investigaciones legítimas, pero en muchos otros casos los trabajos contienen datos fraudulentos y pueden estar plagiados o ser poco profesionales. También puede incluir la fabricación de datos, lo que lleva a la ciencia basura y, a veces, a retractaciones en la literatura científica.

Los investigadores se ven presionados a publicar para avanzar en su carrera «Publish or perish», y por ello algunos recurren a estas prácticas inaceptables. Se trata de un problema de ética e integridad de la investigación que afecta a la publicación académica, una deshonestidad académica que implica el engaño y la autoría por contrato, más concretamente el ghostwriting académico, es decir la escritura fantasma, un término utilizado para describir la investigación académica escrita por alguien cuyo nombre no se reconoce.

En abril de 2022, el departamento de noticias de la revista Science publicó un post que identificaba cientos de artículos académicos publicados en los que se habían vendido puestos de autoría a través de un sitio web ruso que permitía a los investigadores pagar por el prestigio académico, sin exigir contribuciones legítimas en la investigación. Durante el periodo de tres años analizado, se identificaron 419 artículos que coincidían con manuscritos publicados posteriormente en muchas revistas académicas diferentes, con un sesgo significativo hacia las publicaciones en revistas depredadoras. Aunque los artículos fabricados aparecieron en varias revistas, sólo en International Journal of Emerging Technologies in Learning (Kassel University Press) se publicaron casi 100 artículos, aparentemente coordinados mediante la participación de editores de revistas que organizaban números especiales con espacio para coautores subastados por entre 180 y 5.000 dólares. En otra red coordinada, se descubrió que los editores invitados y los editores académicos asalariados de MDPI coordinaban la venta de autorías en cuatro revistas diferentes de MDPI, con un total de más de 20 artículos. Más allá de la colusión entre los editores y International Publisher Ltd., muchos trabajos de investigación legítimos también vendieron autorías desconocidas por parte de los editores de las revistas, y finalmente fueron aceptados en revistas publicadas por Elsevier, Oxford University Press, Springer Nature, Taylor & Francis, Wolters Kluwer y Wiley-Blackwell. Desde el 6 de abril de 2022, muchos de estos editores han abierto una investigación sobre el asunto.

En 2022 COPE y STM llevaron a cabo un estudio con Maverick Publishing Services, utilizando datos de las editoriales, para comprender la magnitud del problema de las Paper Mills. En el estudio también se entrevistó a las partes interesadas: investigadores, editores y a miembros de Retraction Watch.

Todos los implicados creen que el problema de las fábricas de artículos es una amenaza real para la integridad de los registros académicos, y que es necesario un esfuerzo colectivo porque los editores tienen claro que no pueden resolver este problema solos. Es necesario un esfuerzo conjunto de editores, financiadores e instituciones de investigación.

El documento recomienda una serie de acciones al respecto:

  • Es necesario un importante ejercicio de educación para garantizar que los editores sean conscientes del problema de las fabricación de artículos y que los editores/personal de redacción reciban formación para identificar los documentos falsos.
  • Inversión continua en herramientas y sistemas para detectar los artículos sospechosos a medida que se presentan.
  • Compromiso con las instituciones y los financiadores para revisar los incentivos para que los investigadores publiquen artículos válidos y no utilicen servicios que ofrezcan una publicación rápida pero falsa.
  • Investigar los protocolos que pueden establecerse para impedir que las Paper Mills logren sus objetivos.
  • Revisar el proceso de retractación para tener en cuenta las características únicas de los artículos fabricados.
  • Investigar cómo garantizar que los avisos de retractación se apliquen a todas las copias de un artículo, como los servidores de preprints y los repositorios de artículos.

Ventaja de citación del acceso abierto (OACA)

El proyecto OpCit ha mantenido durante muchos años una lista de estudios actualizados sobre la existencia o no de una ventaja de citación para los artículos de acceso abierto. (The Open Access Citation Advantage Service OACA).

SPARC Europa actualizó las listas de estudios, algunos detalles comparativos de sus metodologías y sus resultados. El resumen de los resultados de los estudios (hasta 2015) se puede encontrar aquí

Esta tabla resume los resultados

  • Número total de estudios hasta 2015 fueron 70
  • Estudios que encontraron una ventaja de citación 46
  • Estudios que no encontraron ninguna ventaja de citación 17
  • Estudios que no fueron concluyentes, que encontraron datos no significativos o que midieron otros

El estudio Do articles in open access journals have more frequent altmetric activity than articles in subscription-based journals? arrojo los siguientes resultados que mostraron un aumento del 18% en las citas por parte de las publicaciones disponibles en OA, sin embargo, ese efecto positivo se debió a otros mecanismos (se descubrió que el autoarchivo aumentaba las citas en un 33%) que la publicación en revistas nacidas en OA (Ruta dorada), resultó tener un efecto negativo de un 17% menos de citas que todas las publicaciones en promedio.

¿El acceso abierto aumenta realmente el impacto? Un análisis aleatorio a gran escala con 2,5 millones de documentos

Maddi, A., & Sapinho, D. (2022). Does Open Access Really Increase Impact? A Large-Scale Randomized Analysis. https://doi.org/10.48550/arxiv.2206.06874

La ventaja de la citación en acceso abierto (The Open Access Citation Advantage OACA) ha sido un importante tema de debate en la literatura durante los últimos veinte años. En este trabajo, se propone un método para constituir un grupo de control para aislar el efecto OACA. Así, comparamos el impacto de las citas (MNCS) de 2.458.378 publicaciones en revistas totalmente OA con el (MNCS ponderado) de un grupo de control de publicaciones no OA (#10.310.842). Del mismo modo, se hizo el mismo ejercicio para las publicaciones OA en revistas híbridas (#1,024,430) y su grupo de control (#11,533,001), durante el período 2010-2020. Los resultados mostraron que no hay ventaja de la citación en acceso abierto (OACA) para las publicaciones en revistas totalmente OA, y que más bien hay una desventaja. Por el contrario, la ventaja de la citación en acceso abierto parece ser una realidad en las revistas híbridas, lo que sugiere que una mejor accesibilidad en este contexto tiende a mejorar la visibilidad de las publicaciones.

Lectores de Mendeley de artículos muy citados en ciencias médicas: ¿Está relacionado con las citas?

Farshad Baroonzadeh, Maryam Shekofteh, Maryam Kazerani & Cirruse Salehnasab (2022) Mendeley Readers of Highly-Cited Articles in Medical Sciences: Is It Correlated With Citations?, Serials Review, DOI: 10.1080/00987913.2022.2066965

El número de lectores de Mendeley y el número de citas son indicadores de la evaluación de una investigación. En muchos casos, tienen una correlación significativa entre sí.

El presente estudio tiene como objetivo investigar la correlación entre el número de lectores de Mendeley y el número de citas en artículos médicos muy citados. La población de la investigación incluye todos los artículos altamente citados en varios campos de la medicina indexados en la Web of Science (WoS) en 2016. El número de citas se extrajo de la WoS, y el número de lectores de Mendeley se extrajo utilizando Webometric Analyst.

Los resultados revelaron que el mayor número de lectores de Mendeley está relacionado con el campo de la medicina general e interna con una media de 570,43, y el más bajo está dedicado a la otorrinolaringología con una media de 86,2. Asimismo, la media de citas más alta corresponde a la medicina general e interna (338,18) y la más baja a la enfermería (40,84). El coeficiente de correlación de Pearson mostró que la relación entre el número de lectores de Mendeley y el número de citas recibidas por todos los artículos médicos es positiva y significativa (valor p <0,001, r = 0,644). En varios campos de la medicina, excepto la ortopedia, existe una relación positiva y significativa entre ambas variables. La evidencia sugiere que los datos de Mendeley pueden determinar la eficacia de los artículos. Parece que el uso de Mendeley por parte de los investigadores aumentará la visibilidad y los lectores de los artículos y, en consecuencia, dará lugar a más citas.

Acceso y visibilidad de las revistas científicas españolas de comunicación

Mora, María Carmen Fonseca, et al. Acceso y visibilidad de las revistas científicas españolas de comunicación. Sociedad Latina de Comunicación Social, 2011.

Texto completo

Parte 1    Parte 2 

Las revistas científicas son “los medios de comunicación e institucionalización social de la ciencia”. Sus criterios de calidad, tanto de las revistas impresas como de las electrónicas, han sido definidos con claridad por la Fundación Española para la Ciencia y la Tecnología (FECYT), así como por prestigiosas bases de datos o plataformas de evaluación de revistas que con sus rankings logran que los editores de las revistas se planteen estrategias y técnicas para la mejora de sus posicionamientos español y mundial. Sin embargo, aún resta por profundizar en las claves de accesibilidad y visibilidad de las revistas españolas de Comunicación, con el objeto de que sus editores conozcan sus posibilidades nacionales e internacionales e incrementen su imprescindible vestigio mundial, que es el que se merece la producción científica en lengua española

Marco FOREST para la comunicación académica basada en valores.

FOREST Framework for Values-Driven Scholarly Communication. Next Generation Library Publishing (NGLP), 2022

Texto completo

El equipo de Next Generation Library Publishing (NGLP) anuncia la publicación del marco FOREST Framework for Values-Driven Scholarly Communication. Este marco ha sido creado para ayudar a las organizaciones y comunidades de comunicación académica a demostrar, evaluar y mejorar su alineación con el tiempo con seis valores clave:

  • Sostenibilidad financiera y organizativa
  • Apertura
  • Gobernanza representativa
  • Equidad, accesibilidad y lucha contra la opresión
  • Compartir el conocimiento
  • Transparencia

Estos seis valores fundamentales han aparecido en docenas de manifiestos, cartas abiertas y otras declaraciones emitidas por un amplio abanico de partes interesadas del mundo académico, como profesores, estudiantes, editores, bibliotecarios y desarrolladores de herramientas de código abierto. Son representativos, si no emblemáticos, del movimiento de ciencia abierta y de las intenciones académicas en gran parte del mundo.

El marco FOREST ofrece mecanismos concretos que las comunidades pueden utilizar para evaluar cómo sus políticas y prácticas se alinean con estos valores y sus principios asociados. En lugar de adoptar un enfoque de «tarjeta de puntuación» que asume que hay un momento en el que un valor se ha realizado plenamente, el marco se centra en un enfoque de «espectro» que reconoce las mejoras incrementales en la alineación y llama la atención sobre el crecimiento y el progreso a lo largo del tiempo. Invita a reflexionar sobre las formas de manifestar y vivir los valores que adoptamos, dando cabida a organizaciones y comunidades de diferente tamaño, madurez y misión para demostrar su intención de practicar de forma ética y sostenible.

FOREST significa:


Financial and Organizational Sustainability

Openness and Interoperability

Representative Governance

Equity, Accessibility, and Anti-Oppression

Sharing of Knowledge

Transparency

¿Necesitamos todos los componentes del Marco de Excelencia en Investigación?

Do we need all the components of the Research Excellence Framework?

Mehmet Pinar
Tim Horne
May 11th, 2022

Ver original

El Marco de Excelencia en Investigación (REF) se basa en tres áreas de evaluación: resultados, impacto y entorno. Sin embargo, Mehmet Pinar y Tim Horne afirman que estos elementos se correlacionan hasta el punto de que la evaluación de todos ellos es en gran medida ineficaz. Si este es el caso, plantean la pregunta: ¿ha llegado el momento de eliminar uno de estos elementos en el próximo ciclo del Research Excellence Framework (REF)?

Pronto se publicarán los resultados del próximo marco de excelencia investigadora. El reciente REF es otra iteración de los sistemas de financiación de la investigación basados en el rendimiento empleados anteriormente en el Reino Unido, que evalúa el entorno de investigación de una institución de enseñanza superior, los resultados de la investigación y el impacto de su investigación. Este proceso de evaluación se lleva a cabo para rendir cuentas sobre el dinero público, proporcionar información de referencia y establecer criterios de reputación, además de informar sobre la asignación selectiva de la financiación de la investigación.

Desde su introducción en su forma actual en 2014, el REF ha recibido muchas críticas. Por ejemplo, la introducción del elemento de impacto en el REF causó cierta preocupación entre los académicos, ya que pensaban que se verían obligados a producir una investigación más «impactante», en lugar de llevar a cabo su propia agenda de investigación.

La investigación ha revelado que el proceso de evaluación estaba sesgado a favor de las universidades de investigación intensiva: Las universidades del Grupo Russell, o las que contaban con miembros del comité que participaban en la evaluación, tendían a obtener puntuaciones inesperadamente más altas. Incluso los miembros del comité que evaluaron los elementos de investigación tuvieron problemas para hacerlo. En resumen, la evaluación de todos los elementos -productos de la investigación, entorno de la investigación, impacto de la investigación- puede haber adolecido de parcialidad o subjetividad.

Además, el REF es caro, ya que el coste de la realización del ejercicio del REF en 2014 se estimó en 246 millones de libras.

Dada la doble preocupación por la objetividad y el coste, en un trabajo reciente, se utilizaron herramientas estadísticas para evaluar la utilidad de la REF como una evaluación que considera multitud de dimensiones. Si todas las dimensiones están positiva y altamente correlacionadas, se puede obtener una asignación de fondos y unos resultados de rendimiento similares utilizando menos dimensiones, lo que sugiere que algunos de los elementos adicionales son redundantes.

Nuestras conclusiones son las siguientes: los tres elementos de la evaluación -entorno, impacto y resultados- están muy correlacionados y son positivos. Por lo tanto, la eliminación de un componente de la evaluación conduce a cambios relativamente pequeños en la asignación de fondos y en las clasificaciones. En consecuencia, sostenemos que el REF podría simplificarse eliminando un elemento, lo que reduciría el coste de llevar a cabo el ejercicio del REF y daría lugar a asignaciones de fondos y clasificaciones más o menos similares.

Esto pone de manifiesto que el importe total de la financiación de la investigación relacionada con la calidad (QR) reasignada entre las distintas IES sería de sólo el 1,46%, 1,05% y 4,41%, respectivamente, del importe distribuido, cuando se elimina de la evaluación el elemento de entorno, impacto y producción. Evidentemente, estos porcentajes de reasignación son pequeños, por lo que un REF simplificado tendría poco efecto en la distribución de la financiación de la RQ, pero podría reducir el coste de la realización del ejercicio del REF y el estrés del personal académico y de los servicios profesionales.

Sobre la base de las conclusiones, es necesario responder a dos preguntas para el próximo ejercicio sobre REF: 1) Si los organismos de financiación tuvieran que excluir un elemento, ¿cuál de los tres elementos debería eliminarse? 2) Si los organismos de financiación tienen previsto incluir nuevos elementos en la evaluación, ¿qué tipo de criterios de evaluación podrían incluirse?

Para esta última pregunta, este documento ofrece algunas pistas. Basándose en análisis propios, se puede afirmar que si los futuros marcos incluyen nuevos elementos, estos nuevos elementos no deberían estar muy correlacionados con los otros elementos existentes, ya que de lo contrario su inclusión en la evaluación supondría un aumento de los costes de la misma, pero produciría una asignación de fondos y una clasificación más o menos similares.

Por otra parte, este documento no ofrece una respuesta específica a la primera pregunta. Sin embargo, se pueden articular las posibles consecuencias de la eliminación de diferentes elementos.

En otro trabajo reciente de Pinar y Unlu, se constata que la inclusión del elemento de impacto en la REF en 2014 y su mayor importancia en la REF2021, es probable que aumente la brecha de financiación relacionada con la calidad (algo más de 1.000 millones de libras esterlinas de financiación principal de RQ se distribuyen cada año sobre la base de los resultados de REF) entre las IES y en la mayoría de las áreas temáticas. Por tanto, si se excluye el elemento de impacto de la REF, es probable que se produzca una asignación de fondos relativamente más equitativa entre las IES. Ello se debe a que existe una gran diferencia entre las universidades que hacen un uso intensivo de la investigación y las demás en cuanto a los resultados del elemento de impacto.

Por otra parte, la diferencia de rendimiento entre las IES es relativamente menor en función de los resultados de la investigación y la eliminación de los resultados de la investigación probablemente aumentaría la diferencia entre las IES.

Al considerar el entorno de la investigación, varios trabajos indican que las medidas cuantitativas, por ejemplo, los ingresos de la investigación o la realización de doctorados, explican gran parte de la variación de las puntuaciones entre las presentaciones; y otros indican que la evaluación de las declaraciones narrativas del entorno de la investigación puede reflejar en gran medida la calidad de la redacción, más que los propios entornos de investigación subyacentes. Por lo tanto, podría considerarse un elemento de entorno simplificado, que incluya sólo métricas.

En general, como ocurre con cualquier decisión de inversión pública, la decisión se reduce a un compromiso de equidad y eficiencia. La teoría de la eficiencia sostiene que la financiación debería asignarse más a los productores más eficientes (es decir, los institutos con mejores resultados). Por otro lado, el argumento de la equidad sugiere que la financiación debería distribuirse de forma más justa entre los institutos.

Según la fórmula de financiación utilizada por los organismos de financiación, éstos favorecen claramente la eficiencia, ya que la financiación asignada a la investigación líder en el mundo es cuatro veces superior a la distribuida a la investigación excelente a nivel internacional, y no se proporciona ninguna financiación a la investigación reconocida internacionalmente. Sin embargo, también existen argumentos relevantes para asignar más fondos a las llamadas IES de bajo rendimiento: Hay que proteger a las IES que se esfuerzan por convertirse en una universidad más orientada a la investigación. Esto está estrechamente relacionado con la idea de proteger las industrias nacientes.

Los cuatro organismos de financiación de la investigación del Reino Unido (Research England, el Higher Education Funding Council for Wales, el Scottish Funding Council y el Department for the Economy of Northern Ireland) encargaron a RAND Europe una revisión en tiempo real del REF2021 y ofrecen la oportunidad de que las partes interesadas den su opinión sobre el próximo REF. Basándonos en estas conclusiones, sostenemos que la cuestión básica de la exclusión o inclusión de los criterios de evaluación debería volver a plantearse cuidadosamente como parte de esta revisión. Aunque los elementos REF han llegado a considerarse inherentes al proceso, quizás estaríamos mejor sin todos ellos.

Tensión en las interpretaciones del impacto social de las ciencias sociales

.

Lauronen J-P. Tension in Interpretations of the Social Impact of the Social Sciences: Walking a Tightrope Between Divergent Conceptualizations of Research UtilizationSAGE Open. April 2022. doi:10.1177/21582440221089967

En Finlandia, el debate en torno al impacto de la investigación en la sociedad se ha prolongado durante dos décadas sin que se haya llegado a un consenso sobre la forma en que el impacto debe formar parte de la evaluación de la investigación. En este trabajo, examino las concepciones del impacto social en el campo de las ciencias sociales desde la perspectiva de los autores de políticas y de los académicos, mediante la revisión de documentos políticos y la realización de entrevistas semiestructuradas con 14 asesores políticos, expertos en evaluación y profesores de la facultad. Los conjuntos de datos sobre políticas abarcan desde 2003 hasta 2018, el período en el que el debate finlandés sobre el impacto de la investigación ha sido más activo.

Las nociones interpretativas sobre el impacto social de las ciencias sociales sostienen que las representaciones del impacto social se derivan de las concepciones yuxtapuestas de cómo el conocimiento de las ciencias sociales forma parte de la sociedad. Se utilizaron técnicas de teoría fundamentada para analizar los artefactos políticos y las entrevistas con las partes interesadas. Identifiqué cinco marcos interpretativos. Se trata de la gobernanza del impacto, la operacionalización del impacto, la politización de la utilización de la investigación, los acuerdos de orientación y el impacto social de las ciencias sociales. Un hallazgo clave es que los asesores políticos y los expertos académicos tienden a integrar vocabularios divergentes sobre la utilización de la investigación y su evaluación, lo que da lugar a la incertidumbre sobre la conceptualización y la operacionalización del impacto. La integridad de la utilización de la investigación en la política de investigación y la evaluación de la investigación podría aumentar la capacidad social de las ciencias sociales al ayudar a comprender la contribución conceptual de estos campos a las políticas públicas y al debate público.

Repensando la evaluación de la investigación Una rúbrica para analizar las condiciones y los indicadores de progreso institucional a fin de lograr buenos resultados

Hatch, A., & Schmidt, R. SPACE: La mejora de la evaluación académica. Una rúbrica para analizar las condiciones y los indicadores de progreso institucional a fin de lograr buenos resultados, DORA, 2022. Trad.: Universitat Oberta de Catalunya. 2022.

Texto completo

SPACE_DORA_ES_rubrica.pdf

SPACE_DORA_ES_plantilla.pdf

SPACE_DORA_ES_instrucciones.pdf

Rúbrica e información de soporte para analizar las condiciones institucionales y los indicadores de progreso para la reforma de la evaluación académica. La evaluación de la investigación y del personal investigador supone un reto: las instituciones que priorizan el desarrollo de infraestructuras institucionales pueden estar mejor preparadas que las que se centran solo en soluciones individuales.

Este documento forma parte de la guía práctica de recursos de la DORA para asistir a las instituciones académicas que estén en el proceso de mejora de sus políticas y sus prácticas. Pueden encontrar otros recursos en esa guía práctica.

Mejorar la evaluación de la investigación y la actividad académica exige la habilidad de analizar los resultados de acciones e intervenciones. Sin embargo, cuando solo se analizan las intervenciones individuales, dichas evaluaciones y observaciones no aprovechan la oportunidad de comprender cómo las propias condiciones institucionales condicionan el éxito de nuevas acciones o cómo el desarrollo del potencial institucional puede mejorar la efectividad y el impacto de estas nuevas prácticas a una escala mayor. La rúbrica SPACE se desarrolló para ayudar a las instituciones que se encuentran en cualquier fase de reforma de su evaluación académica a analizar su habilidad institucional de respaldar dichas intervenciones y asegurarse unos resultados satisfactorios.

Las organizaciones pueden usar la rúbrica SPACE como herramienta para la implementación de prácticas de evaluación de trayectorias académicas justas y responsables, de dos maneras. En primer lugar, puede servir para establecer como punto de partida el estado actual de las condiciones de la infraestructura, para así evaluar la capacidad de la institución para contribuir al desarrollo y la implementación de nuevas actividades y prácticas de evaluación académica. En segundo lugar, sirve para analizar con carácter retroactivo cómo las brechas y las fortalezas de dichas condiciones institucionales pueden haber tenido cierto impacto en los resultados de intervenciones concretas dirigidas a una tipología específica de actividades académicas de evaluación (como son la contratación, la promoción, la consolidación o incluso la evaluación de los estudiantes de doctorado), ya sea contribuyendo o dificultando el avance hacia esos objetivos.

La rúbrica SPACE es el resultado de la colaboración de la DORA con Ruth Schmidt, profesora del Institute of Design (Institute of Technology de Illinois), que dirigió el proceso iterativo del diseño de participación. La creación de la rúbrica se basó en la experiencia de 75 personas en 26 países de 6 continentes y se ha mejorado tras varias rondas de retroalimentación.

A medida que las instituciones adoptan progresivamente los nuevos principios y prácticas de evaluación, pueden tener dificultades para ahondar y expandir su potencial individual y desarrollar niveles más altos de integración en el sistema.

Sin embargo, debido a que de forma natural las instituciones se encuentran en distintos estadios de preparación y evolución, no hay una solución igual para todas, y los indicadores de progreso pueden no parecer los mismos.