Archivo de la etiqueta: Evaluación

Pautas para la calidad de los repositorios de Recursos Educativos Abiertos (REA)

1 respuesta

 

26410404222_376f45766f_o_d

Clements, K. (2016). [e-Book] Why Open Educational Resources Repositories Fail? The Contribution of Quality Approaches to the Success of Repositories. Jyväskylä University of Jyväskylä, 2016

Texto completo

Durante las dos últimas décadas, millones de Recursos Educativos Abiertos (REA) están a libre disposición para los profesores y estudiantes en línea. Estos recursos son generalmente accesibles a través Repositorios de Objetos de Aprendizaje (LORS), que son bases de datos con una interfaz de usuario. Los Repositorios de Objetos de Aprendizaje rara vez se utilizan en todo su potencial y, a menudo se considerados como «fracasos». Estudios anteriores han demostrado que la calidad tiene un papel crítico en el éxito de los sistemas de información, tales como LORS. Sin embargo no existen pautas comunes para la garantía de calidad para los enfoques LORS, ni existen estudios sobre la contribución de los diferentes enfoques de aseguramiento de la calidad LOR para el éxito de un repositorio. La medición de la calidad y el éxito han demostrado ser un desafío en la comunidad de investigación debido a la naturaleza subjetiva y dinámica de tales conceptos. Para hacer frente a este reto, esta tesis estudia la percepción de los usuarios y desarrolladores con LOR desde mútiples perspectivas metodológicas. La aportación de esta tesis al discurso académico se debe a su profundización de la comprensión de las percepciones de los usuarios y desarrolladores de LORS sobre la calidad y el éxito de los repositorios. para ello se desarrollaron marcos para enfoques de garantía de calidad y medidas de éxito de Repositorios de Objetos de Aprendizaje con el fin de identificar y enfoques de diseño que aumentarían el éxito  de los repositorios, como un aporte teórico. Los resultados de estos estudios muestran que opiniones de los expertos en combinación con los enfoques de calidad generados por los usuarios (por ejemplo, sistemas de recomendación revisiones por pares, comentando, etiquetado, etc.) contribuyen al éxito del repositorio.El aporte práctico de esta tesis es un conjunto de recomendaciones hacia el diseño de estrategias de calidad de los Repositorios de Objetos de Aprendizaje. Estas recomendaciones ya han sido utilizados como directrices para la creación de aseguramiento de la calidad para los cuatro principales enfoques LORS europeos.

+

¿Qué es y qué implicaciones tiene altmetrics?

Deja un comentario

 

altmetrics-ris

Alonso-Arévalo, J. and Vázquez Vázquez, M. (2016). ¿Qué es y qué implicaciones tiene altmetrics? Desiderata, 1, (2), pp. 23-25.

Texto completo

El uso de los medios sociales de manera generalizada entre todos los tipos de usuarios, incluidos los investigadores está cambiando la forma de interactuar, presentar las ideas e información y juzgar la calidad de los contenidos y contribuciones. Por ello es factible preguntarse si pueden los datos de las menciones a una investigación realizadas en los medios sociales proporcionar indicadores del impacto de la misma más allá del contexto académico. Altmetrics (también conocido como métricas alternativas o altmetrics) tiene una historia relativamente corta como campo de estudio, que se remonta al año 2010, cuando apareció el Manifiesto Altmetrics (Priem, Taraborelli y Groth 2010). El término en sí se utiliza para describir las fuentes de datos emergentes o nuevas para las métricas de nivel de artículo, es decir las veces que una investigación ha sido mencionada en twitter, Facebook, en blog, prensa, número de descargas en repositorios o las veces que se ha compartido en un gestor de referencias como Mendeley. Existen ya algunas plataformas tales como Altmetric.com, PlumX o ImpactStory.org que recopilan datos de las interacciones sobre los productos de investigación que se producen en redes sociales, blogs y repositorios. Fuentes todas ellas de importancia capital cuando se trata de evaluar la actividad de autores e investigadores de artículos a nivel de métricas (Altmetrics), en redes sociales generales o académicas.

 

HowOpenIsIt? Una guía para la evaluación de revistas de acceso abierto

Deja un comentario

 

b0z9maociaad1ys

 HowOpenIsIt? Una guía para la evaluación de revistas de acceso abierto,  [e-Book] HowOpenIsIt, 2013.

Texto completo

El acceso abierto es un medio de difusión de las investigaciones científicas que rompe con el modelo tradicional de suscripción a las publicaciones académicas. Tiene el potencial de acelerar enormemente el ritmo de los descubrimientos científicos, fomentar la innovación y enriquecer la educación mediante la disminución de las barreras al acceso. El acceso abierto transfiere los costos de publicación para que los lectores, profesionales e investigadores obtengan contenidos sin costo. Sin embargo, el acceso abierto no es tan simple como «artículos gratis para todos los lectores». El acceso abierto abarca una variedad de componentes como los lectores, reutilización, copyright, contabilización y legibilidad en máquinas. Dentro de estas áreas, las editoriales y las agencias de financiamiento han adoptado distintas políticas, algunas de las cuales son más abiertas que otras. En general, en la medida en que las políticas de una publicación codifiquen una disponibilidad y reutilización inmediatas con las menores restricciones posibles, más abierta será la publicación. En 2002, la Iniciativa de Acceso Abierto de Budapest estableció los principios del acceso abierto por primera vez. Desde entonces, miles de publicaciones han adoptado políticas que contemplan algunos o todos de los componentes principales del acceso abierto relacionados a: lectores, reutilización, copyright, contabilización y legibilidad en máquinas. Sin embargo, no todo el acceso abierto se crea de igual forma. Por ejemplo, una política que permite que cualquiera lea un artículo gratis por seis meses después de su publicación es más abierta que una política que establece un embargo a los 12 meses; pero es menos abierta que una política que permite la lectura gratuita inmediatamente después de su publicación. Esta guia le ayudará a ir más allá de la pregunta aparentemente simple, «¿esta publicación es de acceso abierto?»y hacia una alternativa más productiva, «HowOpenlslt?»

Más allá del acceso abierto: visiones para la evaluación abierta de trabajos científicos

1 respuesta

26095684230_519d3d97d2_n_d

Kriegeskorte, N. and D. Deca (2012). [e-Book]  Beyond open access: visions for open evaluation of scientific papers by post-publication peer review, Frontiers, 2012.

Texto completo

Un sistema de publicación científica tiene que proporcionar dos servicios básicos: acceso y evaluación. El sistema de publicación tradicional restringe el acceso a los documentos, exigiendo el pago, y que restringe la evaluación de trabajos basándose en tan sólo 2-4 revisiones por pares y manteniendo en secreto las críticas. Como resultado, el sistema actual adolece de una falta de calidad y transparencia del proceso de evaluación de revisión por pares, y la indicación de la nueva calidad del documento es el prestigio de la revista apareció. El acceso abierto es ahora ampliamente aceptado como deseable y está lentamente comenzando a convertirse en una realidad. Sin embargo, el segundo elemento esencial, la evaluación, ha recibido menos atención. El planteamiento de una «evaluación abierta» como un proceso continuo posterior a la publicación de la revisión por pares promete hacer frente a los problemas del sistema actual. Sin embargo, no está claro cómo debe realizarse exactamente.

El sistema de evaluación dirige la atención de la comunidad científica y, por lo tanto, el curso mismo de la ciencia. Para mejor o peor, los documentos más visibles determinan la dirección de la financiación y las decisiones de la política científica. La evaluación, por lo tanto, está en el corazón de todo el esfuerzo de la ciencia. A medida que el número de publicaciones científicas aumenta, la evaluación y selección sólo ganarán importancia. Un gran desafío de nuestro tiempo, por lo tanto, es diseñar el futuro sistema, mediante el cual se evalúen los documentos y se decidir cuáles merecen una gran atención. Hasta ahora los científicos han dejado el diseño del proceso de evaluación en manos de las revistas y editoriales. Sin embargo, el mecanismo de gestión de la ciencia debe ser diseñado por los científicos.

Las ciencias cognitivas y computacionales están mejor preparados para asumir esta tarea, lo que implicará consideraciones sociales y psicológicas, diseño de software y modelización de la red de artículos científicos y sus interrelaciones. La investigación en este tema Frontiers in Neurociencia Computacional recoge las visiones de un futuro sistema de evaluación abierta. Debido a que abundan los elementos críticos sobre el sistema actual, estos trabajos se centrarán en ideas constructivas y diseños integrales para sistemas de evaluación abiertas. Las decisiones de diseño incluyen: ¿Deben los comentarios y valoraciones ser enteramente transparentes, o se deben mantener en secreto algunos aspectos? En caso de que otros datos, tales como descargas se incluirán en la evaluación? ¿Cómo puede la objetividad científica fortalecerse en el sistema futuro? ¿En casos el sistema debe incluir comentarios y valoraciones firmadas y autenticadas? ¿Al tratarse de un sistema de evaluación continua supondrá que los documentos se evalúen más profundamente? ¿Cómo podemos llevar la ciencia y la estadística para el proceso de evaluación? ¿Cómo debe presentarse la información de la evaluación de cada documento? (por ejemplo, las evaluaciones compartidas) ¿En casos los diferentes individuos y organizaciones serán capaces de definir sus propias fórmulas de evaluación (por ejemplo, clasificaciones de ponderación de acuerdo con diferentes criterios)? ¿Cómo podemos hacer una transición eficiente hacia el futuro sistema?

Monográfico: ALFIN: Evaluación y Calidad

Deja un comentario

 

26277360076_20c3e30688_o_d

Ver Monográfico

Alfabetización informacional. Calidad

Más monográficos

MONOGRÁFICOS SOBRE BYD

MONOGRÁFICOS SOBRE BYD

La alfabetización en información (ALFIN), que se define como la capacidad para localizar, evaluar y utilizar la información para crear nuevos conocimientos, es una habilidad nuclear de la vida adulta y una extensión de la noción de alfabetización funcional. Las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO) ha identificado la ALFIN como una capacidad esencial para la participación en la economía del conocimiento considerándola una prioridad estratégica, ya que estas habilidades informativas están presentes en todos los aspectos de la vida, como el trabajo, el aprendizaje permanente e incluso se le relaciona con el bienestar personal. Una de las claves de todo proceso formativo es la evaluación de los resultados del proceso de aprendizaje. Se trata de un proceso de mejora continua y de adaptación a las necesidades de los usuarios y de su entorno. Uno de los objetivos fundamentales de la evaluación es su relación con los estándares de alfabetización en información.

Por otra parte las expectativas de las agencias de acreditación académica han pasado de la medición de las entradas y salidas a la del impacto de la biblioteca en el aprendizaje y la demostración de la rendición de cuentas. La literatura reciente también tiene en cuenta los métodos para la realización de aspectos específicos de la evaluación de resultados. En cuanto a los métodos de enseñanza y evaluación de la alfabetización informacional, generalmente se basan en los enfoques constructivistas del aprendizaje, en los que el sujeto hace un aprendizaje significativo, que parte de sus conocimientos previos, y es activo, reflexivo e intencional en la realización de sus tareas. Por ello, se deben utilizar metodologías que favorezcan la implicación del sujeto en su proceso de aprendizaje, por medio de actividades prácticas de resolución de problemas teniendo que utilizar información, compartirla (trabajo colaborativo, grupos de discusión), y llegando a ser capaz de autoevaluar el proceso que ha seguido y sus resultados.

Un par de documento fundamentales sobre metodologías de evaluación son:

  • Blevens, C. L. «Catching up with information literacy assessment Resources for program evaluation.» College & Research Libraries News vol. 73, n. 4 (2012). pp. 202-206. http://crln.acrl.org/content/73/4/202 ya que además de la información sobre los recursos y herramientas, proporciona enlaces a instituciones, cuyas  herramientas de evaluación estaban disponibles en sus sitios web, incluyendo sitios web que ofrecen una variedad de formatos de herramientas de evaluación.

Distintivo AppSaludable de la Agencia de Calidad Sanitaria de Andalucía

Deja un comentario

 

appsaludable

La Agencia de Calidad Sanitaria de Andalucía otorga el Distintivo AppSaludable http://www.calidadappsalud.com/, que es el primer sello en español que reconoce la calidad y seguridad de las apps de salud. Es un distintivo gratuito y abierto a todas las aplicaciones de iniciativas públicas y privadas, tanto españolas como de cualquier otro país. Establece una serie de recomendaciones  que divide en 4 bloques:

 

  1. Diseño y pertinencia. En este bloque recoge recomendaciones relacionadas con aquellos aspectos de diseño que debe tener en cuenta una app de salud. Sus contenidos y servicios deben estar orientados para que puedan ser usados de forma eficiente, efectiva y satisfactoria por el mayor número de personas, sin necesidad de que estas tengan que recurrir a adaptaciones especiales. Para ello, la app de salud debería basarse en principios de Diseño Universal, sus contenidos y servicios someterse a un testeo por usuarios potenciales y, una vez desarrollada, definir de forma clara a quién va destinada, su finalidad y objetivos.

 

  1. Calidad y seguridad de la información. Estas recomendaciones están orientadas a reforzar la credibilidad de los contenidos de la app, al informar sobre quiénes son sus responsables, las fuentes de información en las que se basa, sus fuentes de financiación, así como la existencia de posibles conflictos de intereses.

 

  1. Prestación de servicios. Este bloque se compone de recomendaciones sobre los servicios proporcionados por la app de salud: guías de manejo que permitan entender la aplicación, mecanismos de contacto para posibles consultas y aspectos relacionados con el comercio electrónico y el uso eficiente del ancho de banda para descargas o la publicidad.

 

  1. Confidencialidad y privacidad. Las recomendaciones de este bloque tratan de abordar las garantías exigibles a la app de salud en materia de protección de datos, habida cuenta del carácter especialmente protegido de la información sobre salud, así como los mecanismos de seguridad que implementa una app para garantizar la privacidad y confidencialidad de la información.

 

También dispone de un catálogo con todas las aplicaciones móviles de salud a las que se ha otorgado el distintivo “App con distintivo Saludable” que también incluye aplicaciones en proceso de evaluación.

25636049504_378e881e65_b_d

El Centro de Excelencia Modelo de Servicios de Información

Deja un comentario

5db10bde-b132-42a3-9272-921f9e87b3bd

Kirchner, J., J. Diaz, et al. (eds). [e-Book] The Center of Excellence Model for Information Services Washington, Council on Library and Information Resources, 2015.

Texto completo

En 2013, la Fundación Andrew W. Mellon otorgó a un grupo de bibliotecarios del programa de Becas de Liderazgo de Bibliotecas de Investigación de ARL una subvención de planificación para examinar el modelo de centro de excelencia (CoE) para servicios de información. Este informe describe el enfoque del equipo para examinar la factibilidad de los CdE en el entorno de la biblioteca. La subvención de planificación se concedió para determinar si el modelo de CoE podría servir como un medio para proporcionar los nuevos servicios necesarios para el uso eficaz de la información digital. El equipo llevó a cabo investigaciones preliminares de más de 100 centros, que se redujo a 35 para la investigación en profundidad. Se realizaron entrevistas con personal de 19 centros y 7 organizaciones financiadoras. En su conclusión, el equipo asesora el desarrollo de «redes de expertos» y proporciona una serie de recomendaciones para la construcción de dichas redes.

Altmetrics : definiciones y casos de uso

Deja un comentario

26142032296_2f89b56cd3_n_d

NISO Altmetrics Definitions and Use Cases. NISO, 2016

Texto completo

La Organización Nacional de Normas de Información (NISO) necesita comentarios sobre el proyectoAltmetrics Definitions and Use Cases. , NISO RP-25-201X-1. Un documento de la iniciativa altmetrics NISO, un proyecto de dos fases con el objetivo de hacer frente a las limitaciones y deficiencias que pueden dificultar la adopción de altmetrics, una expansión de las herramientas disponibles para medir el impacto de la investigación académica en el entorno social de conocimiento.

Las definiciones y casos de uso de documentos es un texto corto, pero es un buen reflejo de las muchas discusiones del grupo de trabajo celebradas para revisar y discutir a fondo las definiciones de las diversas fuentes de información en materia altmetrics. También incluye una declaración sobre el papel que juega la métrica de evaluación alternativa de la investigación, para ayudar a contextualizar el documento en su contexto y asesorar sobre posibles aplicaciones de altmetrics.

Los casos de uso para altmetrics fueron aportados por las diferentes partes interesadas en el ecosistema de la investigación. El documento de NISO significa poner de relieve las diferentes formas en que los grupos de interés recogen, elaboran y consumen altmetrics, y que explican y contextualizan en común necesidades, objetivos y usos de las partes interesadas.

La producción de de este documento esta relacionada con los desarrollos de los otros dos grupos de trabajo de manera que la definición de los términos utilizados permite que diferentes partes interesadas en este espacio se puedan entender cuando están hablando de lo mismo. Además, el desarrollo de casos de uso y su relación con grupos de interés aclara los requisitos y las prioridades para el desarrollo.

El proyecto de la Práctica Recomendada está abierto para comentarios del público hasta el 20 de abril de 2016. Para descargar el borrador o presentar comentarios en línea, visite la página web de la Iniciativa altmetrics NISO en http://www.niso.org/topics/tl/altmetrics_initiative/

¿Los tweets pueden predecir las citas? Métricas de impacto social basado en Twitter y correlación con los parámetros tradicionales de impacto científico.

Deja un comentario

likes-shares-tweets-the-growing-role-of-social-media-in-biomedical-literature-17-638

Texto completo

Comúnmente se acepta que las citas y el factor de impacto de los artículos revisados por pares son aceptados como medidas de impacto científico. Las herramientas Web 2.0 como Twitter, blogs o herramientas de marcadores sociales ofrecen la posibilidad de construir métricas innovadoras a nivel de artículo para medir el impacto y la influencia. Lo que se ha denominados métricas alternativas o altmetrics.

El artículo estudia la viabilidad de la medición del impacto social y la atención del público sobre los artículos académicos mediante el análisis del impacto en los medios sociales, para ellos explora la dinámica, el contenido y la sincronización de los tweets en relación con la publicación y explora si estas métricas son lo suficientemente sensibles y específicas para predecir cuales serán aquellos artículos muy citados.

MÉTODOS:

Entre julio de 2008 y noviembre de 2011, se extrajeron todos los tweets que contienían enlaces a artículos en la revista Journal of Medical Internet Research (JMIR). Para un subconjunto de 1.573 tweets sobre 55 artículos publicados con diferentes métricas de impacto social, que posteriormente se calcularon y compararon con datos de las citas que recibieron en Scopus y Google Académico durante los 17 a 29 meses posteriores. Para ello se validó una heurística para predecir los artículos más citados en cada tema a través de métricas.

RESULTADOS:

Un total de 4208 tweets de 286 artículos citados de JMIR se compararon con los tweets recibidos los primeros 30 días después de la publicación, la mayoría de los tweets realizados en el día en que se publicó un artículo (1458/3318, 43,94% de todos los tweets en una período de 60 días) o el día siguiente (528/3318, 15,9%), seguido de una rápida descomposición. Las correlaciones de Pearson entre tweets y citas tuvieron una moderación  estadísticamente significativa, con coeficientes de correlación que van desde 0,42 hasta 0,72 para las citas de Google Académico, pero esta relación no fue tan precisa para las citas de Scopus y correlaciones de rangos. Aquellos artículos altamente twitteados fueron 11 veces más propensos a ser citados que los artículos menos twitteados 

CONCLUSIONES:

Los tweets recibidos puede predecir aquellos artículos que son más altamente citados dentro de los 3 primeros días de la publicación del artículo. la actividad de los medios sociales o bien aumenta las citas o refleja las cualidades subyacentes del artículo para predecir futuras citas, pero el verdadero uso de estos indicadores es medir un concepto distinto de impacto social. Se proponen medidas de impacto social, sobre la base de tweets para complementar las estadísticas de citas tradicionales. El factor twimpact propuesto puede ser una métrica útil y oportuna para evaluar la absorción de los resultados de la investigación y para filtrar resultados de la investigación en tiempo real.

Los avances en la revisión por pares

2 respuestas

upvoye-620x342

Los avances en la revisión por pares

ScienceOpen 1 de febrero de, el año 2016 Autor: Jon Tennant

Ver original

No es demasiado difícil percibir que las prácticas y actitudes en relación con lo que se ha denominado “ciencia abierta” están evolucionando, lo que a su vez conlleva que el sistema de evaluación científica se equipare a estas nuevas prácticas. Aunque estamos más familiarizados con el debate sobre la mejor manera de aplicar el libre acceso a los artículos de investigación y los datos; las discusiones con respecto a la estructura, la gestión y el proceso de revisión por pares son, quizás, aunque de forma más matizada equiparables en importancia a aquellas.

La revisión por pares es de enorme importancia para la gestión del contenido del registro científico publicado y para la evolución de las carreras académicas de los científicos que lo producen. Se percibe como el estándar de oro de la publicación académica, y para muchos determina si la investigación puede considerarse científicamente válida. En consecuencia, la revisión por pares es un componente vital en el núcleo del proceso de comunicación de la investigación, con repercusiones en la estructura misma de la ciencia, que opera en gran medida a través de un sistema de recompensas e incentivos basados ​​en la publicación.

A pesar de esta clara importancia de la revisión por pares, cada vez hay más pruebas de que los errores son cada vez más frecuentes en el proceso. Estos van desde errores de de mantenimiento simples basados ​​en las diferencias de opinión sobre el impacto percibido de la investigación o el rechazo de lo que hasta ahora era una de las piezas seminales de investigación, o cuando un trabajo fraudulento o incorrecto no poder ser detectado y pasa a formar parte del registro científico permanente. Los intentos para reproducir la forma en la revisión por pares demuestran que la revisión por pares generalmente es adecuada para la detección de un trabajo de calidad, pero a menudo no reconoce la investigación más impactante. Muchos consideran, además, el modelo tradicional de revisión por pares como innecesario, ya que causa retrasos en la publicación y comunicación de la investigación novedosa. Además, algunos consideran la tradicional revisión por pares como un proceso profundamente viciado que opera dentro de un sistema cerrado y opaco en el que es imposible rastrear la discusión y los cambios realizados en la investigación original a lo largo del proceso, así como el proceso de decisión que lleva a su publicación. Esto significa que la revisión por pares a menudo se ve como perjudicial para la investigación, proporcionando un mecanismo de cierre para proteger el status quo y suprimir la investigación que se considera radical o innovadora.

image description

El actual sistema de comunicación de la investigación y la evaluación

A la luz de esto, ha habido un creciente impulso hacia la «revisión por pares abierta ‘, con lo cual el proceso se hace más transparente a través de diversos medios. Un artículo publicado en el British Medical Journal afirmó que la revisión por pares es «lenta, cara, malgasta el tiempo académico, es altamente subjetiva, propensa al sesgo, inclinada al uso indebido en la detección de graves defectos, y casi inútil en la detección del fraude». A pesar de todos estos problemas potenciales la revisión por pares en su forma actual que se ha mantenido a lo largo del tiempo, y aún continuará teniendo una gran influencia en la investigación, si bien hay que decir estamos presenciando el comienzo de una transformación del modelo tradicional.

El modelo tradicional de revisión por pares se basa en un sistema de evaluación previa de la publicación. Se ha dicho que el «modelo puede haber llegado a su fin social con el cambio tecnológico», y ya hay un debate encendido en torno a los nuevos modelos de revisión por pares, apareciendo nuevas plataformas para adecuarlo a los nuevos modelos de la era digital.

image description

Un sistema de potencial futuro para la evaluación científica

Estas discusiones en torno a la revisión por pares en general se pueden clasificar en cuatro categorías principales:

1. La manera en que los árbitros reciben reconocimiento por su trabajo y, en caso afirmativo, en qué forma;
2. Debe considerar que estos informes se hagan de manera pública o cerrada;
3. Los pares deben permanecer en el anonimato o firmar sus informes;
4. la revisión por pares debe hacerse antes o después del proceso de publicación.

 

Ver además otros post relacionados