Archivo de la etiqueta: Evaluación

Más allá del acceso abierto: visiones para la evaluación abierta de trabajos científicos

26095684230_519d3d97d2_n_d

Kriegeskorte, N. and D. Deca (2012). [e-Book]  Beyond open access: visions for open evaluation of scientific papers by post-publication peer review, Frontiers, 2012.

Texto completo

Un sistema de publicación científica tiene que proporcionar dos servicios básicos: acceso y evaluación. El sistema de publicación tradicional restringe el acceso a los documentos, exigiendo el pago, y que restringe la evaluación de trabajos basándose en tan sólo 2-4 revisiones por pares y manteniendo en secreto las críticas. Como resultado, el sistema actual adolece de una falta de calidad y transparencia del proceso de evaluación de revisión por pares, y la indicación de la nueva calidad del documento es el prestigio de la revista apareció. El acceso abierto es ahora ampliamente aceptado como deseable y está lentamente comenzando a convertirse en una realidad. Sin embargo, el segundo elemento esencial, la evaluación, ha recibido menos atención. El planteamiento de una «evaluación abierta» como un proceso continuo posterior a la publicación de la revisión por pares promete hacer frente a los problemas del sistema actual. Sin embargo, no está claro cómo debe realizarse exactamente.

El sistema de evaluación dirige la atención de la comunidad científica y, por lo tanto, el curso mismo de la ciencia. Para mejor o peor, los documentos más visibles determinan la dirección de la financiación y las decisiones de la política científica. La evaluación, por lo tanto, está en el corazón de todo el esfuerzo de la ciencia. A medida que el número de publicaciones científicas aumenta, la evaluación y selección sólo ganarán importancia. Un gran desafío de nuestro tiempo, por lo tanto, es diseñar el futuro sistema, mediante el cual se evalúen los documentos y se decidir cuáles merecen una gran atención. Hasta ahora los científicos han dejado el diseño del proceso de evaluación en manos de las revistas y editoriales. Sin embargo, el mecanismo de gestión de la ciencia debe ser diseñado por los científicos.

Las ciencias cognitivas y computacionales están mejor preparados para asumir esta tarea, lo que implicará consideraciones sociales y psicológicas, diseño de software y modelización de la red de artículos científicos y sus interrelaciones. La investigación en este tema Frontiers in Neurociencia Computacional recoge las visiones de un futuro sistema de evaluación abierta. Debido a que abundan los elementos críticos sobre el sistema actual, estos trabajos se centrarán en ideas constructivas y diseños integrales para sistemas de evaluación abiertas. Las decisiones de diseño incluyen: ¿Deben los comentarios y valoraciones ser enteramente transparentes, o se deben mantener en secreto algunos aspectos? En caso de que otros datos, tales como descargas se incluirán en la evaluación? ¿Cómo puede la objetividad científica fortalecerse en el sistema futuro? ¿En casos el sistema debe incluir comentarios y valoraciones firmadas y autenticadas? ¿Al tratarse de un sistema de evaluación continua supondrá que los documentos se evalúen más profundamente? ¿Cómo podemos llevar la ciencia y la estadística para el proceso de evaluación? ¿Cómo debe presentarse la información de la evaluación de cada documento? (por ejemplo, las evaluaciones compartidas) ¿En casos los diferentes individuos y organizaciones serán capaces de definir sus propias fórmulas de evaluación (por ejemplo, clasificaciones de ponderación de acuerdo con diferentes criterios)? ¿Cómo podemos hacer una transición eficiente hacia el futuro sistema?

Monográfico: ALFIN: Evaluación y Calidad

 

26277360076_20c3e30688_o_d

Ver Monográfico

Alfabetización informacional. Calidad

Más monográficos

MONOGRÁFICOS SOBRE BYD

MONOGRÁFICOS SOBRE BYD

La alfabetización en información (ALFIN), que se define como la capacidad para localizar, evaluar y utilizar la información para crear nuevos conocimientos, es una habilidad nuclear de la vida adulta y una extensión de la noción de alfabetización funcional. Las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO) ha identificado la ALFIN como una capacidad esencial para la participación en la economía del conocimiento considerándola una prioridad estratégica, ya que estas habilidades informativas están presentes en todos los aspectos de la vida, como el trabajo, el aprendizaje permanente e incluso se le relaciona con el bienestar personal. Una de las claves de todo proceso formativo es la evaluación de los resultados del proceso de aprendizaje. Se trata de un proceso de mejora continua y de adaptación a las necesidades de los usuarios y de su entorno. Uno de los objetivos fundamentales de la evaluación es su relación con los estándares de alfabetización en información.

Por otra parte las expectativas de las agencias de acreditación académica han pasado de la medición de las entradas y salidas a la del impacto de la biblioteca en el aprendizaje y la demostración de la rendición de cuentas. La literatura reciente también tiene en cuenta los métodos para la realización de aspectos específicos de la evaluación de resultados. En cuanto a los métodos de enseñanza y evaluación de la alfabetización informacional, generalmente se basan en los enfoques constructivistas del aprendizaje, en los que el sujeto hace un aprendizaje significativo, que parte de sus conocimientos previos, y es activo, reflexivo e intencional en la realización de sus tareas. Por ello, se deben utilizar metodologías que favorezcan la implicación del sujeto en su proceso de aprendizaje, por medio de actividades prácticas de resolución de problemas teniendo que utilizar información, compartirla (trabajo colaborativo, grupos de discusión), y llegando a ser capaz de autoevaluar el proceso que ha seguido y sus resultados.

Un par de documento fundamentales sobre metodologías de evaluación son:

  • Blevens, C. L. «Catching up with information literacy assessment Resources for program evaluation.» College & Research Libraries News vol. 73, n. 4 (2012). pp. 202-206. http://crln.acrl.org/content/73/4/202 ya que además de la información sobre los recursos y herramientas, proporciona enlaces a instituciones, cuyas  herramientas de evaluación estaban disponibles en sus sitios web, incluyendo sitios web que ofrecen una variedad de formatos de herramientas de evaluación.

Distintivo AppSaludable de la Agencia de Calidad Sanitaria de Andalucía

 

appsaludable

La Agencia de Calidad Sanitaria de Andalucía otorga el Distintivo AppSaludable http://www.calidadappsalud.com/, que es el primer sello en español que reconoce la calidad y seguridad de las apps de salud. Es un distintivo gratuito y abierto a todas las aplicaciones de iniciativas públicas y privadas, tanto españolas como de cualquier otro país. Establece una serie de recomendaciones  que divide en 4 bloques:

 

  1. Diseño y pertinencia. En este bloque recoge recomendaciones relacionadas con aquellos aspectos de diseño que debe tener en cuenta una app de salud. Sus contenidos y servicios deben estar orientados para que puedan ser usados de forma eficiente, efectiva y satisfactoria por el mayor número de personas, sin necesidad de que estas tengan que recurrir a adaptaciones especiales. Para ello, la app de salud debería basarse en principios de Diseño Universal, sus contenidos y servicios someterse a un testeo por usuarios potenciales y, una vez desarrollada, definir de forma clara a quién va destinada, su finalidad y objetivos.

 

  1. Calidad y seguridad de la información. Estas recomendaciones están orientadas a reforzar la credibilidad de los contenidos de la app, al informar sobre quiénes son sus responsables, las fuentes de información en las que se basa, sus fuentes de financiación, así como la existencia de posibles conflictos de intereses.

 

  1. Prestación de servicios. Este bloque se compone de recomendaciones sobre los servicios proporcionados por la app de salud: guías de manejo que permitan entender la aplicación, mecanismos de contacto para posibles consultas y aspectos relacionados con el comercio electrónico y el uso eficiente del ancho de banda para descargas o la publicidad.

 

  1. Confidencialidad y privacidad. Las recomendaciones de este bloque tratan de abordar las garantías exigibles a la app de salud en materia de protección de datos, habida cuenta del carácter especialmente protegido de la información sobre salud, así como los mecanismos de seguridad que implementa una app para garantizar la privacidad y confidencialidad de la información.

 

También dispone de un catálogo con todas las aplicaciones móviles de salud a las que se ha otorgado el distintivo “App con distintivo Saludable” que también incluye aplicaciones en proceso de evaluación.

25636049504_378e881e65_b_d

El Centro de Excelencia Modelo de Servicios de Información

5db10bde-b132-42a3-9272-921f9e87b3bd

Kirchner, J., J. Diaz, et al. (eds). [e-Book] The Center of Excellence Model for Information Services Washington, Council on Library and Information Resources, 2015.

Texto completo

En 2013, la Fundación Andrew W. Mellon otorgó a un grupo de bibliotecarios del programa de Becas de Liderazgo de Bibliotecas de Investigación de ARL una subvención de planificación para examinar el modelo de centro de excelencia (CoE) para servicios de información. Este informe describe el enfoque del equipo para examinar la factibilidad de los CdE en el entorno de la biblioteca. La subvención de planificación se concedió para determinar si el modelo de CoE podría servir como un medio para proporcionar los nuevos servicios necesarios para el uso eficaz de la información digital. El equipo llevó a cabo investigaciones preliminares de más de 100 centros, que se redujo a 35 para la investigación en profundidad. Se realizaron entrevistas con personal de 19 centros y 7 organizaciones financiadoras. En su conclusión, el equipo asesora el desarrollo de «redes de expertos» y proporciona una serie de recomendaciones para la construcción de dichas redes.

Altmetrics : definiciones y casos de uso

26142032296_2f89b56cd3_n_d

NISO Altmetrics Definitions and Use Cases. NISO, 2016

Texto completo

La Organización Nacional de Normas de Información (NISO) necesita comentarios sobre el proyectoAltmetrics Definitions and Use Cases. , NISO RP-25-201X-1. Un documento de la iniciativa altmetrics NISO, un proyecto de dos fases con el objetivo de hacer frente a las limitaciones y deficiencias que pueden dificultar la adopción de altmetrics, una expansión de las herramientas disponibles para medir el impacto de la investigación académica en el entorno social de conocimiento.

Las definiciones y casos de uso de documentos es un texto corto, pero es un buen reflejo de las muchas discusiones del grupo de trabajo celebradas para revisar y discutir a fondo las definiciones de las diversas fuentes de información en materia altmetrics. También incluye una declaración sobre el papel que juega la métrica de evaluación alternativa de la investigación, para ayudar a contextualizar el documento en su contexto y asesorar sobre posibles aplicaciones de altmetrics.

Los casos de uso para altmetrics fueron aportados por las diferentes partes interesadas en el ecosistema de la investigación. El documento de NISO significa poner de relieve las diferentes formas en que los grupos de interés recogen, elaboran y consumen altmetrics, y que explican y contextualizan en común necesidades, objetivos y usos de las partes interesadas.

La producción de de este documento esta relacionada con los desarrollos de los otros dos grupos de trabajo de manera que la definición de los términos utilizados permite que diferentes partes interesadas en este espacio se puedan entender cuando están hablando de lo mismo. Además, el desarrollo de casos de uso y su relación con grupos de interés aclara los requisitos y las prioridades para el desarrollo.

El proyecto de la Práctica Recomendada está abierto para comentarios del público hasta el 20 de abril de 2016. Para descargar el borrador o presentar comentarios en línea, visite la página web de la Iniciativa altmetrics NISO en http://www.niso.org/topics/tl/altmetrics_initiative/

¿Los tweets pueden predecir las citas? Métricas de impacto social basado en Twitter y correlación con los parámetros tradicionales de impacto científico.

likes-shares-tweets-the-growing-role-of-social-media-in-biomedical-literature-17-638

Texto completo

Comúnmente se acepta que las citas y el factor de impacto de los artículos revisados por pares son aceptados como medidas de impacto científico. Las herramientas Web 2.0 como Twitter, blogs o herramientas de marcadores sociales ofrecen la posibilidad de construir métricas innovadoras a nivel de artículo para medir el impacto y la influencia. Lo que se ha denominados métricas alternativas o altmetrics.

El artículo estudia la viabilidad de la medición del impacto social y la atención del público sobre los artículos académicos mediante el análisis del impacto en los medios sociales, para ellos explora la dinámica, el contenido y la sincronización de los tweets en relación con la publicación y explora si estas métricas son lo suficientemente sensibles y específicas para predecir cuales serán aquellos artículos muy citados.

MÉTODOS:

Entre julio de 2008 y noviembre de 2011, se extrajeron todos los tweets que contienían enlaces a artículos en la revista Journal of Medical Internet Research (JMIR). Para un subconjunto de 1.573 tweets sobre 55 artículos publicados con diferentes métricas de impacto social, que posteriormente se calcularon y compararon con datos de las citas que recibieron en Scopus y Google Académico durante los 17 a 29 meses posteriores. Para ello se validó una heurística para predecir los artículos más citados en cada tema a través de métricas.

RESULTADOS:

Un total de 4208 tweets de 286 artículos citados de JMIR se compararon con los tweets recibidos los primeros 30 días después de la publicación, la mayoría de los tweets realizados en el día en que se publicó un artículo (1458/3318, 43,94% de todos los tweets en una período de 60 días) o el día siguiente (528/3318, 15,9%), seguido de una rápida descomposición. Las correlaciones de Pearson entre tweets y citas tuvieron una moderación  estadísticamente significativa, con coeficientes de correlación que van desde 0,42 hasta 0,72 para las citas de Google Académico, pero esta relación no fue tan precisa para las citas de Scopus y correlaciones de rangos. Aquellos artículos altamente twitteados fueron 11 veces más propensos a ser citados que los artículos menos twitteados 

CONCLUSIONES:

Los tweets recibidos puede predecir aquellos artículos que son más altamente citados dentro de los 3 primeros días de la publicación del artículo. la actividad de los medios sociales o bien aumenta las citas o refleja las cualidades subyacentes del artículo para predecir futuras citas, pero el verdadero uso de estos indicadores es medir un concepto distinto de impacto social. Se proponen medidas de impacto social, sobre la base de tweets para complementar las estadísticas de citas tradicionales. El factor twimpact propuesto puede ser una métrica útil y oportuna para evaluar la absorción de los resultados de la investigación y para filtrar resultados de la investigación en tiempo real.

Los avances en la revisión por pares

upvoye-620x342

Los avances en la revisión por pares

ScienceOpen 1 de febrero de, el año 2016 Autor: Jon Tennant

Ver original

No es demasiado difícil percibir que las prácticas y actitudes en relación con lo que se ha denominado “ciencia abierta” están evolucionando, lo que a su vez conlleva que el sistema de evaluación científica se equipare a estas nuevas prácticas. Aunque estamos más familiarizados con el debate sobre la mejor manera de aplicar el libre acceso a los artículos de investigación y los datos; las discusiones con respecto a la estructura, la gestión y el proceso de revisión por pares son, quizás, aunque de forma más matizada equiparables en importancia a aquellas.

La revisión por pares es de enorme importancia para la gestión del contenido del registro científico publicado y para la evolución de las carreras académicas de los científicos que lo producen. Se percibe como el estándar de oro de la publicación académica, y para muchos determina si la investigación puede considerarse científicamente válida. En consecuencia, la revisión por pares es un componente vital en el núcleo del proceso de comunicación de la investigación, con repercusiones en la estructura misma de la ciencia, que opera en gran medida a través de un sistema de recompensas e incentivos basados ​​en la publicación.

A pesar de esta clara importancia de la revisión por pares, cada vez hay más pruebas de que los errores son cada vez más frecuentes en el proceso. Estos van desde errores de de mantenimiento simples basados ​​en las diferencias de opinión sobre el impacto percibido de la investigación o el rechazo de lo que hasta ahora era una de las piezas seminales de investigación, o cuando un trabajo fraudulento o incorrecto no poder ser detectado y pasa a formar parte del registro científico permanente. Los intentos para reproducir la forma en la revisión por pares demuestran que la revisión por pares generalmente es adecuada para la detección de un trabajo de calidad, pero a menudo no reconoce la investigación más impactante. Muchos consideran, además, el modelo tradicional de revisión por pares como innecesario, ya que causa retrasos en la publicación y comunicación de la investigación novedosa. Además, algunos consideran la tradicional revisión por pares como un proceso profundamente viciado que opera dentro de un sistema cerrado y opaco en el que es imposible rastrear la discusión y los cambios realizados en la investigación original a lo largo del proceso, así como el proceso de decisión que lleva a su publicación. Esto significa que la revisión por pares a menudo se ve como perjudicial para la investigación, proporcionando un mecanismo de cierre para proteger el status quo y suprimir la investigación que se considera radical o innovadora.

image description

El actual sistema de comunicación de la investigación y la evaluación

A la luz de esto, ha habido un creciente impulso hacia la «revisión por pares abierta ‘, con lo cual el proceso se hace más transparente a través de diversos medios. Un artículo publicado en el British Medical Journal afirmó que la revisión por pares es «lenta, cara, malgasta el tiempo académico, es altamente subjetiva, propensa al sesgo, inclinada al uso indebido en la detección de graves defectos, y casi inútil en la detección del fraude». A pesar de todos estos problemas potenciales la revisión por pares en su forma actual que se ha mantenido a lo largo del tiempo, y aún continuará teniendo una gran influencia en la investigación, si bien hay que decir estamos presenciando el comienzo de una transformación del modelo tradicional.

El modelo tradicional de revisión por pares se basa en un sistema de evaluación previa de la publicación. Se ha dicho que el «modelo puede haber llegado a su fin social con el cambio tecnológico», y ya hay un debate encendido en torno a los nuevos modelos de revisión por pares, apareciendo nuevas plataformas para adecuarlo a los nuevos modelos de la era digital.

image description

Un sistema de potencial futuro para la evaluación científica

Estas discusiones en torno a la revisión por pares en general se pueden clasificar en cuatro categorías principales:

1. La manera en que los árbitros reciben reconocimiento por su trabajo y, en caso afirmativo, en qué forma;
2. Debe considerar que estos informes se hagan de manera pública o cerrada;
3. Los pares deben permanecer en el anonimato o firmar sus informes;
4. la revisión por pares debe hacerse antes o después del proceso de publicación.

 

Ver además otros post relacionados

 

 

Monográfico: Impacto y Evaluación de los repositorios OA

Acceso abierto. Impacto

Más MONOGRÁFICOS SOBRE BYD

Los repositorios juegan ya un papel importante en la comunicación científica, debido principalmente al creciente éxito de las iniciativas open access como el Ranking Web de repositorios que, utilizando técnicas cibermétricas, clasifica los repositorios académicos institucionales y temáticos más importantes.

También se han desarrollado indicadores cuantitativos que permitan describir sus contenidos y evaluar su uso e impacto. Existen estudios relevantes y directorios sobre la situación de los repositorios institucionales basados en su identificación/censo y en recoger las características que los definen (básicamente: software, disciplina y tipo y cantidad de documentos).

Existen otros trabajos en este ámbito que tienen como objetivo documentar la proliferación de alternativas al factor de impacto que han surgido en los últimos cinco años, coincidiendo con el aumento de la prominencia de la publicación de acceso abierto, y si esta tiene una incidencia sobre el impacto de las publicación en la comunicación científica. Entre los retos que tienen planteados los repositorios institucionales está el demostrar y cuantificar con datos objetivos que los trabajos disponibles en abierto se citan y se utilizan más que el resto. Algunos repositorios están incluyendo análisis del uso de sus documentos. También existen proyectos a nivel internacional dedicados a la elaboración de índices de citas. De momento estas iniciativas son aisladas. Para obtener una evaluación precisa será necesario integrar los resultados procedentes de distintas instituciones y disciplinas tendentes a obtener indicadores globales que permitan la comparación entre autores, instituciones, etc

En este monográfico de InfoDoc recogemos las publicaciones más relevantes que han tratado este tema.

El libro blanco de la revisión por pares

 

peer-review-in-2015

Peer review in 2015: a global view: Taking peer review’s pulse with today’s researchers, 2015. [e-Book] London, Taylor & Francis Group, 2015

Texto completo

Suplemento

.

El libro blanco, “La revisión por pares en 2015: Una visión global” fue publicado el pasado viernes por Taylor & Francis. En él, los lectores encontrarán un resumen de una encuesta en línea a seis grupos de enfoque. El documento va acompañado de un suplemento que recoge las preguntas formuladas en la encuesta y sus resultados. El libro aborda algunas de las cuestiones esenciales que nos estamos planteando hoy en día en torno a la revisión científica ¿Cual piensan los investigadores de hoy en día qué es el propósito de la revisión por pares, y cuáles son sus expectativas actuales? ¿Que importancia tienen las cuestiones éticas en la revisión por pares? ¿Cómo es el proceso de revisar un documento? ¿Qué validez tiene o sigue teniendo este proceso? Sin dudas se trata de uno de los estudios de investigación más serios sobre la revisión por pares en los últimos años.

A hombros de gigantes: El creciente impacto de los artículos más antiguos

 

[]

Verstak, A., A. Acharya, et al. “On the Shoulders of Giants: The Growing Impact of Older Articles.” arXiv:1411.0275 [cs] vol., n. (2014).

Texto completo

A hombros de gigantes: El creciente impacto de los artículos más antiguos

 

En este trabajo se analiza la evolución del impacto de los artículos más antiguos. Se intenta responder a cuatro preguntas.

1. Con qué frecuencia se citan los artículos más antiguos, y cómo ha cambiado su citación a lo largo del tiempo

2. Como varía el impacto de los artículos  más antiguos en diferentes campos de investigación.

3. Si el cambio en el impacto de los artículos más antiguos se acelera o frena con el tiempo.

4. Cuales son las diferentes tendencias  de cita de los artículos más antiguos.

Para responder a estas preguntas, se estudiaron las citas de artículos publicados entre 1990 y 2013. Y se calculó la fracción de citas recibidas por los artículos más antiguos publicados cada año. Por ello se consideraron los artículos que se publicaron al menos 10 años antes de que el artículo fuera citando como antiguo. La muestra recoge 261 categorías temáticas y 9 áreas de investigación. Por último, se repitió el cálculo para otras dos categorías de artículos, aquellos con 15 años y 20 años de antigüedad.

Se extraen tres conclusiones del estudio:

En primer lugar, el impacto de los artículos más antiguos ha crecido sustancialmente entre 1990 y 2013. En 2013, el 36% de las citas fueron de artículos que tenían al menos 10 años de edad; esta categoría creció un 28% desde 1990. La proporción de citas de artículos de más edad aumentó durante 1990 a 2013 para 7 de los 9 grandes áreas de conocimiento y para 231 de las 261 categorías temáticas.

En segundo lugar, el incremento de citas en la segunda mitad (2002-2013) fue el doble del acaecido en el primer periodo (1990-2001).

En tercer lugar, la tendencia a un impacto cada vez mayor de los artículos más antiguos también es válida para los artículos aún más antiguos. En 2013, el 21% de las citas fueron a artículos de 15 años o más, con un aumento del 30% desde 1990, y el 13% de las citas fueron a artículos de 20 años o más, con un aumento del 36%.