Archivo de la etiqueta: Evaluación

Perfiles de citas de Google Scholar: lo bueno, lo malo y lo mejor

gsharzing

Google Scholar Citation Profiles: the good, the bad, and the better

Ver original

Desde 2012 Google Scholar ofrece a los académicos la oportunidad de crear su propio perfil, algo que realmente te recomendaría que hicieras. Configurar un perfil de citación de Google Scholar es fácil y muy rápido. Un Perfil GS es su tarjeta de presentación académica, es la forma más rápida y fácil para que otros académicos puedan ver todas sus publicaciones de un vistazo. Si tienes un nombre común, también es la única manera segura de desambiguar tu registro de publicación del de sus homónimos.

Lo bueno: una gran solución para las citas «perdidas»

La creación de un perfil GS es también una gran solución para uno de los mayores problemas en el análisis de citas: la presencia de citas «perdidas». Las citas extraviadas no son lo mismo que múltiples versiones web idénticas de un mismo documento; Google Scholar normalmente agrega las que se encuentran en un registro maestro. Lo que quiero decir con «citas perdidas» son registros que no han sido agregados bajo su registro maestro. Estas segundas (y a veces terceras y posteriores) versiones del registro típicamente sólo tienen un pequeño número de citas cada una y son generalmente el resultado de la mala ortografía del nombre de un autor, el título de la publicación o de la revista. También pueden ser causados por errores de análisis de Google Scholar. Para más detalles sobre esto, por favor vea: Google Scholar: Stray citations.

Las citas «extraviadas» tienden a ser particularmente comunes para las publicaciones «no tradicionales», tales como software, libros, capítulos de libros y documentos de conferencias, ya que generalmente no existe una forma estandarizada de hacer referencia a ellas. Por lo tanto, es mucho más difícil para Google Scholar averiguar si se refieren a la misma publicación. Por ejemplo, aunque Google Scholar hace un trabajo mucho mejor que la Web of Science en cuanto a referencias a mi programa de software Publish o Perish, todavía hay muchas citas perdidas, que – en mi perfil de GS – todas las he fusionado en el registro maestro. Cualquier registro en su perfil de GS que contenga citas fusionadas se muestra con un * detrás de las citas. Puedes fusionar registros iniciando sesión en su perfil, marcando la casilla situada frente a los registros que deseas fusionar y haciendo clic en fusionar.

No, esto no significa que Google Scholar sea malo.

Es importante señalar que los registros de citas perdidas no son exclusivos de Google Scholar. Por ejemplo, también prevalecen en Web of Science si se utiliza la función de búsqueda «Cited Reference»[que incluye referencias a libros y revistas no listadas en ISI] en lugar de la función de búsqueda general. Necesitamos enviar un informe de cambio de datos a Clarivate casi todas las semanas para pedirles que fusionen mis citas perdidas en sus registros maestros relevantes. Ver también: Web of Science: How to be robbed of 10 years of citations in one week! and Bank error in your favour? How to gain 3,000 citations in a week.

Uno de los académicos más citados en el campo de la gestión – Geert Hofstede – ha publicado un libro titulado  «Cultures Consequence«. Este libro se publicó por primera vez en 1980, con una segunda edición revisada en 2001. Estas dos versiones tienen, respectivamente, más de 12.000 y más de 9.000 citas bajo el título «Cultures Consequence«. Sin embargo, también hay cientos de registros adicionales de citas perdidas en la búsqueda de «Cited Reference» de ISI, todos ellos referidos a los mismos dos libros. Muchas de las entradas extraviadas en ISI son simples errores ortográficos del título. En la mayoría de estos casos, las referencias eran correctas en los trabajos de referencia y los errores de ortografía parecen haber sido cometidos por el personal de que introduce datos de ISI.

Lo malo: perfiles muy contaminados (pero se puede evitar fácilmente)

Como eres tú (no Google Scholar) quien está creando este perfil, eres tú quien necesita mantenerlo y mantenerlo actualizado. Esto no es responsabilidad de Google Scholar. Sin embargo, muchos investigadores sólo tardan unos minutos en crear su perfil, no miran ninguna de las opciones y por lo tanto no se dan cuenta de que la opción por defecto es añadir nuevos artículos automáticamente. Esto no es del todo sorprendente, ya que Google Scholar no hace que sea muy obvio cómo hacerlo. Pero en realidad es muy fácil. Simplemente ingresasa a tu perfil y haz clic en la pequeña cruz blanca sobre un cuadradito negro que se ve en la barra de título.

Haz clic en «Configurar actualizaciones del artículo». Luego, en la página siguiente, haz clic en la segunda opción. No «actives»  la opción «Recomendada» de Google Scholar. Como es común en este tipo de servicios, las opciones recomendadas son para personas perezosas y olvidadizas. Podrías pensar que te ahorrará tiempo, ya que no tienes que confirmar las actualizaciones cada vez, sino ser realista: ¿cuántos artículos publicas al año? La mayoría de nosotros no publicamos tanto como para que tener que iniciar sesión, después de un mensaje de correo electrónico con un enlace, para aprobar adiciones legítimas se convierta en una carga. Se tarda 30 segundos. También es una gran oportunidad para corregir o complementar manualmente cualquier cosa que GS haya hecho mal editando el registro en cuestión.

Esencial para aquellos con nombres comunes

Si tienes un nombre común, poner tus actualizaciones en manual no es opcional, ¡es esencial!

Pero incluso si tu nombre es único  es posible que desees mantener el control de calidad en tus propias manos. Si por ejemplo encuentro  tres publicaciones que GS cree que deberían estar en mi perfil. Los dos primeros no lo son. La tercera parece estar confundiendo dos artículos dek mismo número de Scientometrics. ¿Ninguna de ellas diria mucho de tu credibilidad como investigador académico?

Esto no significa que Google Scholar sea una basura. (2)

Sin embargo, ten en cuenta que esto no significa que los datos de Google Scholar sean malos y que deben evitarse a toda costa (véase también Sacrifice a little accuracy for a lot more comprehensive coverage). Ninguna de las tres «publicaciones» tiene citas y en el curso normal de los acontecimientos todo el mundo las ignoraría de todos modos. ¿Pero por qué contaminar tu perfil con ellos?

Una vez más, no pienses que los perfiles muy contaminados son exclusivos de Google Scholar. Los errores de desambiguación de autor también existen en Web of Knowledge Essential Science Indicators. Basta con mirar a los 10 autores más citados según la Web of Knowledge: todos se llaman Zhang, Wang, Li o Liu y de promedio publican 12 artículos al día, 365 días al año. ¿Has oído hablar de la expresión china? «¿»Tres Zhang (o/y) Cuatro Li»? Significa «cualquiera» o «todos».

Lo mejor: Perfiles de GS y Publicar o Perecer

Desde la versión 5, mi software gratuito de análisis de citas Publish or Perish permite realizar búsquedas en Google Scholar Profile. Por lo tanto, cualquier trabajo que pongas en tu perfil de Google Scholar merece la pena, ya que podrás mostrar tu perfil completo en una lista ordenada en Publicar o Perecer y ordenarlo de la forma que desees. Esto es más difícil en la interfaz web, que sólo permite ordenar por título y año y por defecto sólo te proporciona 10 resultados por página. También obtendrás una gran cantidad de métricas de citación basadas en un perfil preciso y completo.

Desde la versión 6, el uso de Publish or Perish también te permite buscar palabras clave e instituciones, lo que hace que sea muy fácil obtener una visión general de los investigadores más citados en un campo o institución en particular. Esto puede ser particularmente útil cuando se buscan colaboradores, revisores, conferencistas, etc. Sin embargo, ten en cuenta que los campos de Google Scholar se seleccionan a sí mismos y no están estandarizados. Por ejemplo, para una de mis propias áreas de especialización, he visto utilizar cuatro variantes de etiquetas diferentes: «HRM Internacional», «IHRM», «International Human Resource Management» y «International HR»

Post relacionados

Anne-Wil Harzing es profesora de Gestión Internacional en la Universidad de Middlesex, Londres, y profesora invitada de Gestión Internacional en la Universidad de Tilburg. Además de sus deberes académicos, también mantiene la lista de calidad de revistas y es la fuerza impulsora detrás del popular programa de software Publish or Perish.

Dialnet Métricas: nuevo portal orientado a los procesos de evaluación científica

 

44244245920_c67940e10c_o_d

Dialnet Métricas

Una iniciativa de Fundación Dialnet de la Universidad de la Rioja y el Grupo EC3 de la Universidad de Granada para desarrollar un índice de impacto de las revistas españolas de las diversas disciplinas de Ciencias Sociales y Humanidades. El portal aún está en beta. Ya puede verse un ejemplo de las revistas de Educación. Y posteriormente estarán disponibles las de Documentación y Ciencias del deporte.

Dialnet Métricas es un portal que, basándose en el análisis de las referencias bibliográficas citadas en las publicaciones existentes en Dialnet, ofrece un conjunto de indicadores para ayudar a identificar la relevancia de la producción científica.

El núcleo principal es un índice bibliométrico que analiza el impacto de las revistas de las diversas disciplinas de Ciencias Sociales y Humanidades, pero se incluyen también indicadores de cada una de las publicaciones, de los investigadores y de las instituciones a las que éstos pertenecen.

Es el resultado de un proyecto que surgió gracias a la iniciativa de Andoni Calderón, director de la biblioteca de la Complutense, con el objetivo de dar continuidad a In-Recx. Se trata de recuperar el espíritu de aquel proyecto, y presentar además otros servicios y otros indicadores de valor añadido, que esperamos sean de vuestro agrado.

Actividades de extensión y compromiso de las bibliotecas universitarias

2018-03-04-kaust-library-outreach-lecture-251

LeMire, Sarah; Graves, Stephanie J.; Farrell, Shannon L.; Mastel, Kristen L. SPEC Kit 361: Outreach and Engagement (November 2018) Washington DC : Association of Research Libraries, 2018

 

Texto completo

 

Este kit SPEC recoge una instantánea de cómo las bibliotecas miembros de la ARL están definiendo sus programas de extensión y participación, cómo están asignando y estructurando responsabilidades, y midiendo el éxito y el impacto de sus esfuerzos.

La encuesta recopiló información sobre los tipos de actividades, las poblaciones a las que se atiende, los niveles de financiación y el apoyo del personal para estas actividades, la planificación de programas, las colaboraciones y asociaciones estratégicas, y las medidas de evaluación y las prácticas de presentación de informes. Además, se pidió a los encuestados que proporcionaran un breve estudio de caso para una actividad de extensión o compromiso en su organización. Incluye ejemplos de declaraciones sobre la misión y metas, programas y servicios, documentos de planificación de eventos, informes de resultados y descripciones de puestos de trabajo.

Lineamientos e indicadores para las bibliotecas académicas innovadoras

45777626111_5d725fdafb_b_d

Romero Bracho, Carmen, Navarro Lisowska, Bernadetta. Durán Garzón, Inírida. «Lineamientos e indicadores para las bibliotecas académicas innovadoras» Bogotá: Red Universitaria Metropolitana de Bogotá -RUMBO, 2018

Texto completo

Las bibliotecas académicas están enfrentando nuevos desafíos, los cuales se han visto influenciados especialmente por los cambios en los modelos de aprendizaje, la comunicación científica y las TIC, así como por los comportamientos y las necesidades de sus usuarios. Por ello, deben estar abiertas a crear modelos flexibles y adaptables a nuevos entornos educativos con un alto componente de innovación y creatividad. Sin embargo, éstas deben reconocerse dentro de las estructuras universitarias como verdaderos centros de recursos para el aprendizaje y la investigación que aportan a la permanencia estudiantil, a la disminución de la deserción, a la visibilidad institucional y al fortalecimiento de otras funciones sustantivas. Desde el contexto de la negociación, es importante tomar acciones estratégicas que promuevan iniciativas colectivas y mejores resultados frente al gran crecimiento de la industria editorial. Finalmente, los comportamientos de los usuarios del siglo XXI llevan a la necesidad de vigilar tendencias que permitan dar respuestas a corto o mediano plazo, como las citadas en los principales informes internacionales.

Uso de ORCID, DOI y otros identificadores abiertos en la evaluación de investigación

frma-03-00028-g001

Haak LL, Meadows A and Brown J (2018) Using ORCID, DOI, and Other Open Identifiers in Research EvaluationFront. Res. Metr. Anal. 3:28. doi: 10.3389/frma.2018.00028

Texto completo

 

En este trabajo, se discute el uso de identificadores persistentes en la evaluación de la investigación – para los individuos, sus contribuciones y las organizaciones que los patrocinan y financian su trabajo. Los sistemas de identificación global se encuentran en una posición única para compilar los datos de todas  las interacciones,  movilidad y colaboración global que se produce en torno a un documento de investigación. Al aprovechar las conexiones entre las infraestructuras locales y los recursos de información globales, los evaluadores pueden mapear las fuentes de datos que antes no estaban disponibles o que requerían de una mano de obra que podría ser prohibitiva.

Se consideran identificadores persistentes aquellos sistemas normalizados tales como ORCID iDs y DOIs, que están siendo incorporados en los flujos de trabajo de investigación a través de la ciencia, la tecnología, la ingeniería, las artes y las matemáticas; cómo esto está afectando la disponibilidad de datos para propósitos de evaluación; y proporcionamos ejemplos de evaluaciones que están aprovechando los identificadores. También se discute la importancia de la procedencia y la preservación para establecer la confianza en la fiabilidad y confiabilidad de los datos y las relaciones, y en la disponibilidad a largo plazo de los metadatos que describen los objetos y sus interrelaciones. Se concluye  con una discusión sobre las oportunidades y riesgos del uso de identificadores en los procesos de evaluación.

Ranking de los científicos en España (2018): del 1 al 5000.

 

univer20candara20bold

http://www.webometrics.info/en

 

Undécima edición: Ranking de investigadores españoles que trabajan en instituciones españolas (España) según sus perfiles públicos de Google Scholar Citations.

 

Ranking de investigadores españoles y extranjeros trabajando en España: 
60.000 perfiles públicos http://www.webometrics.info/en/GoogleScholar/Spain

Transparent Rankings de Repositorios de Acceso Abierto

Todos los Repositorios http://repositories.webometrics.info/en/transparent

Repositorios Institucionales http://repositories.webometrics.info/en/node/32

Portales de Revistas http://repositories.webometrics.info/en/node/33

CRIS / PURE http://repositories.webometrics.info/en/node/34

 

 

La ventaja de la cita del acceso abierto: ¿existe y qué significa para las bibliotecas?

oa_verbeeldingskr8-1

Lewis, C. L. «The Open Access Citation Advantage: Does It Exist And What Does It Mean For Libraries?» Information Technology and Libraries (ITAL) vol. 37, n. 3 (2018).

Texto completo

La última revisión bibliográfica de la investigación sobre las ventajas de citación de los documentos en acceso abierto – Open Access Citation Advantage (OACA)– fue publicada en 2011 por Philip M. Davis y William H. Walters. Este artículo reexamina las conclusiones a las que llegaron Davis y Walters al proporcionar una revisión crítica de la literatura de la OACA que se ha publicado en 2011, y explora cómo los aumentos en las tendencias de publicación deOA podrían servir como una herramienta de apoyo para las bibliotecas frente a los altos costos de las suscripciones a revistas.

La evaluación de las Humanidades y de las Ciencias Sociales en revisión

mona-lisa-final-760x755

Giménez Toledo, E. and E. G. Toledo «La evaluación de las Humanidades y de las Ciencias Sociales en revisión.» Revista española de Documentación Científica vol. 41, n. 3 (2018). pp. e208. http://redc.revistas.csic.es/index.php/redc/article/view/1012

Texto completo

La evaluación de las Humanidades y las Ciencias Sociales ha resultado siempre controvertida. En este artículo se revisan los cambios que se están produciendo en las metodologías y enfoques de la evaluación, así como las líneas de trabajo que están marcando estos procesos de evaluación en Europa. Las claves de la evaluación científica en la actualidad pueden resumirse en: 1. Utilización de datos completos sobre producción científica y desarrollo de fuentes de indicadores para revistas y libros académicos, al margen de las bases de datos comerciales; 2. Evaluación más cualitativa y/o con enfoques bottom up; 3. El acceso abierto y su implicación en la evaluación científica; 4. Métricas alternativas y citas abiertas; 5. Métricas responsables; 6. Impacto social de la investigación.

Pruebas externas de la validez de la revisión por pares mediante medidas de impacto.

 

istock-148441660-credit-retrorocket-1200-x-600

Gallo, S. A. and S. R. Glisson «External Tests of Peer Review Validity Via Impact Measures.» Frontiers in Research Metrics and Analytics vol. 3, n. 22 (2018). pp.: https://www.frontiersin.org/article/10.3389/frma.2018.00022

 

La revisión por pares se utiliza comúnmente en la ciencia como una herramienta para evaluar el mérito y el impacto potencial de los proyectos de investigación y hacer recomendaciones de financiación de la investigación. Si bien es probable que el impacto potencial sea difícil de evaluar con anterioridad, ha habido relativamente pocos intentos de obtener una idea de la exactitud predictiva de las decisiones de revisión utilizando medidas de impacto de los resultados de los proyectos finalizados.

Aunque existen muchos resultados, y por lo tanto medidas potenciales de impacto, para los proyectos de investigación, la gran mayoría de la evaluación de los resultados de la investigación se centra en la bibliometría. En el artículo se revisan los múltiples tipos de medidas de impacto potencial con interés en su aplicación para validar las decisiones de revisión. Se presenta una revisión de la literatura actual sobre la validación de las decisiones de revisión por pares con medidas de impacto de los resultados de la investigación; sólo se identificaron 48 estudios, aproximadamente la mitad de los cuales son de EE.UU. y el tamaño de la muestra por estudio varia enormemente. El 69% de los estudios utilizaron la bibliometría como resultado de la investigación. Mientras que el 52% de los estudios emplearon medidas alternativas (como patentes y licencias de tecnología, revisión por pares después del proyecto, colaboración internacional, éxito de la financiación en el futuro, obtención de puestos de trabajo y satisfacción profesional), sólo el 25% de todos los proyectos utilizaron más de una medida de los resultados de la investigación.

En general, el 91% de los estudios con controles no financiados y el 71% de los estudios sin dichos controles proporcionaron evidencia de al menos algún nivel de validez predictiva de las decisiones de revisión. Sin embargo, varios estudios informaron que también observaron errores considerables de tipo I y II. Además, muchos de los efectos de observación fueron pequeños y varios estudios sugieren un poder de discriminación grosero, capaz de separar las propuestas pobres de las mejores, pero no la discriminación entre las propuestas o solicitantes de nivel superior.

Se necesita más investigación, particularmente en la integración de múltiples tipos de indicadores de impacto en estas pruebas de validez, así como en la consideración del contexto de los resultados de la investigación en relación con los objetivos del programa de investigación y las preocupaciones de reproducibilidad, traducibilidad y sesgo de publicación. Paralelamente, se necesita más investigación centrada en la validez interna de los procedimientos de toma de decisiones de revisión y el sesgo de los revisores.

Alianza entre Elsevier e Impactstory para hacer que los artículos de acceso abierto sean más fáciles de encontrar en Scopus

41952188960_0c72be1456_b_d

 

El acuerdo permitirá a Elsevier integrar datos de OA a nivel de documento de la base de datos Unpaywall de Impactstory con contenido Scopus; la identificación y etiquetado de los artículos de OA de Scopus revisados por pares comenzará en agosto y se extenderá hasta noviembre de 2018.

El acuerdo entre Elsevier e Impactstory, una organización sin fines cuyo objetivo es desarrollar herramientas en línea para hacer la ciencia más abierta y reutilizable, los investigadores pronto podrán encontrar contenido de acceso abierto en Scopusmore de manera eficiente. Además, para los observatorios de investigación universitaria, la expansión de contenidos identificados con OA en Scopus permitirá mejorar el análisis estratégico y de benchmarking.

Jason Priem, cofundador de Impactstory. afirmo que «El movimiento de acceso abierto ha hecho un gran trabajo al hacer que el contenido este en abierto, pero no siempre ha hecho posible que este contenido abierto sea fácil de encontrar» y continuó diciendo que  «Al asociarnos con Elsevier, podemos hacer que el contenido de OA salga a la luz donde pueda ser utilizado». Un paso clave hacia un ecosistema de comunicación científica más poderoso y abierto universalmente».

La otra cofundadora de Impactstory, la Dra. Heather Piwowar, añadió: «Nuestro objetivo es aumentar el impacto del acceso abierto haciéndolo fácil de descubrir. Al integrar la base de datos Unpaywall en la plataforma Scopus, ampliamente utilizada, estamos inyectando una dosis masiva de datos acceso abierto en los flujos de trabajo de millones de nuevos investigadores en todo el mundo».

Actualmente, los usuarios de Scopus pueden filtrar los resultados de las búsquedas para enlazar con artículos de acceso abierto publicados en revistas que son sólo OA y que el editor ha registrado proactivamente como OA a través de Crossref. Con el nuevo acuerdo, la concordancia de documentos OA de la base de datos Unpaywall de Impactstory con contenido en Scopus aumentará la cantidad de contenido etiquetado como OA en Scopus a más de 7 millones de registros. Esto mejorará las posibilidades de descubrimiento y permitirá el análisis de tendencias de los modelos de publicación en todas las áreas temáticas de investigación y en todos los países.