Duede, Eamon. «Citation Counts Reinforce the Influence of Highly Cited Papers and Nudge Us towards Undervaluing Those with Fewer.» Impact of Social Sciences, 17 de febrero de 2022

Ver original

En el contexto de la evaluación diaria de la investigación, el recuento de citas suele tomarse como un simple indicador de la influencia de un artículo concreto. Sin embargo, no todas las citas son iguales y pueden utilizarse para lograr distintos fines. Eamon Duede comenta un estudio reciente sobre la forma en que los investigadores de 15 campos académicos entienden la influencia de los trabajos citados en sus investigaciones y muestra cómo las citas desempeñan un papel tanto en la indicación como en la configuración de la influencia de los trabajos de investigación.

Las repercusiones de la ciencia y la erudición son tan polifacéticas como omnipresentes. Los resultados de la investigación dan forma a la política a través de pruebas y predicciones de principios, perfeccionan nuestro estilo de vida con nuevas tecnologías, fuentes de energía y entretenimiento, y mejoran nuestra salud y bienestar a través de los avances en la medicina, la práctica clínica y la educación.

El impacto de la investigación surge, por supuesto, de la investigación. Aunque la investigación varía mucho en cuanto a la amplitud y la magnitud de su influencia en nuestras necesidades, deseos y gobierno, también sirve para influir en nuestro conocimiento y comprensión, en nuestras futuras investigaciones, en nuestra propia curiosidad. Tanto es así que a menudo se da por sentado.

En muchos sentidos, los trabajos de investigación son depósitos de conocimientos potencialmente impactantes, cada uno de los cuales se apoya, conecta, desafía o reconoce a los demás. Y uno de los principales medios por los que estas diversas actividades se registran en el libro de contabilidad del progreso científico es a través de la práctica de la citación.

Como resultado, se ha convertido en algo común y no del todo descabellado creer que el número de veces que se ha citado un trabajo es una medida directa de lo influyente que ha sido. Si un trabajo ha sido citado significativamente más veces que sus pares en el campo, entonces, con toda probabilidad, ese trabajo ha sido más influyente que los demás. Por ello, no es de extrañar que los científicos, los gestores, los organismos de financiación y los comités de premios utilicen el recuento de citas como una de las principales formas de evaluar la influencia a la hora de tomar decisiones.

Sin embargo, en un reciente artículo, Misha Teplitskiy, Michael Menietti, Karim R. Lakhani y el propio autor, se descubre que, en la mayoría de los casos, la creencia común y razonable de que las citas explican la influencia es falsa.

Para demostrarlo, se realizó una encuesta minuciosa y muy personalizada entre casi 10.000 autores de artículos científicos recientes. Esta encuesta fue notable porque, en lugar de inferir, se preguntó directamente a los autores sobre los artículos específicos que citaban en sus trabajos recientes. En particular, interesaba comparar la percepción de estos autores sobre la calidad de los artículos que habían leído y referenciado con el número de veces que esos artículos habían sido citados. Además, se pidó a los autores que informaran del grado en que esas referencias habían influido en sus propios trabajos.

En contra de la idea de que las citas son un reflejo directo de la influencia académica, descubrimos que, en las 15 áreas académicas representadas en la muestra de aproximadamente 17.000 referencias de artículos, más de la mitad de los mismos no habían tenido ninguna o muy poca influencia en los autores que los citaban (véase la figura 1).

Sin embargo, muchos artículos sí ejercen una influencia significativa en quienes los leen y citan. Existen dos hipótesis comunes y contradictorias sobre qué artículos son realmente influyentes. Según una de ellas, la mayoría de las citas de los artículos denotan, hasta cierto punto, un contexto relativo, influencia sobre sus lectores. Sin embargo, a medida que los artículos son más citados, los autores dejan de leerlos con atención y tienden a citarlos por los beneficios retóricos y argumentativos que aportan a los propios trabajos de los autores. Por otro lado, la hipótesis contraria afirma que, a medida que los artículos se vuelven más citados, su estatus de citación indica a los lectores potenciales que esos trabajos son de mayor calidad. Esto, a su vez, lleva a los autores a invertir más tiempo y esfuerzo cognitivo en su lectura. Como resultado de esa inversión, es más probable que los lectores se vean influenciados.

Se observa que los artículos más citados son, de hecho, los más influyentes. La figura 2 muestra que, a medida que aumenta el número de veces que se cita un artículo, aumenta la probabilidad de que un artículo determinado haya influido significativamente en un lector que lo consulte. Sin embargo, los datos muestran que la probabilidad de una influencia significativa sólo aumenta en el caso de los artículos más citados (por ejemplo, los artículos con un número de citas de entre 100 y 1000). Pero, ¿se considera que estos artículos muy citados son de mayor calidad?

Estas conclusiones tienen enormes implicaciones para la forma de realizar y evaluar el impacto de la investigación. Descubrimos que la mayoría de los artículos de la muestra fueron descubiertos por sus lectores mediante búsquedas en bases de datos comunes. Estas búsquedas suelen mostrar el número de citas junto a los resultados. Sin embargo, nuestro estudio demuestra que esto afecta a cómo y qué elegimos leer. Como resultado, una cantidad significativa de trabajos potencialmente influyentes puede quedar sin leer por razones que no tienen nada que ver con su calidad. Como se señala en el artículo, aunque las citas son un mal indicador de la calidad de un artículo, los «perdedores» de las señales de estado de las citas superan en número a los «ganadores» en una proporción de 9 a 1 aproximadamente.