Unreliable social science research gets more attention than solid studies
By Cathleen O’Grady. Science May. 21, 2021 , 2:15 PM
Ver noticia completa
En 2011, un sorprendente trabajo de psicología causó sensación en las redes sociales, las noticias y el mundo académico: Las personas utilizaban Internet como una forma de memoria «externa», según el estudio, confiando en ella para obtener información en lugar de recordar los hechos por sí mismos. En 2018, un hallazgo clave de ese documento no se replicó cuando un equipo de psicólogos lo puso a prueba junto con otros 20 estudios de ciencias sociales de alto perfil.
Sin embargo, el artículo original ha sido citado 1417 veces, y más de 400 de esas citas se produjeron después del proyecto de replicación de 2018. Eso es mucho más, en promedio, que los artículos del proyecto que sí se replicaron. Ahora, un nuevo estudio refuerza la popularidad de los estudios poco fiables: Los artículos de ciencias sociales que no se replicaron acumulan 153 citas más, de media, que los artículos que se replicaron con éxito.
Este último resultado es «bastante condenatorio», dice el científico cognitivo de la Universidad de Maryland, College Park, Michael Dougherty, que no participó en la investigación. «El recuento de citas se ha considerado durante mucho tiempo como un indicador de la calidad de la investigación», afirma, por lo que la conclusión de que la investigación menos fiable se cita más apunta a un «problema fundamental» en la forma de evaluar este tipo de trabajos.
Los economistas Marta Serra-García y Uri Gneezy, de la Universidad de California en San Diego, estaban interesados en saber si las ideas de investigación llamativas recibían más atención que las mundanas, aunque tuvieran menos probabilidades de ser ciertas. Para ello, recopilaron datos sobre 80 artículos de tres proyectos diferentes que habían tratado de replicar importantes hallazgos de las ciencias sociales, con distintos niveles de éxito.
Según informan hoy en Science Advances, el número de citas en Google Scholar fue significativamente mayor para los trabajos que no lograron replicar, con un aumento medio de 16 citas adicionales por año. Se trata de una cifra importante, dicen Serra-García y Gneezy, ya que los artículos publicados en revistas de alto impacto en el mismo periodo de tiempo acumularon un total de unas 40 citas al año de media.
Y cuando los investigadores examinaron las citas de los artículos publicados después de los proyectos de replicación más importantes, descubrieron que los artículos rara vez reconocían el fracaso de la replicación, mencionándolo sólo el 12% de las veces.
Los científicos quieren que su trabajo sea preciso, pero también quieren publicar resultados que llamen la atención. Es posible que los revisores bajen el listón de las pruebas cuando los resultados son especialmente sorprendentes o emocionantes, dice, lo que podría significar que los resultados sorprendentes y las pruebas más débiles van a menudo de la mano. Esto apunta a la necesidad de adoptar salvaguardias adicionales para reforzar la credibilidad de los trabajos publicados, como un umbral más alto para lo que se considera una buena prueba, y un mayor esfuerzo para centrarse en cuestiones y métodos de investigación sólidos, en lugar de hallazgos llamativos.
El resultado coincide con estudios anteriores que sugieren que la investigación popular es menos fiable. Un estudio de 2011 en Infection and Immunity, por ejemplo, encontró que las revistas de alto impacto tienen mayores tasas de retracción que las de menor impacto. Y la investigación de Dougherty -actualmente un preprint no revisado– ha encontrado que los artículos más citados se basaban en datos más débiles, dice. Pero un artículo publicado en 2020 en la revista Proceedings of the National Academy of Sciences, que analizaba una muestra diferente de artículos, no encontró ninguna relación entre las citas y las réplicas. Esto sugiere que la muestra de artículos podría ser realmente importante, dice Pfeiffer; por ejemplo, el efecto podría ser particularmente fuerte en las revistas de alto impacto.