Permut, Stephanie and Saccardo, Silvia and Chapman, Gretchen, How Researchers Use Open Science (May 22, 2024). Available at SSRN: https://ssrn.com/abstract=4838469 or http://dx.doi.org/10.2139/ssrn.4838469

La Revolución de la Ciencia Abierta de las dos últimas décadas ha puesto en evidencia las prácticas de investigación cuestionables (QRPs) responsables de las bajas tasas de replicabilidad en la investigación médica, las ciencias del comportamiento y la economía. En respuesta, se desarrollaron plataformas de Ciencia Abierta que permiten a los investigadores comprometerse con planes de investigación preespecificados y hacer que los materiales de estudio, datos y códigos estén disponibles públicamente. Una encuesta (N=1,402) de científicos del comportamiento, economistas y científicos médicos explora cómo ha cambiado el compromiso con las QRPs después de estudios fundamentales que abordaron la crisis de replicabilidad y si dicho compromiso varía entre disciplinas. Los resultados muestran que, aunque la prevalencia de las QRPs ha disminuido en comparación con los resultados de (John et al., 2012), los investigadores informan que usan las plataformas de Ciencia Abierta de maneras que socavan su efectividad. Además, existen algunas diferencias disciplinarias en los tipos de comportamientos de Ciencia Abierta que practican los investigadores.

Los resultados indican que los investigadores están utilizando plataformas de Ciencia Abierta diseñadas para limitar los grados de libertad del investigador. Por ejemplo, la mayoría de los encuestados informaron usar (o predecir que otros usan) plataformas de Ciencia Abierta para al menos la mitad de los estudios presentados en un artículo típico. Además, los investigadores afirmaron que era importante que otros usaran plataformas de Ciencia Abierta durante el proceso de investigación. Esta creencia no varió entre las disciplinas representadas en la encuesta. Los resultados se alinean con trabajos previos de Logg y Dorison (2021) y Kidwell et al. (2016), que muestran que el uso de plataformas de Ciencia Abierta ha aumentado desde su inicio.

Sin embargo, al examinar más a fondo cómo los investigadores utilizan las plataformas de Ciencia Abierta, se observa que este aumento en el uso puede no siempre resultar en una mayor transparencia. Se documenta una prevalencia notablemente alta de comportamientos que podrían socavar la efectividad de las plataformas de Ciencia Abierta, como pre-registrar menos de la mitad de los estudios que aparecen en un artículo presentado y relegar los resultados inconsistentes con las hipótesis a los materiales suplementarios del artículo. También se encontró que algunas de estas prácticas son específicas de cada disciplina. Por ejemplo, realizar múltiples pilotos antes de llegar a un diseño de estudio pre-registrado era más común entre los científicos del comportamiento (especialmente los investigadores de marketing), y realizar la recopilación de datos para los grupos de tratamiento y control de un estudio por separado era más común entre los economistas. Estas diferencias pueden reflejar una separación más amplia de la cultura de la Ciencia Abierta en economía, ciencias del comportamiento y ciencias médicas, moldeada por las normas de investigación de estas disciplinas y sus respuestas a la crisis de replicación.

Se midieron varios otros comportamientos que podrían afectar la transparencia de la investigación incluso con el uso consistente de las plataformas de Ciencia Abierta. Estos incluían pre-registrar estudios de manera intencionalmente vaga y no revelar desviaciones de los protocolos pre-registrados. Una fracción considerable de investigadores informó participar en estas prácticas. Los científicos del comportamiento eran significativamente menos propensos a admitir estos comportamientos que los economistas y los científicos médicos.