Archivo de la etiqueta: Reproducibilidad

Una investigación de la Universidad de Cambridge descubre que menos de un tercio de los resultados científicos son reproducibles

Katherine Roper et al. ‘Testing the reproducibility and robustness of the cancer biology literature by robot.’ Royal Society Interface (2022). DOI: 10.1098/rsif.2021.0821

Los investigadores han utilizado una combinación de análisis de texto automatizado y el «robot científico» Eve para semiautomatizar el proceso de reproducción de los resultados de la investigación. El problema de la falta de reproducibilidad es una de las mayores crisis a las que se enfrenta la ciencia moderna.

Los investigadores, dirigidos por la Universidad de Cambridge, analizaron más de 12.000 artículos de investigación sobre la biología celular del cáncer de mama. Después de reducir el conjunto a 74 artículos de alto interés científico, se encontró que menos de un tercio (22 artículos) eran reproducibles. En dos casos, Eve pudo hacer descubrimientos fortuitos.

Los resultados, publicados en la revista Royal Society Interface, demuestran que es posible utilizar la robótica y la inteligencia artificial para ayudar a abordar la crisis de la reproducibilidad.

Un experimento exitoso es aquel en el que otro científico, en un laboratorio diferente en condiciones similares, puede lograr el mismo resultado. Pero más del 70% de los investigadores han intentado y no han podido reproducir los experimentos de otro científico, y más de la mitad no han podido reproducir algunos de sus propios experimentos: esta es la crisis de la reproducibilidad.

“La buena ciencia se basa en que los resultados sean reproducibles: de lo contrario, los resultados carecen esencialmente de significado”, dijo el profesor Ross King del Departamento de Ingeniería Química y Biotecnología de Cambridge, quien dirigió la investigación.

Hace varios años, King desarrolló el robot científico Eve, un sistema informático/robótico que utiliza técnicas de inteligencia artificial (IA) para llevar a cabo experimentos científicos.

Reproducibilidad de los resultados científicos en la Unión Europea

Reproducibility of scientific results in the EU: Scoping report. European Commission, 2020

Descargar

En el presente informe se examina la cuestión de la reproducibilidad de los resultados científicos, sobre la base de un examen sobre el terreno y de un seminario de expertos sobre la oportunidad de adoptar medidas de política en Europa. Como tal, tiene por objeto aumentar la comprensión de la Comisión Europea sobre la falta de reproducibilidad en Europa, y ayudar a diseñar una respuesta adecuada en el contexto de la investigación y la innovación de la UE.

En el informe se identifican las principales cuestiones emergentes en materia de reproducibilidad; se basa en la opinión claramente marcada de los expertos (en cursiva), tal como se desprende del seminario de estudio. Las recomendaciones concretas sobre las posibles medidas que podría adoptar la Comisión Europea figuran en «Recuadros de Acción» separados.

En general, el informe introduce el concepto de reproducibilidad como un continuo de prácticas. Se postula que la reproducibilidad de los resultados tiene valor tanto como mecanismo para garantizar una buena ciencia basada en afirmaciones veraces, como para impulsar nuevos descubrimientos e innovaciones. En las secciones se incluye una definición de trabajo que favorece la formulación de políticas y, por lo tanto, delimita el alcance del tema. A continuación, el informe examina las recientes afirmaciones sobre la creciente falta de reproducibilidad de la ciencia moderna, que algunos califican de «crisis de reproducibilidad». Se exploran los principales rasgos y causas subyacentes de la falta de reproducibilidad, incluidos el sesgo, el diseño experimental y las estadísticas deficientes, las cuestiones relacionadas con la presentación de informes científicos, la cultura de la investigación, los factores relacionados con la carrera profesional y la economía.

Por último, en el informe se examinan las actividades recientes de los científicos, los financiadores de la investigación y las editoriales que tienen por objeto mitigar la falta de reproducibilidad; y se cataloga una serie de posibles remedios a la falta de reproducibilidad tal como se encuentran en la literatura. En el informe se ofrece asesoramiento concreto para la adopción de medidas de política que puedan aumentar la reproducibilidad en tres esferas clave de la investigación y la innovación de la Unión Europea, concretamente las directrices; el sistema de subvenciones para la investigación; y la formación y las carreras.

Papers With Code: artículos académicos que también comparten su software de respaldo para que los experimentos puedan ser reproducidos fielmente.

Papers With Code

https://portal.paperswithcode.com/

Papers with Code (PwC), un sitio web que organiza el acceso a los documentos técnicos que también proporcionan el software utilizado para reproducir los resultados del documento, ha crecido enormemente en los últimos años. Junto con el aumento de los conjuntos de datos de acceso público, la investigación moderna ha comenzado a converger de nuevo hacia la plena transparencia y credibilidad.

La ciencia es acumulativa. La ciencia abierta, incluyendo la disponibilidad de artefactos clave como el código, ayuda a acelerar el progreso haciendo que la investigación sea más fácil de construir. El sitio web Papers with Code (PwC) alberga artículos académicos que también comparten su software de respaldo para que los experimentos puedan ser reproducidos fielmente. Mediante una colaboración conjunta, Papers with Code proporciona ahora una clasificación por categorías y referencias de código para los artículos de la base de datos arXiv.

El hecho de que arXiv permita compartir abiertamente la investigación por sí solo es genial para la comunidad investigadora mundial. Sin embargo, la gran mayoría de las nuevas investigaciones en los campos científicos ahora tienen software que respalda los hallazgos de la investigación. El hecho de no proporcionar ese software se corresponde con el hecho de no proporcionar todos los activos necesarios para validar la investigación. En un mundo centrado en la información, en el que la mayoría de los datos disponibles se han creado en los últimos años, la capacidad de utilizar programas informáticos para demostrar de forma independiente que los resultados de una investigación son válidos es cada vez más importante.

La misión de Papers With Code es crear un recurso libre y abierto con documentos de aprendizaje automático, código y tablas de evaluación. El objetivo del código es acelerar el progreso científico haciendo que la investigación sea más fácil de comprender, usar y difundir.

En octubre, arXiv lanzó una nueva característica que permite a los autores de arXiv vincular sus artículos de aprendizaje automático con un código asociado. Desarrollada en una colaboración de arXivLabs con Papers with Code, la herramienta fue recibida con gran entusiasmo por la comunidad ML de arXiv.

Como resultado de esta expansión, ahora están registrados más de 600.000 trabajos de investigación.

Diez reglas simples para escribir Dockerfiles para ciencia de datos reproducible.

Nüst D, Sochat V, Marwick B, Eglen SJ, Head T, Hirst T, et al. (2020) Ten simple rules for writing Dockerfiles for reproducible data science. PLoS Comput Biol 16(11): e1008316. doi:10.1371/journal.pcbi.1008316

Texto completo

La ciencia computacional ha mejorado enormemente mediante el uso de contenedores para el software de empaquetado y las dependencias de datos. En un contexto académico, los principales impulsores del uso de estos contenedores son la transparencia y el apoyo a la reproducibilidad; a su vez, la reproducibilidad de un flujo de trabajo puede verse muy afectada por las elecciones que se toman con respecto a la construcción de contenedores. En muchos casos, el proceso de compilación de la imagen del contenedor se crea a partir de las instrucciones proporcionadas en formato Dockerfile. En apoyo de este enfoque, se presenta un conjunto de reglas para ayudar a los investigadores a escribir Dockerfiles comprensibles para flujos de trabajo típicos de ciencia de datos. 

Siguiendo las reglas de este artículo, los investigadores pueden crear contenedores adecuados para compartir con otros científicos, para incluirlos en comunicaciones académicas, como artículos educativos o científicos, y para flujos de trabajo personales efectivos y sostenibles

Programa piloto para mejorar la reproducibilidad, la utilidad y la ética de la investigación biomédica

 

articleimage-minimal

 

Strech D, Weissgerber T, Dirnagl U, on behalf of QUEST Group (2020) Improving the trustworthiness, usefulness, and ethics of biomedical research through an innovative and comprehensive institutional initiative. PLoS Biol 18(2): e3000576. doi:10.1371/journal.pbio.3000576

Texto completo

 

Al abordar la preocupación generalizada sobre la transparencia y la reproducibilidad en la investigación biomédica, una de las instituciones más grandes de la ciencia alemana ha comenzado a proporcionar un marco, intervenciones e incentivos para mejorar la calidad y el valor de la investigación traslacional. El programa es descrito por su líder, Ulrich Dirnagl del Instituto de Salud de Berlín (BIH), y sus colegas en un nuevo artículo publicado el 11 de febrero en la revista de acceso abierto  PLOS  Biology.

A pesar del progreso de la ciencia biomédica moderna y la aprobación de nuevos medicamentos, existe un reconocimiento amplio y creciente de que la práctica de la investigación biomédica tiene debilidades significativas que conducen a una pérdida exorbitante, tratamientos «innovadores» fallidos e incapacidad para replicar hallazgos «emblemáticos». Para abordar estas preocupaciones, el Instituto de Salud de Berlín fundó el Centro QUEST (Quality-Ethics-Open Science-Translation) para transformar la investigación Biomédica, que desarrolló el programa de mejora de la calidad. El Centro QUEST está implementando el programa en las dos instituciones miembros de BIH, Charité– Universitätsmedizin Berlin y el Centro Max Delbrück de Medicina Molecular.

El programa ofrece capacitación, herramientas e incentivos a los investigadores para mejorar la calidad de la investigación, basada en los principios de confiabilidad, utilidad y ética. Por ejemplo, el Centro ofrece cursos para reducir el sesgo en el diseño de la investigación, proporciona una guía para publicar hallazgos negativos o no concluyentes, y ofrece recompensas financieras por hacer que los datos estén disponibles públicamente. Las evaluaciones del programa están en curso y se publicarán en un futuro próximo.

 

Reproducibilidad y Replicabilidad en la Ciencia

 

sites_192635

 

Reproducibility and Replicability in Science.  Washington : The National Academies of Sciences, Engineering, and Medicine, 2019

Texto completo

 

Una de las vías por las que la comunidad científica confirma la validez de un nuevo descubrimiento científico es repitiendo la investigación que lo produjo. Cuando un esfuerzo científico no logra confirmar independientemente los cálculos o resultados de un estudio anterior, algunos temen que pueda ser un síntoma de falta de rigor en la ciencia, mientras que otros sostienen que tal inconsistencia observada puede ser un elemento precursor importante para un nuevo descubrimiento.

Las preocupaciones sobre la reproducibilidad y la replicabilidad se han expresado tanto en los medios científicos como en los populares. A medida que estas preocupaciones salieron a la luz, el Congreso solicitó que The National Academies of Sciences, Engineering, and Medicine llevaran a cabo un estudio para evaluar el alcance de los temas relacionados con la reproducibilidad y la replicabilidad y para ofrecer recomendaciones para mejorar el rigor y la transparencia en la investigación científica.

El informe ofrece definiciones de reproducibilidad y replicabilidad y examina los factores que pueden conducir a la no reproducibilidad y la no reproducibilidad en la investigación. Si bien la reproducibilidad es sencilla y debe esperarse en general, la replicabilidad es más matizada y, en algunos casos, la falta de replicabilidad puede ayudar al proceso de descubrimiento científico. El informe ofrece recomendaciones a investigadores, instituciones académicas, revistas y financiadores sobre las medidas que pueden tomar para mejorar la reproducibilidad y replicabilidad en la ciencia.