El intercambio de datos de investigación ha explotado en la última década, y cada vez más publicaciones y organizaciones están poniendo en práctica políticas que requieren la publicación de datos de investigación. Durante la última década, el número de revistas que aceptan datos ha aumentado, al igual que el número y el alcance de los repositorios que recogen y comparten datos de investigación.  Durante los últimos años , el ritmo de publicación de datos aumentó considerablemente. Como indica el estudio «Public Availability of Published Research Data in High-Impact Journals«, el número de conjuntos de datos que se comparten anualmente ha aumentado en más del 400% de 2011 a 2015, y parece probable que este ritmo se mantendrá o incrementará en los próximos años.

Un elemento central que distingue una publicación científica de una publicación que no lo es, es el hecho de que exista un proceso de revisión por pares que avale que los contenidos allí expuestos son académicos y han sido validados por un comité de expertos. A medida que aumenta la disponibilidad de datos de investigación, es importante preguntar si estos datos son revisados ​​por pares.  Pero, ¿qué constituye la revisión por pares de los datos de la investigación? ¿Cuáles son las prácticas existentes relacionadas con la revisión por pares de los conjuntos de datos de investigación? Dado que varias revistas se centran específicamente en la revisión y publicación de conjuntos de datos, la revisión de sus políticas parece un lugar apropiado para comenzar a evaluar como sería la práctica de revisar y publicar datos.

La revisión por pares de los datos es similar a la revisión por pares de un artículo, pero incluye muchos peculiaridades que hacen que el proceso sea mucho más complicado. En primer lugar, un revisor tiene que lidiar con la complejidad general de un conjunto de datos de investigación que pueden tener diferentes procedenicas y objetivos. A menudo, los datos pasan por una variedad de pasos de pre-procesamiento y limpieza de errores que deben monitorearse y rastrearse. Algunos conjuntos de datos están cambiando constantemente y se agregan más datos a lo largo del tiempo, por lo que la pregunta debe hacerse, ¿cada nuevo estudio basado en un conjunto de datos dado necesita una nueva revisión o podría aplicarse una revisión anterior? Para llevar a cabo un análisis adecuado, se debe considerar la metodología de la recopilación de datos, un examen que puede ser tan profundo como describir la calibración. Incluso después de que se ensambla un conjunto de datos, el análisis puede variar significativamente según el software utilizado para procesarlo. La revisión de un conjunto de datos probablemente requeriría un examen del código de software utilizado para procesar los datos también. Todos estos criterios crean más trabajo para los revisores.

En la práctica algunos repositorios como DRYAD hacen revisión de datos, pero la mayoría no. En el caso de las revistas que aceptan la publicación de conjuntos de datos requieren al menos un examen superficial superficial de los datos asociados con sus documentos. , También, una serie de revistas de datos se centran exclusivamente en el intercambio de conjuntos de datos de investigación. Esas publicaciones explícitamente proporcionan revisión por pares antes de la publicación de los datos.

En primer lugar, la cohesión editorial es todavía muy importante en la publicación de revistas y esto también se aplica a las nuevas revistas de datos. Esta cohesión ayuda de alguna manera al descubrimiento y  a la experiencia de revisión por pares, pero podría limitar las oportunidades de hacer una análisis más novedoso de los conjuntos de datos. Más importante que la consistencia interna y la revisión precisa del conjunto de datos es un enfoque en la apertura y disponibilidad de los datos en sí. Las oportunidades de reutilización, los enlaces a los repositorios públicos y las descripciones de cómo acceder a los datos son de importancia significativa. Esto podría considerarse como poner en práctica la noción de que «reutilización». En general, si los datos son de calidad suficiente para ser reutilizados, se aprueba una revisión por pares posterior a la publicación.