Archivo de la etiqueta: Evaluación

10 razones por las que la revista científica no se adapta a las nuevas formas de hacer y comunicar ciencia en el siglo XXI

Worlock, David. 2025. “10 Reasons Why the Science Research Journal Has Passed Its Sell-by Date.” David Worlock, April 2025. https://www.davidworlock.com/2025/04/10-reasons-why-the-science-research-journal-has-passed-its-sell-by-date/

El autor propone una revisión profunda y urgente del modelo actual, denunciando no solo su ineficacia y costes, sino también su incapacidad para adaptarse a las nuevas formas de hacer y comunicar ciencia en el siglo XXI.

Se recogen una reflexión crítica presentada durante una conferencia reciente del UKSG en Brighton. El autor, uno de los participantes en un debate junto con representantes de Elsevier y Coherent Digital, expone diez argumentos que justifican su afirmación de que el sistema de publicación científica, tal como lo conocemos, necesita una transformación profunda.

El sistema de publicación científica ha quedado anclado en estructuras del pasado, reproduciendo en digital las limitaciones del mundo impreso. La irrupción de la inteligencia artificial promete cambiar radicalmente este panorama, automatizando procesos, eliminando intermediarios innecesarios y creando un nuevo ecosistema de comunicación científica más ágil, accesible y confiable.

  1. El acceso abierto ya no cumple su promesa
    El modelo de acceso abierto (open access), que en su origen pretendía reducir barreras y costos para que el conocimiento científico fuera más accesible, ha comenzado no solo a estancarse, sino incluso a retroceder. Su funcionamiento basado en el volumen de publicaciones ha generado desconfianza, pues antepone la cantidad a la calidad. Irónicamente, lo que debía ser una alternativa más económica, ahora está siendo rechazado precisamente por sus elevados costes.
  2. La revisión por pares está en crisis
    El sistema de revisión por pares, que históricamente ha sido la piedra angular de la credibilidad científica, se encuentra quebrado. Cada vez más investigadores, entidades financiadoras y usuarios pierden la confianza en este mecanismo. Su lentitud, falta de transparencia y vulnerabilidad ante fraudes han generado una creciente deslegitimación del proceso.
  3. Falta un sistema centralizado de retracciones
    Existe una carencia grave de transparencia en lo que respecta a las retractaciones de artículos científicos. Los usuarios no disponen de un índice centralizado ni fiable para consultar qué artículos han sido retirados y por qué. Esto genera incertidumbre sobre la validez del conocimiento publicado y dificulta la depuración de errores científicos.
  4. Las publicaciones son demasiado lentas
    En áreas donde el conocimiento avanza a gran velocidad —como la biotecnología, la inteligencia artificial o la salud pública—, el sistema tradicional de publicación científica resulta excesivamente lento. Las revistas no logran adaptarse a los ritmos que exige la investigación actual, lo que entorpece el progreso científico y su aplicación práctica.
  5. Costes insostenibles para la comunidad investigadora
    Publicar en revistas científicas se ha convertido en una tarea costosa y poco rentable. Los beneficios no justifican el gasto y los financiadores se muestran cada vez más reacios a asumir los pagos asociados. El desequilibrio entre coste y retorno ha hecho que este sistema se perciba como económicamente insostenible.
  6. Falta de integridad estructural
    Muchos de los problemas actuales podrían resolverse si las revistas ofrecieran la integridad editorial plena que los usuarios esperan. Sin embargo, hoy en día proliferan contenidos generados por inteligencias artificiales sin control, artículos de papermills (fábricas de artículos) y fraudes sistemáticos que socavan la confianza en las publicaciones científicas.
  7. Estándares técnicos difíciles de aplicar en el sistema actual
    El desarrollo y aplicación de estándares técnicos como metadatos estructurados, identificadores persistentes (PIDs) y códigos de contenido (ISCC, C2PA, etc.) resulta más viable en entornos de autopublicación que dentro de los sistemas rígidos y obsoletos de las editoriales científicas. Esto limita el potencial de la ciencia abierta y dificulta la interoperabilidad entre plataformas.
  8. La validación científica debe independizarse de las revistas
    Los procesos de reconocimiento y evaluación científica —como la concesión de becas, ascensos o financiación— están demasiado ligados al prestigio de las revistas y a métricas como el factor de impacto, fácilmente manipulables. Sería preferible desarrollar sistemas independientes y más justos que reconozcan la calidad real de los investigadores sin depender de la marca editorial.
  9. El formato del artículo científico necesita evolucionar
    El formato tradicional de artículo ya no responde a las necesidades actuales. Es necesario introducir prácticas como la pre-registro de hipótesis y metodologías, y la integración de datos experimentales, código, vídeos, imágenes, audio, blogs y otros soportes que hoy en día las revistas no contemplan. La publicación científica debe volverse multimodal y más transparente.
  10. La lectura humana ya no es suficiente
    Dado el volumen de información disponible, muchos investigadores no tienen tiempo para leer artículos completos. Por ello, la comunicación entre máquinas se vuelve crucial. Sin embargo, las estructuras narrativas actuales no están diseñadas para su interpretación automática, lo que impide aprovechar el potencial de la inteligencia artificial y del análisis automatizado. Se necesita una transición hacia datos estructurados y enriquecidos con metadatos, comprensibles por máquinas.

German Natonal Academy of Sciences propone un cambio estructural de modelo de comunicación científica basado en una financiación directa de revistas científicas.

Tautz, D., Holzer, A., Schmidt, K. M., Buchner, J., Grötschel, M. & Jurburg, S. A New Concept for the Direct Funding and Evaluaton of Scientfc Journals.
Discussion No. 38, Halle (Saale): German Natonal Academy of Sciences
Leopoldina, 2025

Texto completo

La Academia Nacional de Ciencias de Alemania (Leopoldina) ha publicado el 15 de abril de 2025 un documento de debate que propone una profunda transformación en el modelo de publicación científica. El foco principal del texto es la necesidad de financiar directamente y evaluar públicamente las revistas científicas, con el objetivo de garantizar el acceso abierto al conocimiento, reducir costes y mejorar la calidad de las publicaciones académicas.

Actualmente, el acceso a los artículos científicos está restringido por barreras de pago impuestos por un pequeño grupo de editoriales con fines de lucro. Estas empresas obtienen ingresos bien sea a través de suscripciones de bibliotecas o mediante el cobro a los autores por publicar sus investigaciones (las llamadas article processing charges, APC). Dado que la financiación de la ciencia y las bibliotecas universitarias proviene del erario público, los beneficios de estas editoriales terminan repercutiendo en el presupuesto público, sin que exista una mejora proporcional en el valor científico ofrecido. Además, la escasa competencia ha derivado en una especie de monopolio editorial, que ha encarecido el sistema sin mejorar su eficiencia ni su calidad.

Frente a esta problemática, el documento propone que la financiación de las revistas científicas siga el mismo modelo que la investigación pública. En este sentido, serían las sociedades científicas, academias o instituciones públicas las encargadas de solicitar recursos para crear y mantener revistas científicas. Estas solicitudes se evaluarían mediante procedimientos competitivos y con criterios similares a los aplicados en la financiación de proyectos de investigación. De este modo, no solo se aseguraría la calidad y la pertinencia científica de las publicaciones, sino que también se garantizaría la transparencia en la gestión de los recursos.

El modelo propuesto se basa en el acceso abierto diamante (diamond open access), que se distingue por ser gratuito tanto para los autores como para los lectores. A diferencia del modelo de acceso abierto “oro”, donde el autor asume los costes de publicación, el modelo diamante plantea que la financiación provenga exclusivamente de fondos públicos adjudicados mediante convocatorias específicas. Así, el control editorial y financiero permanecería en manos de la comunidad científica, y los componentes del proceso editorial (como la revisión, maquetación o difusión) podrían contratarse a terceros mediante procedimientos abiertos y competitivos.

Para implementar este nuevo sistema, el informe recomienda involucrar activamente a las sociedades científicas que ya gestionan publicaciones, a fin de calcular el presupuesto necesario y diseñar adecuadamente el proceso de solicitud de fondos. También propone poner en marcha un proyecto piloto a nivel nacional que permita probar la viabilidad del modelo y ajustar sus mecanismos. Asimismo, se sugiere crear un grupo de trabajo internacional para explorar posibilidades de cofinanciación supranacional, lo cual permitiría extender el sistema a escala europea o global.

En definitiva, la propuesta de la Leopoldina busca asegurar que el conocimiento científico financiado con recursos públicos sea accesible libremente por toda la sociedad, esté gestionado desde la comunidad científica y se publique bajo principios de calidad, eficiencia y transparencia. Se trata de una iniciativa que, de implementarse, supondría una transformación radical del sistema editorial científico actual, desplazando el protagonismo de las grandes editoriales comerciales hacia las instituciones científicas públicas.

IA, integridad académica y evaluación: un camino ético para la educación.

«AI, Academic Integrity, and Authentic Assessment: An Ethical Path Forward for Education.» Anthology, accessed April 10, 2025.

Texto completo

Estudiantes de todo el mundo recurren a la IA para encontrar «La Respuesta» a preguntas comunes de exámenes y ensayos, mientras los instructores e instituciones observan con asombro cómo tareas de evaluación que antes eran difíciles se convierten instantáneamente en lanzamientos fáciles.

En primer lugar, se discute el creciente uso de herramientas generativas de IA, como ChatGPT, y cómo esto ha complicado el panorama académico. La detección de contenido generado por IA se ha convertido en un tema de debate, con herramientas de detección que, según investigaciones recientes, tienen una precisión limitada y pueden introducir sesgos, especialmente en el caso de estudiantes que hablan inglés como segunda lengua o tienen trastornos del espectro autista.

El artículo subraya que, a pesar de las preocupaciones sobre la detección de IA, la clave para evaluar de manera efectiva a los estudiantes es adoptar un enfoque de evaluación auténtica, que se enfoca más en la aplicación práctica de habilidades y en tareas complejas que en respuestas correctas o incorrectas. La evaluación auténtica exige un enfoque centrado en la reflexión personal y el pensamiento crítico, algo que resulta más difícil para las IA que para los humanos.

Además, se propone que la IA puede ser una herramienta útil para los docentes, ayudándoles a liberar tiempo de tareas administrativas y repetitivas para poder concentrarse más en la enseñanza y en el desarrollo de evaluaciones auténticas. Por último, se insta a los líderes académicos a abrazar la IA como una herramienta que puede complementar y mejorar los métodos de evaluación, en lugar de centrarse únicamente en la detección de plagio generado por IA.

Evaluación práctica de la alfabetización informativa para bibliotecarios.

Mellon, Constance A. Practical Information Literacy Assessment for Librarians. Westport: Libraries Unlimited, 2007.

Texto completo

La evaluación de la alfabetización informativa se aplica a diversos contextos en el ámbito de la educación superior: planes de estudio institucionales, programas de alfabetización informativa, cursos de alfabetización informativa, instrucción de alfabetización informativa integrada en cursos y talleres independientes de alfabetización informativa y tutoriales en línea. Esta guía práctica proporciona una descripción general del proceso de evaluación: planificación; selección y desarrollo de herramientas; y análisis y presentación de datos. Un cuadro de decisiones de evaluación ayuda a los lectores a combinar las herramientas y estrategias de evaluación adecuadas con los resultados de aprendizaje y los entornos de instrucción. Las herramientas de evaluación, organizadas por tipo, se acompañan de estudios de casos. Se hacen referencias a varios estándares de alfabetización informativa, con énfasis en los Estándares de competencia en alfabetización informativa para la educación superior de ACRL.

Sexenios de investigación 2024. Criterios para la evaluación de la actividad investigadora.

Resolución de 9 de diciembre de 2024, de la Comisión Nacional Evaluadora
de la Actividad Investigadora, por la que se publican los criterios para la
evaluación de la actividad investigadora.

Texto completo

Baremo

La Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) ha aprobado los criterios para la evaluación de la actividad investigadora correspondientes a la convocatoria de 2024. Estos criterios, que serán publicados en el Boletín Oficial del Estado (BOE), ya se han difundido para facilitar la preparación anticipada de las solicitudes. Finalmente, para garantizar transparencia y uniformidad, ANECA ha publicado un baremo único que será aplicado por los quince Comités Asesores.

Entre los cambios destacados, se elimina el apartado de «mínimos orientativos», permitiendo la obtención de una evaluación positiva mediante cinco aportaciones que cumplan con los criterios generales, sin depender de indicadores cuantitativos relacionados con medios de difusión. Esto refuerza el enfoque en la calidad intrínseca de las aportaciones.

El baremo para la evaluación de la actividad investigadora en la convocatoria de 2024 de los sexenios de investigación establece criterios clave para calificar las aportaciones de los solicitantes, otorgando mayor peso al impacto científico y contemplando elementos relacionados con la originalidad, la relevancia social y la promoción de la ciencia abierta. A continuación, se resumen los principales aspectos de cada criterio:

Contribución al progreso del conocimiento (10%)

Este apartado evalúa la originalidad, innovación y pertinencia de la investigación, destacando la capacidad del trabajo para abordar problemas relevantes en el área y proponer soluciones novedosas. Se valora también el enfoque metodológico, incluyendo el desarrollo de nuevos métodos o la mejora de los existentes. Se excluyen trabajos meramente descriptivos, recopilaciones bibliográficas sin análisis crítico o traducciones sin aportaciones significativas.

Impacto científico (60%)

Es el criterio más relevante, dividido en cuatro subcategorías principales:

  1. Uso de la aportación: Se mide por lecturas, descargas y visualizaciones en plataformas académicas.
  2. Citas recibidas: Considera el número y calidad de las citas recibidas, excluyendo autocitas.
  3. Calidad del medio de difusión: Se analiza la reputación del medio donde se publica, incluyendo revisiones por pares y estándares de calidad.
  4. Impacto del medio: Examina el reconocimiento científico del medio de publicación, con énfasis en premios, críticas y reseñas.

Se tienen en cuenta otros indicadores como vínculos con proyectos de investigación, tesis doctorales, premios y menciones en medios especializados.

Impacto social (10%)

Evalúa la repercusión de las investigaciones fuera del ámbito académico, como su influencia en políticas públicas, documentos normativos, guías clínicas o la industria. Además, se considera su difusión en medios de comunicación, plataformas digitales y eventos culturales, y la interacción con el público.

Contribución a la ciencia abierta (10%)

Se premian aportaciones accesibles públicamente, ya sea en versiones finales o preliminares, y el cumplimiento de principios FAIR en datasets y software. También se valora la publicación en revistas de acceso abierto (diamante) y el uso de licencias libres como Creative Commons.

Aportación preferente (10%)

Se analiza el ajuste de las aportaciones al tipo preferente definido en los criterios de evaluación, como artículos, libros, capítulos de libro, patentes o contribuciones a congresos.

Circunstancias reductoras

La puntuación puede reducirse en casos como:

  • Reiteración de publicaciones: Más de tres aportaciones en un mismo medio sin justificación suficiente.
  • Conflicto de interés editorial: Relaciones que comprometan la objetividad del proceso editorial.
  • Malas prácticas: Plagio, duplicación de contenido, alteración de datos o artículos retractados.
  • Procesos de revisión cuestionables: Medios con estándares poco fiables o periodos de aceptación injustificadamente cortos.
  • Autoría insuficientemente justificada: Participación no justificada adecuadamente en casos de coautoría múltiple.

Este baremo asegura una evaluación integral y motivada de las contribuciones, exigiendo evidencia clara de su relevancia científica, metodológica y social, y fomentando la transparencia en la producción académica.

Evaluación de la equidad y la inclusión en la concesión de subvenciones al patrimonio cultural

«Evaluating Equity and Inclusion in Cultural Heritage Grantmaking: CLIR’s Amplifying Unheard Voices Program • CLIR». s. f. CLIR. Accedido 2 de noviembre de 2024.

Descarga



El informe «Evaluating Equity and Inclusion in Cultural Heritage Grantmaking: CLIR’s Amplifying Unheard Voices Program» resume la evaluación de un año del programa «Amplifying Unheard Voices», que representa una revisión importante del programa de subvenciones «Digitizing Hidden Collections» de CLIR. Esta revisión buscó ampliar el alcance y la atractivo del programa a una gama más amplia de instituciones, incluyendo organizaciones independientes y comunitarias, y centrarse en la digitalización de materiales históricos que relatan las historias de grupos subrepresentados en el registro histórico digital. Se realizaron cambios significativos en la estructura de la aplicación, se crearon nuevos recursos de apoyo para solicitantes, se amplió la elegibilidad para incluir a Canadá y se añadieron nuevos énfasis temáticos y valores del programa. La evaluación se basó en una serie de actividades de recopilación de datos cualitativos que involucraron a grupos de interés y personal. A través de encuestas y entrevistas a solicitantes, consultores, revisores de propuestas y personal, los autores ofrecen una visión holística del programa, presentan recomendaciones y señalan áreas que requieren atención adicional.


Web of Science ha suspendido temporalmente la indexación de la revista eLife debido a su modelo de publicación innovador que incluye revisión por pares pública

Brainard, Jeffrey. «Web of Science Index Puts eLife ‘On Hold’ Because of Its Radical Publishing Model.» Science, October 24, 2024. https://www.science.org/content/article/web-science-index-puts-elife-hold-because-its-radical-publishing-model.

Web of Science ha suspendido la inclusión de la revista eLife debido a su nuevo modelo de publicación, que se implementó en enero de 2023. Este modelo incluye la revisión por pares pública sin una decisión final sobre la aceptación o rechazo de los manuscritos, lo que entra en conflicto con los estándares de calidad de Web of Science. Esta decisión podría comprometer el factor de impacto (IF) de eLife, un indicador controvertido que mide la calidad de una revista en función del promedio de citas a sus artículos.

La dirección de eLife expresó su decepción por la decisión de Clarivate, la empresa matriz del Web of Science, al considerar que frena los esfuerzos por mejorar la publicación y la revisión por pares utilizando principios de ciencia abierta. A pesar de que Clarivate no ha señalado artículos de eLife como de baja calidad, ha indicado preocupaciones sobre la falta de una decisión editorial basada en la validación de la revisión por pares.

eLife, una revista sin fines de lucro centrada en las ciencias biológicas, busca desafiar la dominancia del IF como medida de calidad y ha implementado su nuevo modelo como un experimento para combatir las ineficiencias del sistema de publicación científica, como los largos retrasos y la falta de transparencia. Este modelo exige a los autores una tarifa de 2500$ por artículo y permite que las revisiones, sean positivas o negativas, se publiquen junto con el manuscrito para su lectura gratuita.

Desde su implementación, el modelo ha generado un debate sobre la viabilidad financiera de eLife y su capacidad para atraer a científicos. Aunque el total de envíos disminuyó en un 25% en comparación con el mismo período del año anterior, más del 90% de los autores eligieron el nuevo modelo de publicación. La revista prevé anunciar pronto un nuevo informe sobre sus tendencias de crecimiento, que parecen prometedoras este año.

Clarivate ha suspendido recientemente otras revistas, como Science of the Total Environment de Elsevier, Cureus, y Heliyon, y eliminó 11 títulos en su última actualización, incluidos Multimedia Tools and Applications y Environmental Science and Pollution Research de Springer Nature, citando también problemas de calidad.

El número de artículos indexados ha aumentado un 47% mientras que el número de científicos no ha crecido

Mark A. Hanson, Pablo Gómez Barreiro, Paolo Crosetto, Dan Brockington; The strain on scientific publishing. Quantitative Science Studies 2024; doi: https://doi.org/10.1162/qss_a_00327

Se analiza el creciente volumen de publicaciones científicas, un fenómeno que ha generado una sobrecarga en la comunidad científica. Desde 2016, el número de artículos indexados ha aumentado aproximadamente un 47%, mientras que el número de científicos no ha crecido a la misma velocidad, lo que ha incrementado significativamente la carga de trabajo por investigador.



La publicación académica enfrenta un problema: el número de artículos revisados por pares ha crecido exponencialmente en los últimos años, mientras que el número de investigadores capacitados para evaluarlos no ha aumentado al mismo ritmo. Esto ha generado dificultades para encontrar revisores cualificados y ha sobrecargado a los científicos con la cantidad de artículos publicados. Parte de este crecimiento se debe a iniciativas inclusivas que fomentan la participación de investigadores de regiones como el Sur Global. Si bien estas iniciativas son positivas, el crecimiento excesivo amenaza con comprometer la rigurosidad científica.

Los autores presentan cinco métricas basadas en datos que muestran el crecimiento de las editoriales, los tiempos de procesamiento y las conductas de citación. Observan que algunas editoriales han impulsado este crecimiento mediante la publicación de «números especiales» con tiempos de revisión más cortos, lo que responde a la presión de «publicar o perecer» a la que se enfrentan los investigadores para obtener financiamiento. Además, han notado una inflación de los factores de impacto de las revistas, lo cual distorsiona las señales de calidad científica. Los autores concluyen que este crecimiento exponencial no es sostenible.

Algunos hallazgos importantes incluyen:

Inflación del factor de impacto: Se ha observado una inflación en el factor de impacto, particularmente en las revistas de MDPI y Hindawi, debido a una alta tasa de autocitación y citación entre revistas del mismo editor. MDPI muestra una tasa de autocitación significativamente mayor que otras editoriales, lo que ha contribuido al aumento de su factor de impacto.

Contribución desigual de las editoriales al crecimiento: Entre 2016 y 2022, MDPI, Elsevier, Frontiers, Springer y Wiley han sido responsables de más del 70% del aumento en la cantidad de artículos publicados. Mientras Elsevier y Springer distribuyen sus publicaciones a través de un gran número de revistas, MDPI y Frontiers concentran el aumento en un número más pequeño de revistas, resultando en una mayor cantidad de artículos por revista.

Aumento en el uso de «special issues»: Editoriales como Hindawi, Frontiers y MDPI han incrementado drásticamente la proporción de artículos publicados a través de «special issues» desde 2016. Este modelo ha generado preocupación por la posibilidad de que se priorice la cantidad sobre la calidad, ya que los artículos en estas ediciones suelen ser revisados por editores invitados, en lugar del cuerpo editorial regular.

Disminución en los tiempos de procesamiento: MDPI, Frontiers y Hindawi han reducido significativamente los tiempos de procesamiento de artículos, con MDPI registrando tiempos mucho menores en comparación con otros editores (37 días en promedio). Además, estos editores han mostrado una homogeneización en los tiempos de revisión, lo que podría indicar una revisión menos rigurosa.

Tasas de rechazo dependientes del editor: Los datos sugieren que las tasas de rechazo varían significativamente según el editor, sin una correlación clara con el crecimiento en el número de artículos o el tamaño de las revistas. En particular, MDPI ha mostrado una disminución en sus tasas de rechazo a medida que ha aumentado el uso de «special issues».

Los espacios físicos son los servicios de biblioteca más valorados por los estudiantes

Edward Harold Stocking, Rosalind Bucy, y Carlos Ramirez-Reyes, «First-gen and the library: a survey of student perceptions of academic library services», Performance Measurement and Metrics ahead-of-print, n.o ahead-of-print (1 de enero de 2024), https://doi.org/10.1108/PMM-11-2023-0037.

El estudio «First-gen and the library: a survey of student perceptions of academic library services» reveló diferencias significativas entre las percepciones de los estudiantes de primera generación (FGCS) y sus compañeros no pertenecientes a este grupo con respecto a la importancia y satisfacción con los servicios bibliotecarios.

En primer lugar, se identificaron diferencias estadísticas significativas en el 35% de los servicios bibliotecarios evaluados. Los estudiantes de primera generación otorgaron una mayor importancia y expresaron mayor satisfacción con estos servicios en comparación con los estudiantes no de primera generación.

Los FGCS consideraron como más relevantes los servicios relacionados con los espacios físicos de la biblioteca, así como aquellos vinculados al acceso y descubrimiento de recursos. Estos aspectos fueron percibidos como esenciales para su experiencia académica.

Además, los servicios que brindan apoyo directo a los estudiantes, como las consultas con bibliotecarios, y los servicios que ofrecen acceso a tecnología, mostraron las diferencias más notables entre ambos grupos de estudiantes. Los FGCS valoraron más estos aspectos, lo que refleja sus necesidades y expectativas específicas.

Código de buenas prácticas en materia de datos de investigación de COUNTER

Code of Practice Release 5.1. COUNTER, 2024

Ver código

El Código de Prácticas para Datos de Investigación, desarrollado en colaboración con Make Data Count, marca un hito en las prácticas de evaluación de datos al permitir la generación de informes comparables sobre el uso de datos a través de plataformas. En mayo, se informó que Make Data Count y COUNTER están explorando el futuro del Código, y en los próximos meses se trabajará en su integración con la Versión 5.1 del Código de Prácticas de COUNTER.