Archivo de la categoría: Investigación

Los rankings universitarios y sus críticos: ¿una relación simbiótica?

Impact of Social Sciences. «University Rankings and Their Critics – a Symbiotic Relationship?», 6 de febrero de 2023. https://blogs.lse.ac.uk/impactofsocialsciences/2023/02/06/university-rankings-and-their-critics-a-symbiotic-relationship/.

A pesar de ser objeto de críticas constantes, los rankings universitarios han demostrado ser una característica resistente de la vida académica. Julian Hamann y Leopold Ringel analizan esta relación y sugieren que los que elaboran las clasificaciones y sus críticos se refuerzan mutuamente.

Recientemente, las prestigiosas facultades de Derecho y Medicina de Estados Unidos anunciaron su retirada de los rankings de U.S. News & World Report. Esto se convirtió inmediatamente en noticia, porque los rankings y las instituciones de enseñanza superior (IES) de élite han desarrollado una dependencia mutua: los rankings dependen de la participación de las IES de élite y de su prestigio para mejorar su propia reputación. Las IES de élite dependen de las clasificaciones porque los antiguos alumnos, los solicitantes y los responsables políticos las juzgan en función de su clasificación.

Sin embargo, algunas IES de élite estaban dispuestas a poner fin a esta relación. En noviembre de 2022, el decano de la Facultad de Derecho de Yale declaró que «las clasificaciones sólo son útiles cuando siguen una metodología sólida y limitan sus parámetros a lo que los datos pueden captar razonablemente». En un tono similar, el decano de la Facultad de Derecho de Harvard expresó su «preocupación por algunos aspectos de la metodología de clasificación de U.S. News». Otras facultades de Derecho y Medicina siguieron su ejemplo.

¿cómo prevalecen las rankings universitarias a pesar de enfrentarse a críticas generalizadas (y a veces hostiles)? Este estudio podría ofrecer algunas pistas al respecto.

Una idea importante de nuestro estudio es que las críticas sonoras no son nada nuevo. Si los rankings son un modelo de negocio de éxito, también lo es la investigación crítica sobre los rankings (recibir una invitación para escribir en este blog es un ejemplo de ello). Identificamos dos modos de crítica de las clasificaciones que dominan tanto el discurso académico como los debates en el dominio público.

El primer modo llama la atención sobre los efectos negativos. Los rankings supuestamente producen y consolidan desigualdades, inculcan un comportamiento oportunista por parte de quienes intentan anticiparse a los criterios de clasificación y atentan contra la independencia de la educación superior y la ciencia. La segunda modalidad se refiere a las deficiencias metodológicas. Los críticos sostienen que las medidas utilizadas son demasiado burdas y simplistas, que la metodología y los datos no son suficientemente transparentes y que ni la validez ni la fiabilidad son suficientes. Sorprendentemente, las últimas críticas de las facultades de Derecho y Medicina de Estados Unidos reflejan exactamente este sentimiento, ya que invocan cuestiones metodológicas.

¿Cómo sortean los rankings estos retos? Los creadores de los rankings han desarrollado dos modos de respuesta. La primera podría caracterizarse como defensiva: Los responsables de los rankings o bien restan importancia a su propia influencia y afirman que existen muchos enfoques para medir el rendimiento de las universidades, o bien hacen hincapié en que los rankings son inevitables y «están aquí para quedarse». El segundo modo (respuestas seguras) reivindica una amplia demanda de evaluaciones del rendimiento universitario, demuestra competencia científica o temporaliza los rankings enmarcándolas como siempre necesitadas de mejora. Al hablar de cuestiones de mejora, los responsables de los rankings aluden a menudo a la importancia de obtener ayuda de los investigadores. Por ejemplo, en un folleto sobre la metodología de los Impact Rankings, Times Higher Education invita a la crítica afirmando: «¡podemos mejorar el enfoque!». En la misma línea, los representantes de los rankings de U.S. News & World Report esbozan esta postura ostentosamente constructiva: «Aunque la metodología es el resultado de años de investigación, perfeccionamos continuamente nuestro enfoque basándonos en los comentarios de los usuarios, las conversaciones con escuelas y expertos en educación superior, las revisiones bibliográficas, las tendencias de nuestros propios datos, la disponibilidad de nuevos datos y la participación de decanos e investigadores institucionales en conferencias sobre educación superior».

El punto general aquí es que los clasificadores intentan dispersar la responsabilidad mediante la asunción de sus críticos. Cabe señalar que, para que esta estrategia tenga éxito, los críticos tienen que aceptar la oferta y participar realmente en conversaciones públicas. La crítica metodológica, al parecer, es la palanca clave para iniciar y mantener este compromiso mutuo: incluso cuando se acaloran, este tipo de debates siguen siendo constructivos en el sentido de que, según su lógica subyacente, los rankings deberían ser más rigurosas, fiables y válidas.

Creemos que nuestro estudio supone una importante contribución a la investigación sobre educación superior, que sólo ha prestado una atención menor al «trabajo discursivo» que hace que los rankings universitarios sean resistentes. Para una comprensión exhaustiva del tema, es necesario seguir explorando los rankings universitarios como fenómenos discursivos, lo que implica tratar en igualdad de condiciones tanto los elogios como las críticas que reciben. Esto también implica que debemos ser más conscientes de nuestra propia agencia: nos guste o no, como investigadores críticos podemos contribuir involuntariamente a la institucionalización de los rankings universitarios.

¿Cómo debemos interpretar, entonces, las recientes abandonos de las clasificaciones universitarias en la enseñanza superior estadounidense? Teniendo en cuenta nuestras conclusiones, y la última promesa de U.S. News & World Report de escuchar a los críticos y mejorar la metodología, nos inclinamos a proyectar que la empresa volverá con una clasificación totalmente nueva el año que viene. Lo más probable es que este episodio no sea el final del régimen de clasificación, sino que resulte ser una oportunidad más para crear resiliencia discursiva.

Construir el avión mientras volamos: la promesa de los identificadores persistentes

Ulrich Herb, Pablo de Castro, Laura Rothfritz, & Joachim Schöpfel. (2023). Building the plane as we fly it: the promise of Persistent Identifiers. Zenodo. https://doi.org/10.5281/zenodo.7258286

Este informe es el principal resultado de un estudio encargado por Knowledge Exchange (KE). El objetivo del estudio era investigar los «Riesgos y confianza en la búsqueda de una infraestructura de identificadores persistentes para la investigación que funcione correctamente». La investigación se propuso analizar el estado actual del panorama de los identificadores persistentes (PID) en los seis países socios de Knowledge Exchange y fuera de ellos, teniendo especialmente en cuenta los PID emergentes y examinando las funciones de las partes interesadas pertinentes como proveedores de servicios de PID, instituciones de enseñanza superior, investigadores, editores y bibliotecas nacionales.

El informe examina el panorama de los PID y ofrece una visión detallada de lo que puede fallar en un servicio de PIDI poco fiable. Además, se presentan una serie de recomendaciones dirigidas a cada grupo de interesados.

El informe va acompañado de siete estudios de casos complementarios, que ayudan a profundizar en áreas específicas de actividad, flujos de trabajo y partes interesadas dentro de este panorama más amplio de los PID. Se puede acceder a cada uno de ellos a través del informe.

Comunicación científica abierta y equitativa: crear un futuro más inclusivo

«Open and Equitable Scholarly Communications«,Prepared by Nancy Maron and Rebecca Kennison with Paul Bracke, Nathan Hall, Isaac Gilman, Kara Malenfant, Charlotte Roh, and Yasmeen Shoris. Chicago: American Library Association, June 11, 2019.

Texto completo

Durante muchos años, el personal de las bibliotecas universitarias y de investigación se ha esforzado por acelerar la transición hacia sistemas académicos más abiertos, inclusivos y equitativos. Llevar a cabo cambios en el entorno de las comunicaciones académicas es complicado debido a la amplia gama de cuestiones que deben abordarse: los retos de la brecha digital global y la desigualdad en la información, la descolonización, la democratización, la política de la tecnología, los privilegios (o la falta de ellos), el bien público o común, la formulación de políticas imparciales, etc.

Open and Equitable Scholarly Communications es una agenda de investigación orientada a la acción diseñada para proporcionar información práctica y práctica a los bibliotecarios académicos; incluir las perspectivas de las comunidades históricamente subrepresentadas con el fin de ampliar la comprensión de la profesión de los entornos de investigación y los sistemas de comunicación académica; y orientar a los bibliotecarios y otros académicos hacia importantes cuestiones de investigación a investigar.

Organizadas en tres grandes áreas prioritarias -personas, contenidos y sistemas-, cada una de ellas incluye medidas que pueden adoptarse ahora e ideas para futuras investigaciones:

  • Diversidad e inclusión
  • Mejorar la vida laboral de las personas dedicadas a la comunicación científica
  • Aumentar la concienciación sobre los derechos de los creadores.
  • Considerar cómo se asigna valor a los materiales académicos.
  • Crear colecciones más representativas y abiertas
  • Apoyo a una infraestructura tecnológica sostenible
  • Creación de sistemas que permitan un mayor acceso a más personas
  • Creación de sistemas organizativos y financieros alineados con la misión
  • Fomento de la innovación en las bibliotecas académicas

Hacia una investigación abierta equitativa: recomendaciones procesables para apoyar la implementación equitativa de la Investigación Abierta.

Cole, Nicki Lisa, Stefan Reichmann, y Tony Ross-Hellauer. «Toward equitable open research: stakeholder co-created recommendations for research institutions, funders and researchers». Royal Society Open Science 10, n.o 2 (febrero de 2023): 221460. https://doi.org/10.1098/rsos.221460.

La investigación abierta pretende hacer la investigación más accesible, transparente, reproducible, compartida y colaborativa. Con ello se pretende democratizar y diversificar el acceso al conocimiento y su producción, y garantizar que la investigación sea útil fuera de los contextos académicos. Aumentar la equidad es, por tanto, un objetivo clave del movimiento de investigación abierta, aunque cada vez hay más pruebas de que las prácticas de investigación abierta se aplican de forma que socavan este objetivo. En respuesta, se convocó a una comunidad diversa de investigadores, gestores de investigación y financiadores para co-crear recomendaciones procesables para apoyar la implementación equitativa de la Investigación Abierta.

Utilizando un método Delphi modificado y co-creativo, se generaron una serie de recomendaciones basadas en el consenso que abordan tres áreas problemáticas clave: la naturaleza intensiva en recursos de la Investigación Abierta, el alto coste de las tasas de procesamiento de artículos, y las prácticas obstructivas de recompensa y reconocimiento en financiadores e instituciones de investigación que socavan la implementación de la Investigación Abierta.

En este documento, se ofrece una visión general de estas cuestiones, una descripción detallada del proceso co-creativo, y presentamos las recomendaciones y los debates que las rodearon. Analizamos estas recomendaciones en relación con otras publicadas recientemente y concluimos que la aplicación de las nuestras requiere un «pensamiento global» para garantizar que se adopte un enfoque sistémico e integrador del cambio.

Toolkit de herramientas gratuitas para fomentar los acuerdos de acceso abierto

Wise, Alicia, and Lorraine Estelle. 2023. “A Free Toolkit to Foster Open Access Agreements”. Insights 36 (1): 3. DOI: http://doi.org/10.1629/uksg.585

En noviembre de 2021, con el apoyo de la Association of Learned and Professional Society Publishers (ALPSP) y cOAlition S, se crearon cuatro grupos de trabajo «task and finish». Los autores facilitaron y apoyaron a estos grupos. Cada grupo se encargó de elaborar herramientas que permitieran a los consorcios de bibliotecas y a las pequeñas editoriales independientes negociar acuerdos transformadores, es decir, acuerdos que permitieran a la editorial realizar plenamente la transición al acceso abierto.

  • El primer grupo de trabajo elaboró unos principios comunes para los acuerdos transformadores.
  • El segundo elaboró una plantilla de datos para permitir a los editores independientes más pequeños llegar a acuerdos con consorcios de bibliotecas y bibliotecas
  • Mientras que el tercero desarrolló ejemplos de acuerdos de licencia.

Estos grupos reconocieron que la aplicación de un acuerdo transformador atraviesa un complejo ecosistema de tecnología, procesos, políticas, funciones automatizadas y funciones manuales relacionadas con la gestión de contratos, la presentación de artículos y la revisión por pares, el alojamiento y la difusión de contenidos, así como la gestión financiera. Por este motivo, un cuarto grupo elaboró un marco de flujo de trabajo que describe el proceso en todas sus fases. Los miembros de estos cuatro grupos eran voluntarios de las comunidades interesadas, incluidas bibliotecas, consorcios de bibliotecas, pequeñas editoriales independientes e intermediarios. Este artículo explica por qué son necesarias estas herramientas y el proceso que hay detrás de su creación. Los autores han combinado estas herramientas en un conjunto de herramientas de libre acceso, disponible bajo licencia CC BY.

Prácticas de datos en investigación en relación con los incentivos y obligaciones de las políticas públicas de ciencia abierta

Célya Gruson-Daniel, Groupe Projet Réussir L’Appropriation De La Science Ouverte. Summary of the study : Adapting Open Science. [Research Report] Comité pour la science ouverte. 2022, pp.29 Pages

Texto completo

Este resumen del informe del proyecto «Successfully appropriating open science Project» presenta de forma más condensada el contexto, la metodología y los resultados de un estudio sobre prácticas de datos en investigación. ¿Cómo apoyar la evolución de las prácticas asociadas a los datos en relación con los incentivos y obligaciones de las políticas públicas de ciencia abierta?

Guía para aplicar la retención de derechos de autor de manera que permita depositar las publicaciones científicas en Acceso Abierto

«Implementing the Rights Retention Strategy for Scientific Publications». Accedido 31 de enero de 2023.

Texto completo

Los autores pueden depositar un documento propio en un repositorio cuando previamente han retenido el derecho de comunicación pública de la obra, ya que sólo transfieren algunos derechos de los denominados exclusivos a los editores; o cuando, a pesar de haber transmitido todos los derechos los editores, los editores permiten a los autores distribuir sus publicaciones bajo determinadas ondiciones. Pero no son muchos los autores que saben en qué condiciones han publicado sus trabajos y desconocen qué derechos tienen sobre ellos; consecuentemente, una de las cuestiones que habitualmente se hacen los autores que desean auto-archivar sus documentos en un repositorio es si están autorizados a hacerlo

La estrategia de retención de derechos es una herramienta para que los investigadores conserven suficientes derechos sobre sus artículos científicos de modo que puedan ponerlos a disposición en acceso abierto inmediato, independientemente del modelo de distribución de la revista en la que se publiquen. Esta estrategia permite la difusión sin restricciones de los conocimientos en la comunidad científica y fuera de ella.

La guía explica la estrategia de retención de derechos, sus ventajas para el investigador y los detalles operativos de su aplicación. También ofrece un apartado de preguntas frecuentes que aborda las principales dudas sobre la elección de licencias, las opciones disponibles en las distintas fases de publicación y cómo gestionar las relaciones con los editores.

Cuaderno Electrónico de Laboratorio

«Electronic Lab Notebooks». Report by the French Committee for Open Science Working Group Accedido 31 de enero de 2023..

Texto completo

El informe del grupo de trabajo «Cuaderno Electrónico de Laboratorio» (ELN) ofrece una visión común sobre la definición, el marco, los usos y el alcance funcional del ELN, que debe poder integrarse en los entornos informáticos e institucionales existentes. Formula recomendaciones sobre los requisitos para la elección de una herramienta e incluye una lista comparativa de las herramientas existentes.

El cuaderno de laboratorio es un diario utilizado para registrar las actividades cotidianas de los proyectos de investigación. Sirve para hacer un seguimiento de las descripciones de los experimentos y los protocolos empleados, así como para registrar las contribuciones individuales. Su uso asegura el cumplimiento de los requisitos de calidad e integridad científica al garantizar la trazabilidad de los métodos científicos empleados y la reproducibilidad de los datos y resultados de la investigación. Por lo tanto, proporciona a las oficinas de patentes la prueba de una invención, de sus inventores y, por lo tanto, de sus titulares de derechos.

El cuaderno electrónico de laboratorio es la versión digital desmaterializada del cuaderno de laboratorio. El término «electrónico», a menudo sustituido por «digital» en otros campos, es el adjetivo más utilizado para los cuadernos de laboratorio.

Debido a su lugar crucial en las actividades de investigación y a su papel en la gestión y protección del conocimiento científico, el cuaderno de laboratorio electrónico es una herramienta estratégica esencial que se ajusta plenamente a la ciencia abierta. Además, debe responder a los mismos objetivos y retos científicos que el cuaderno físico, de ahí la importancia de la elección de la herramienta, su configuración y el modo en que se utiliza.

Con el fin de informar a los equipos científicos a la hora de elegir entre las distintas soluciones disponibles en la actualidad, se creó un grupo de trabajo en el marco del Colegio de Datos de Investigación del Comité para la Ciencia Abierta del Ministerio francés de Investigación y Enseñanza Superior.

Una marca de agua podría detectar los textos escritos por herramientas de Inteligencia Artificial como ChatGTP

«A Watermark for Chatbots Can Expose Text Written by an AI». MIT Technology Review. Accedido 29 de enero de 2023.

Ver completo

Los textos generados por inteligencia artificial podrían identificarse como tales mediante marcas ocultas, que nos permitirían saber si las palabras que leemos han sido escritas por un ser humano o no.

Estas «marcas de agua» son invisibles al ojo humano, pero permiten a los ordenadores detectar que el texto procede probablemente de un sistema de IA como ChatGTP. Si se incorporan a grandes modelos lingüísticos, podrían ayudar a evitar algunos de los problemas que estos modelos ya están causado.

Por ejemplo, desde que se lanzó en noviembre el chatbot ChatGPT de OpenAI, los estudiantes ya han empezado a hacer trampas utilizándolo para que escriba trabajos declase por ellos. El sitio web de noticias CNET ha utilizado ChatGPT para escribir artículos, pero ha tenido que corregirlos ante las acusaciones de plagio. Incorporar la marca de agua a estos sistemas antes de su lanzamiento podría ayudar a resolver estos problemas.

En algunos estudios, estas marcas de agua ya se han utilizado para identificar con casi total certeza textos generados por IA. Los investigadores de la Universidad de Maryland, por ejemplo, fueron capaces de detectar el texto creado por el modelo lingüístico de código abierto de Meta, OPT-6.7B, mediante un algoritmo de detección creado por ellos. El trabajo se describe en un artículo que aún no ha sido revisado por pares, este código estará disponible gratuitamente en torno al 15 de febrero.

«Ahora mismo estamos en el Salvaje Oeste», afirma John Kirchenbauer, investigador de la Universidad de Maryland que participó en el desarrollo de las marcas de agua. Kirchenbauer confía en que las herramientas de marca de agua den ventaja a los esfuerzos de detección de la IA. La herramienta que ha desarrollado su equipo podría adaptarse a cualquier modelo lingüístico de inteligencia artificial que prediga la siguiente palabra.

Los modelos lingüísticos de IA funcionan prediciendo y generando una palabra cada vez. Después de cada palabra, el algoritmo de marca de agua divide aleatoriamente el vocabulario del modelo lingüístico en palabras de una «lista verde» y una «lista roja» y, a continuación, pide al modelo que elija palabras de la lista verde.

Cuantas más palabras de la lista verde haya en un pasaje, más probable es que el texto haya sido generado por una máquina. El texto escrito por una persona suele contener una mezcla más aleatoria de palabras. Por ejemplo, para la palabra «bello», el algoritmo podría clasificar la palabra «flor» como verde y «orquídea» como roja. El modelo de IA con el algoritmo de marca de agua tendría más probabilidades de utilizar la palabra «flor» que «orquídea», explica Tom Goldstein, profesor adjunto de la Universidad de Maryland, que participó en la investigación.

ChatGPT forma parte de una nueva generación de grandes modelos lingüísticos que generan textos tan fluidos que podrían confundirse con la escritura humana. Estos modelos de IA Estos modelos de IA recopilan hechos por confianza, pero son famosos por arrojar falsedades y sesgos. Para un ojo inexperto, puede ser casi imposible distinguir un pasaje escrito por un modelo de IA de otro escrito por un ser humano. La vertiginosa velocidad de desarrollo de la inteligencia artificial hace que los nuevos modelos, más potentes, reduzcan rápidamente la eficacia de las actuales herramientas de detección de textos falsos. Es una carrera constante entre los desarrolladores de IA para crear nuevas herramientas de seguridad que puedan estar a la altura de la última generación de modelos de IA.

Crossref como herramienta de búsqueda bibliográfica en artes y humanidades

Borrego, Ángel, Jordi Ardanuy, y Llorenç Arguimbau. «Crossref as a bibliographic discovery tool in the arts and humanities». Quantitative Science Studies, 20 de enero de 2023, 1-17. https://doi.org/10.1162/qss_a_00240.

Crossref es una agencia oficial de registro de identificadores de objetos digitales (DOI) lanzada en 2000 como un esfuerzo conjunto entre editores para permitir el enlace persistente de citas entre editores en revistas académicas en línea. Este estudio explora la cobertura de Crossref para el seguimiento de la literatura en artes y humanidades, que suele tener un enfoque nacional o regional y dirigirse a públicos nacionales. Un análisis de la cobertura de las revistas ERIH PLUS muestra que Crossref indexa más fuentes que Scopus e incluye más revistas de Europa del Este y del Sur y del Sur Global.

Las limitaciones de Crossref surgen al analizar la cantidad de metadatos depositados por los editores. Sólo dos tercios de las revistas depositan resúmenes y sólo alrededor de un tercio deposita afiliaciones. El nivel de cumplimentación de metadatos para artículos individuales es inferior, con grandes diferencias según el idioma del documento. Sólo la mitad de las revistas depositan referencias. Como resultado, Scopus recupera más citas que Crossref, excepto para las publicaciones en alemán y francés. Crossref representa una prometedora herramienta de búsqueda bibliográfica en el ámbito de las artes y las humanidades, pero necesita mejorar en cuanto al nivel de cumplimentación de los metadatos.