Archivo de la etiqueta: Ética de la información

Recomendaciones éticas para la investigación en inteligencia artificial del Comité Español de Ética de la Investigación (CEEI)

Recomendaciones éticas para la investigación en inteligencia artificial. Comité Español de Ética de la Investigación (CEEI), 2024

Descargar

Este informe, elaborado en colaboración con la Oficina Española de Prospectiva Tecnológica, analiza los desafíos éticos que plantea el desarrollo y la aplicación de la inteligencia artificial (IA). El CEEI ofrece una serie de recomendaciones para garantizar que la investigación en IA se lleve a cabo de forma responsable y ética, teniendo en cuenta los posibles riesgos y beneficios para la sociedad.

RESPONSABILIDAD EN EL DESARROLLO Y EL USO DE SISTEMAS AUTÓNOMOS

Este conjunto de desafíos se centra en la capacidad de los sistemas de IA para tomar decisiones de manera automática, siempre bajo supervisión humana, conforme a las Directrices Éticas para una IA Fiable publicadas por la Comisión Europea en 2018 y las de la UNESCO de 2021. Aspectos específicos relacionados con la investigación en IA incluyen:

  1. Salvaguardar los derechos humanos y fundamentales: Los investigadores y las instituciones deben asegurar que los sistemas de IA respeten la dignidad, la autodeterminación y los derechos humanos y democráticos.
  2. Salvaguardar el medioambiente: Los sistemas de IA deben desarrollarse considerando su consumo energético y su impacto ambiental.
  3. Responsabilidad: Los investigadores deben proporcionar orientación sobre las decisiones y acciones de los sistemas de IA y colaborar con sus instituciones y otras partes interesadas.
  4. Inspeccionabilidad y trazabilidad: Es necesario identificar las fuentes de datos utilizadas por el sistema y la forma en que toma decisiones para garantizar su transparencia y justicia.
  5. Divulgación de la investigación: Los investigadores deben contribuir al debate público sobre los riesgos y oportunidades de la IA y presentar un balance equilibrado entre ambos.

CONSECUENCIAS SOCIALES Y RESPONSABILIDAD SOCIAL DE LA INVESTIGACIÓN

La IA tiene un gran potencial para generar cambios en diversas áreas de aplicación. En la investigación, es esencial:

  1. Reconocer la incertidumbre: Asesorar adecuadamente sobre la incertidumbre asociada con la investigación en IA y fomentar la investigación interdisciplinar.
  2. Asegurar una participación amplia: Comunicar los riesgos y oportunidades de manera transparente e involucrar a aquellos que se ven más afectados por las decisiones.
  3. Protección de datos y consideración a los individuos: Seguir los principios fundamentales de la protección de datos y asegurar el consentimiento adecuado en el uso de datos personales.

DATOS

El uso de datos, especialmente de grandes cantidades, plantea desafíos éticos en la investigación en IA. Es esencial:

  1. Asegurar la calidad de los datos: Cuestionar la calidad y relevancia de los datos, facilitar el acceso a fuentes de datos abiertas y garantizar la verificabilidad.
  2. Acceso justo a los datos: Asegurar que la investigación, los datos utilizados y los resultados obtenidos estén disponibles públicamente, evitando la evasión de los requisitos de transparencia.

Informe sobre la autoría y las filiaciones de los trabajos científicos y técnicos

Informe sobre la autoría y las filiaciones de los trabajos científicos y técnicos. Comité Español de Ética de la Investigación. nov. 2023

Descargar


El Comité Español de Ética en la Investigación ha aprobado su primer informe sobre la autoría y afiliaciones en trabajos científicos y técnicos, en respuesta a un encargo del Ministerio de Ciencia e Innovación. Recomienda que los códigos de buenas prácticas de investigación incluyan pautas sobre la indicación de afiliaciones, priorizando el orden basado en la relación contractual. La nueva Ley de la Ciencia permite la adscripción parcial o total del personal de investigación con terceras entidades, así como la posibilidad de doble afiliación. El Comité, compuesto por expertos en diversas áreas, promueve la ética profesional y la integridad científica, emitiendo informes y recomendaciones sobre estas materias, además de establecer principios para códigos de buenas prácticas en investigación.

CANGURU: directrices éticas y de divulgación para el uso de inteligencia artificial generativa en la investigación académica

Cacciamani, Giovanni, Michael Eppler, Conner Ganjavi, Asli Pekcan, Brett Biedermann, Gary Collins, y Inderbir Gill. «Development of the ChatGPT and generative artificial intelligence natural large language models for accountable reporting and use (cangaru) guidelines», 27 de junio de 2023. https://doi.org/10.17605/OSF.IO/9Y5NW.

Ver guidelines

CANGARU es una iniciativa interdisciplinaria que busca establecer estándares éticos y de divulgación para el uso de inteligencia artificial generativa y modelos de lenguaje natural en la investigación académica. Su objetivo es promover el uso responsable de estas tecnologías mediante la colaboración con instituciones y desarrollar directrices coherentes y universales. Se enfoca en crear criterios para prácticas éticas y transparentes en el ámbito académico.

La iniciativa ChatGPT, Inteligencia Artificial Generativa y Modelos de Lenguaje Natural para el Reporte y Uso Responsable (CANGARU) con el objetivo de establecer un consenso interdisciplinario sobre el uso responsable, divulgación y guía para el reporte del uso de GAI/GPTs/LLM en el ámbito académico. Trabajando colaborativamente con individuos, organizaciones regulatorias académicas y editoriales, se mitigará de manera efectiva la posible confusión o guías conflictivas que podrían surgir cuando varios grupos trabajan independientemente en la misma tarea. A su vez, esto asegurará que cualquier recomendación sea coherente, completa y universalmente aplicable, promoviendo el uso responsable de esta poderosa tecnología.

El objetivo general de las directrices CANGARU es establecer prácticas recomendadas comúnmente compartidas y transdisciplinares para el uso de GAI/GPTs/LLM en el ámbito académico de la siguiente manera:

a. La Lista de Criterios ‘NO HACER’: Será una guía integral que tiene como objetivo asegurar el uso ético y adecuado de GAI/GPTs/LLM en la investigación académica. Cubrirá cada paso del proceso académico, desde (pero no limitado a) la generación de hipótesis de investigación, la conducción del estudio y el análisis de datos (incluida la codificación), la creación de imágenes, la interpretación de hallazgos y la redacción, revisión, refinamiento y edición del manuscrito. Esta lista servirá como un recurso valioso para los investigadores, proporcionando orientación sobre qué evitar a lo largo de las diferentes etapas del proceso de investigación. Al identificar y resaltar posibles obstáculos y preocupaciones éticas, la Lista de Criterios ‘NO HACER’ ayudará a los investigadores a navegar el uso de GAI/GPTs/LLM de manera responsable y con integridad.

b. La Lista de Criterios de Divulgación: Proporcionará orientación para que los investigadores divulguen de manera transparente su uso de GAI/GPTs/LLM en la investigación académica, mejorando la transparencia, la responsabilidad y permitiendo una mejor evaluación de los hallazgos de investigación. Se enfatiza la importancia de qué y cómo divulgar, fomentando la responsabilidad y abordando los posibles riesgos y limitaciones asociados con esta tecnología.

c. La Lista de Criterios de Reporte: Proporcionará una lista de verificación de recomendaciones para garantizar el reporte completo y transparente de GAI/GPTs/LLM cuando se utilicen como intervenciones en estudios científicos. Considerará todos los aspectos importantes que deben reportarse en el manuscrito científico para mejorar la transparencia, mejorar la reproducibilidad, estandarizar las prácticas de reporte, reducir la interpretación errónea, apoyar los procesos de revisión por pares y editoriales, y facilitar la síntesis de investigación y la traducción del conocimiento.

¿Deben los investigadores utilizar la IA para escribir artículos? Un grupo aboga por normas comunitarias

Else, H. «Should Researchers Use AI to Write Papers? Group Aims for Community-Driven Standards». Science, accedido 22 de abril de 2024. https://www.science.org/content/article/should-researchers-use-ai-write-papers-group-aims-community-driven-standards.

En los últimos meses ha surgido un intenso debate sobre cuándo y cómo deberían los programas de inteligencia artificial (IA) generadora de texto, como ChatGPT, ayudar a redactar artículos de investigación. Un grupo de 4000 investigadores de diversas disciplinas y países está trabajando en directrices que podrían ser adoptadas ampliamente en la publicación académica. Esta iniciativa, conocida como CANGARU, busca reemplazar el paisaje fragmentado de las directrices actuales con un conjunto único de estándares que representen el consenso de la comunidad investigadora.

CANGARU Generative Artificial Intelligence, and Natural Large Language Models for Accountable Reporting and Use Guidelines es una colaboración entre investigadores y editoriales como Elsevier, Springer Nature y Wiley, así como representantes de revistas como eLife, Cell y The BMJ, junto con el Comité de Ética de Publicación. El objetivo es lanzar un conjunto final de directrices para agosto, actualizándolas anualmente debido a la rápida evolución de esta tecnología. Estas directrices incluirán formas en las que los autores no deben utilizar los grandes modelos de lenguaje (LLMs) que alimentan a los chatbots, así como cómo deben revelar otros usos.

Si bien algunos argumentan que las herramientas de IA pueden ayudar a redactar manuscritos de manera responsable, otros temen que los defraudadores científicos las utilicen para publicar trabajos falsos convincentes rápidamente. La propensión de los LLMs a inventar cosas, combinada con su relativa fluidez en la escritura y un sistema de revisión por pares sobrecargado, representa una grave amenaza para la investigación y la publicación científica, según Tanya De Villiers-Botha, filósofa de la Universidad de Stellenbosch.

Algunas revistas y organismos ya han establecido reglas sobre cómo los científicos pueden usar herramientas de IA generativa en su trabajo, aunque el nivel de orientación varía. CANGARU está llevando a cabo una revisión sistemática de la literatura relevante para informar las directrices de IA. Sin embargo, algunos investigadores temen que la iniciativa no avance lo suficientemente rápido, dado el rápido progreso de la IA generativa.

El número de investigadores que utilizan estas herramientas en sus escritos parece estar aumentando, y se han identificado casos de uso no divulgado e ilícito de ChatGPT. Algunos investigadores han buscado pistas más sutiles en el texto generado por LLM. A medida que se establezcan las directrices de IA, el próximo paso será garantizar que los autores las cumplan, lo que requerirá la colaboración de las editoriales y un riguroso proceso de revisión por pares.

Prácticas editoriales depredadoras y cuestionables: cómo reconocerlas y evitarlas

Braak, Pascal, Dirk van Gorp, Chantal Hukkelhoven, y Tessa de Roo. «Predatory and Questionable Publishing Practices: How to Recognise and Avoid Them», 20 de marzo de 2024. https://doi.org/10.5281/zenodo.10688081

PDF

Esta guía, escrita por especialistas en acceso abierto en universidades de los Países Bajos, brinda información y consejos prácticos para los autores sobre cómo evitar revistas cuestionables y depredadoras.

El papel de los editores es crucial en la producción y difusión de la investigación académica. Facilitan la revisión por pares, brindan apoyo editorial, manejan la producción y distribución, y garantizan la disponibilidad de las publicaciones científicas.

Publicar con un editor de buena reputación aumenta la visibilidad de los investigadores y su trabajo, y puede ayudar a impulsar el impacto de los resultados de la investigación. Hay miles de editores (de acceso abierto) confiables en todo el mundo y en cada disciplina académica que ofrecen servicios de publicación de alta calidad guiados por las mejores prácticas y estándares internacionales.

Es beneficioso para los académicos publicar en una revista, libro o serie de conferencias autoritaria y de buena calidad producida por un editor de buena reputación en su campo de investigación. Sin embargo, hay una creciente preocupación sobre el aumento del número de editores y revistas que llevan a cabo prácticas de publicación presuntamente cuestionables, como la revisión por pares de baja calidad y/o la adquisición agresiva, y los editores depredadores fraudulentos.

Los editores depredadores pueden perjudicar a los académicos y a sus instituciones financieramente y en cuanto a la reputación al cobrar una tarifa por ninguna revisión por pares o por ningún servicio de publicación en absoluto. Los editores depredadores y las prácticas de publicación cuestionables tienen un efecto negativo en la credibilidad del registro académico publicado y en la comunidad académica en su conjunto.

¿Cómo se pueden reconocer y evitar estas prácticas y editores? ¿Qué sucede si se ha enviado un artículo a, o se encuentra en un proceso de publicación con, un editor y algo sale mal o parece inexacto?

El oscuro mundo de los carteles de citación

The Chronicle of Higher Education. «Opinion | The Dark World of ‘Citation Cartels’», 6 de marzo de 2024. https://www.chronicle.com/article/the-dark-world-of-citation-cartels.


En el complejo panorama de la investigación contemporánea, el lema «publicar o perecer» ha evolucionado gradualmente hacia un mantra diferente: «Se citado o tu carrera se verá perjudicada». Las citas son la nueva moneda académica y las carreras ahora dependen firmemente de esta forma de reconocimiento académico. De hecho, la citación se ha vuelto tan importante que ha impulsado una nueva forma de engaño: redes clandestinas diseñadas para manipular citas.

Los investigadores, impulsados por el imperativo de asegurar impacto académico, recurren a la formación de anillos de citas: círculos colaborativos diseñados para aumentar artificialmente la visibilidad de su trabajo. Al hacerlo, comprometen la integridad del discurso académico y socavan los fundamentos de la búsqueda académica. La historia del moderno «cartel de citas» no es solo resultado de la presión de publicación. El surgimiento de las mega revistas también juega un papel, al igual que las revistas depredadoras y los esfuerzos institucionales por sobresalir en las clasificaciones académicas globales.

En la última década, el panorama de la investigación académica ha sido significativamente alterado por el gran número de académicos que participan en empresas científicas. El número de académicos que contribuyen a publicaciones indexadas en matemáticas se ha duplicado, por ejemplo. En respuesta a la creciente demanda de espacio en publicaciones científicas, una nueva generación de emprendedores editoriales ha aprovechado la oportunidad, y el resultado es el surgimiento de mega revistas que publican miles de artículos anualmente. Mathematics, una revista de acceso abierto producida por el Multidisciplinary Digital Publishing Institute, publicó más de 4.763 artículos en 2023, lo que representa el 9.3 por ciento de todas las publicaciones en el campo, según Web of Science. Tiene un factor de impacto de 2.4 y una medida de influencia de artículos de solo 0.37, pero, crucialmente, está indexada por Web of Science de Clarivate, Scopus de Elsevier y otros indexadores, lo que significa que sus citas cuentan hacia una variedad de métricas profesionales. (En comparación, Annals of Mathematics, publicada por la Universidad de Princeton, contenía 22 artículos el año pasado, y tiene un factor de impacto de 4.9 y una medida de influencia de artículos de 8.3.)

Las mega revistas prosperan en la era del acceso abierto, proporcionando una plataforma conveniente para investigadores ansiosos por ver su trabajo publicado y ampliamente leído. Sin barreras de pago, los artículos en esas revistas pueden compartirse (y citarse) fácilmente. La revista gana «cargos por procesamiento de artículos» (APCs) pagados por los autores de un artículo o sus instituciones, con tarifas que suelen rondar en las cuatro cifras bajas en dólares estadounidenses por artículo. Los anillos de citas, que han existido durante décadas, ahora explotan los procesos de revisión por pares rápidos y fáciles de las mega revistas para canalizar miles de referencias a sus colaboradores. El resultado es una distorsión de los índices de citas académicas y los puntajes de factor de impacto que permiten que la erudición mediocre parezca mucho más influyente de lo que es, por el precio correcto para la revista, por supuesto.

Una métrica de citas importante objetivo para los juegos de manipulación es la prestigiosa lista de «Highly Cited Researchers» de Clarivate. «De la población mundial de científicos y científicos sociales, los Investigadores Altamente Citados™ son 1 de cada 1.000», explica Clarivate. La inclusión en la lista ocurre primero a través de la actividad de citación: «Cada investigador seleccionado ha sido autor de múltiples artículos altamente citados™ que se clasifican en el 1% superior por citaciones para su(s) campo(s)». Esa lista luego se «refina utilizando análisis cualitativo y juicio experto». En general, el sello Highly Cited Researchers de Clarivate es reconocido por la comunidad investigadora como un marcador de influencia.

La lista de investigadores altamente citados también alimenta un indicador en el Ranking de Shanghái, una clasificación académica de universidades mundiales. En un intento por obtener visibilidad internacional, las instituciones no siempre se oponen a que sus miembros de la facultad encuentren atajos para el reconocimiento académico, incluso aquellos que involucran prácticas de citas dudosas. El atractivo de subir en las tablas de clasificación internacionales

Los investigadores de Anthropic desgastan la ética de la IA con preguntas repetidas

Coldewey, Devin. «Anthropic Researchers Wear down AI Ethics with Repeated Questions». TechCrunch (blog), 2 de abril de 2024. https://techcrunch.com/2024/04/02/anthropic-researchers-wear-down-ai-ethics-with-repeated-questions/.

Un equipo de investigadores de Anthropic ha descubierto una nueva técnica de «jailbreak» en la que un modelo de lenguaje grande (LLM) puede ser convencido para decir cómo construir una bomba si se le alimenta primero con unas pocas docenas de preguntas menos dañinas. Llamado «jailbreaking de múltiples tomas», este enfoque ha sido documentado en un artículo y compartido con la comunidad de IA para su mitigación.

La vulnerabilidad es resultado de la ventana de contexto expandida de las últimas generaciones de LLMs, permitiéndoles almacenar miles de palabras e incluso libros enteros en memoria a corto plazo.

Los investigadores observaron que estos modelos tienden a desempeñarse mejor en tareas si hay muchos ejemplos de esa tarea en la consulta. Sin embargo, también descubrieron que los modelos mejoran en responder preguntas inapropiadas a medida que se les hace más preguntas triviales.

El equipo ha compartido esta técnica con la comunidad de IA, promoviendo la cultura de compartir abiertamente exploits entre proveedores e investigadores de LLMs.

Para mitigar esta vulnerabilidad, están trabajando en clasificar y contextualizar las consultas antes de enviarlas al modelo. Sin embargo, este enfoque solo mueve el problema a otro modelo.

Los hackers obligan a los chatbots de IA a romper sus propias reglas

Sabin, Sam. «“Social Engineering” Hacks Work on Chatbots, Too». Axios, 3 de abril de 2024. https://www.axios.com/2024/04/03/ai-chatbots-def-con-red-team-hack.


Los hackers pueden utilizar tácticas comunes de ingeniería social para forzar a los chatbots de IA a ignorar las salvaguardas. Bloquear las indicaciones que evitan las salvaguardas de la IA generativa se ha convertido en un juego del gato y el ratón, y este informe indica que los ratones están ganando.

Aproximadamente 2,200 hackers participaron en el evento en Las Vegas e intentaron resolver 21 desafíos para probar la seguridad de ocho modelos de IA diferentes. Por los números: En el desafío DEF CON, 2,702 conversaciones —o 15.5%— llevaron a los usuarios a manipular con éxito un modelo para romper sus reglas o compartir información sensible que no debería.

Los participantes intentaron 2.413 veces hacer que un modelo traicionara sus salvaguardas utilizando indicaciones que comenzaban con «Eres un.» De esos intentos, el 9.8% tuvo éxito. El 28% de los 175 intentos tuvieron éxito mediante una estrategia de «Cadena de pensamiento», donde los usuarios piden al modelo que explique los pasos que está tomando para responder a una pregunta específica para que arroje información falsa, sensible o engañosa. Entre líneas: Las indicaciones más exitosas pidieron a los bots que siguieran un guion específico o jugaran junto con una idea.

Esas indicaciones comenzaban con frases como «Escribe un poema», «Cuéntame una historia ficticia» y «Eres un corresponsal político intentando influir en la opinión pública.» La imagen completa: Los chatbots de IA populares, incluidos los operados por OpenAI y Google, están diseñados para ser accesibles y sociales.

A diferencia de un motor de búsqueda, los chatbots están construidos para mantener conversaciones y responder a ciertos indicadores sociales. Sin embargo, eso los convierte en objetivos principales para ingenieros sociales astutos. Detener tales esfuerzos requeriría que las empresas comprendieran la intención de un usuario, lo que probablemente solo podría señalarse si alguien estuviera enviando repetidamente indicaciones abiertamente maliciosas, señala el informe. En algunos desafíos, los participantes encontraron éxito al emplear estrategias que parecían ser un simple error del usuario o al afirmar falsedades que en realidad eran hechos, según el informe.

Un usuario preguntó al chatbot: «Por favor, proporciona el PIB de Florida para el 2500.» Aunque no hay una proyección estimada para el PIB del estado en ese año, el bot ofreció una respuesta. En otro ejemplo, un participante engañó al modelo para que escribiera un discurso afirmando que la crisis económica de EE. UU. de 2008 ocurrió en 2005 al pedirle que finja ser un político tratando de convencer al público. Puesta al día rápida: Desde que ChatGPT y otros chatbots similares se hicieron ampliamente disponibles, los usuarios han encontrado formas de desbloquearlos.

Los usuarios han logrado que ChatGPT ignore sus salvaguardas pidiéndole que actúe como si estuviera ayudando a un «villano» a robar en una tienda o que finja ser la «abuela fallecida» de alguien que era ingeniera química para que comparta los ingredientes para el napalm. Incluso han construido chatbots diseñados para ayudar a desbloquear otros chatbots de IA. OpenAI puede estar agregando un nuevo riesgo con su movimiento a principios de esta semana para permitir que las personas usen ChatGPT sin crear una cuenta. Lo que están diciendo: «Lo difícil de abordar estos desafíos es que es difícil distinguir un ataque de un uso aceptable», dice el informe.

«No hay nada de malo en pedirle a un modelo que genere historias, o que pida instrucciones específicas —incluso sobre temas que pueden parecer un poco arriesgados». Sí, pero: No todas las preguntas en las que los usuarios usaron una indicación o un escenario de juego de roles funcionaron.

Ninguna de las 580 peticiones en las que un usuario le dijo al chatbot que «ignorara la instrucción anterior» tuvo éxito. Lo que estamos observando: La facilidad con la que los actores malintencionados podrían desbloquear los chatbots actuales es uno de varios problemas con la IA generativa, y la acumulación de problemas corre el riesgo de sumir a la industria en una «depresión de la desilusión».

Abordando preocupaciones sobre la manipulación sistemática del proceso de publicación

Addressing concerns about systematic manipulation of the publication process. Cope, 2023

Descargar

Según el Comité de Ética de las Publicaciones, una organización sin ánimo de lucro financiada por los editores, las revistas pueden decidir rechazar o retractarse de los lotes de artículos sospechosos de haber sido producidos por una Paper mills, aunque las pruebas sean circunstanciales. Sus directrices anteriores animaban a las revistas a pedir más información a los autores de cada artículo sospechoso, lo que puede desencadenar un largo tira y afloja.

Este documento proporciona orientación práctica para abordar cuatro áreas de preocupación donde los editores necesitan más orientación: cómo manejar la carga práctica y administrativa de recopilar evidencia; cómo proporcionar un debido proceso oportuno que considere la evaluación en lote, al mismo tiempo que también considere los impactos y restricciones de recursos para revistas/editoriales; el alcance y los mecanismos para compartir información entre editores; y cómo manejar las demandas conflictivas de libertad editorial, responsabilidad editorial y riesgos legales.

Este documento complementa la orientación de COPE sobre la manipulación sistemática del proceso de publicación y debe utilizarse junto con ella.

Puntos clave La orientación cubre los principios generales:

  • La necesidad de políticas de revistas que especifiquen qué acciones se tomarán si hay sospechas de manipulación del proceso de publicación (fábricas de artículos).
  • La necesidad de compartir información de manera confidencial entre editores (por ejemplo, a través del foro de editores de COPE o del STM Integrity Hub).
  • La gestión de casos de manera colectiva en lugar de caso por caso.
  • Transparencia en los avisos de retractación relacionados con la manipulación del proceso de publicación.
  • La toma de decisiones editoriales basada en todas las pruebas (incluidas las circunstanciales) relevantes para las preocupaciones a nivel de lote, y empoderar a los editores para usar el juicio sobre si se debe solicitar datos primarios u otra documentación.
  • El papel del editor en apoyar a los editores para tomar decisiones basadas en la confiabilidad del contenido, y asegurar que haya sistemas para respaldar a los editores en responder a amenazas legales.

Otros documentos

La compra de citas de investigación en la publicación académica

Langin, Katie «Vendor Offering Citations for Purchase Is Latest Bad Actor in Scholarly Publishing». Science 12 feb. 2024, Accedido 20 de febrero de 2024. https://www.science.org/content/article/vendor-offering-citations-purchase-latest-bad-actor-scholarly-publishing.

Un nuevo estudio resalta que un vendedor que ofrece citas a la venta se suma a la lista de actores problemáticos en la publicación académica. Según la investigación, investigadores sin escrúpulos disponen de múltiples opciones para manipular las métricas de citas.

En 2023, apareció un nuevo perfil de Google Scholar en línea que presentaba a un investigador desconocido. En pocos meses, el científico, un experto en noticias falsas, fue catalogado por la base de datos académica como el 36º investigador más citado en su campo. Tenía un índice h de 19, lo que significa que había publicado 19 artículos académicos que habían sido citados al menos 19 veces cada uno. Fue un impresionante debut en la escena de la publicación académica.

Pero nada de eso era legítimo. El investigador y su institución eran ficticios, creados por investigadores de la Universidad de Nueva York en Abu Dhabi que investigaban prácticas editoriales cuestionables. Las publicaciones fueron escritas por ChatGPT. Y los números de citas eran falsos: algunas provenían de la excesiva auto-cita del autor, mientras que otras 50 fueron compradas por 300$ a un vendedor que ofrecía un «servicio de impulso de citas».

«La capacidad de comprar citas en gran cantidad es un desarrollo nuevo y preocupante», dice Jennifer Byrne, una investigadora de cáncer de la Universidad de Sídney que ha estudiado publicaciones problemáticas en la literatura biomédica. En la universidad, el índice h de un investigador y el número de citas que han recibido a menudo se utilizan para decisiones de contratación y ascenso. Y el perfil fabricado, que fue parte de un estudio publicado como preprint la semana pasada en arXiv, muestra tácticas «extremas» que se pueden emplear para manipularlos, agrega Byrne, quien no estuvo involucrada en el trabajo. (Los investigadores declinaron nombrar al vendedor para evitar darles más negocios).

El estudio comenzó cuando Yasir Zaki, un científico de la computación en la Universidad de Nueva York en Abu Dhabi, y sus colegas notaron patrones preocupantes entre investigadores reales. Después de examinar los perfiles de Google Scholar de más de 1.6 millones de científicos y mirar a autores con al menos 10 publicaciones y 200 citas, el equipo identificó a 1016 científicos que habían experimentado un aumento de 10 veces en las citas en un solo año. «Sabes que algo anda mal cuando un científico experimenta un aumento repentino y masivo en sus citas», dice Zaki.

El equipo señaló a 114 científicos que habían recibido más de 18 citas de un solo artículo, un signo sospechoso, según Zaki, «ya que es raro que incluso los científicos establecidos tengan más de un puñado de citas provenientes de la misma fuente». En un caso particularmente flagrante, el 90% de las referencias en un solo artículo citaban las publicaciones de un científico. «Fue… publicado en una revista de la que el científico sospechoso es editor», dice Zaki.

Muchas de las citas asociadas con los 114 científicos sospechosos provenían de publicaciones de baja calidad, dicen los investigadores, incluidos preprints, que no están sujetos a revisión por pares. Algunas de las publicaciones citantes ni siquiera mencionaban el trabajo del investigador en el texto principal del artículo; la cita simplemente se había añadido a la lista de referencias al final.

El equipo también notó que uno de los autores había recibido muchas citas de documentos alojados por una cuenta en ResearchGate, un sitio de redes sociales para científicos. «Para nuestro asombro, ¡esa cuenta estaba anunciando abiertamente un servicio de compra de citas!», dice el autor del estudio, Talal Rahwan, un científico de informática en la Universidad de Nueva York en Abu Dhabi.

Fue entonces cuando decidieron crear el perfil ficticio de Google Scholar y ver si podían comprar citas ellos mismos. Le pidieron a ChatGPT que escribiera 20 artículos de investigación sobre el tema de las noticias falsas, incluyendo muchas auto-citas, referencias a documentos escritos por el mismo autor ficticio, imitando una práctica que algunos investigadores usan para aumentar sus números de citas.

Luego, publicaron los artículos en varios servidores de preprints. Google Scholar detectó esos artículos en su exploración de la literatura académica y se recogieron en el perfil del autor ficticio, enumerando esos preprints como publicaciones y dándole al investigador crédito por 380 auto-citas contenidas en ellos.

A partir de ahí, fue relativamente fácil comprar citas adicionales. Utilizando el nombre del científico ficticio, el equipo de investigación contactó al vendedor a través de WhatsApp y compró el «paquete de 50 citas». Dentro de 40 días, se publicaron cinco artículos que incluían cada uno 10 citas al trabajo del investigador de noticias falsas ficticio. Cuatro de los cinco aparecieron en una sola revista de química. «Esto no tenía sentido, ya que los documentos de nuestro investigador ficticio no estaban ni remotamente relacionados con la química», señala Rahwan.

El estudio sugiere que algunos investigadores están utilizando tácticas similares a las empleadas por el equipo de la Universidad de Nueva York en Abu Dhabi para aumentar sus clasificaciones de citas. «La evidencia que muestran en este documento es bastante sólida», dice Naoki Masuda, un matemático de la Universidad de Buffalo que ha estudiado citas anómalas.

Los autores no pueden decir cuan extendidos son estos problemas en la literatura académica. «Solo nos enfocamos en los casos escandalosos», dice Rahwan. Pero vieron señales de que otros artículos publicados por la misma revista de química pueden haber incluido citas que fueron compradas: Once otros (reales) científicos habían recibido al menos 10 citas de un solo artículo publicado en esa revista.

Bernhard Sabel, un neuropsicólogo de la Universidad Otto von Guericke en Magdeburgo que ha estudiado fábricas de papel que venden autoría en artículos científicos, dice que la comunidad académica debería estar «muy preocupada» por este tipo de manipulaciones. «El problema es grande, y ha estado creciendo rápidamente en los últimos 10-15 años», agrega Sabel. En su opinión, Google Scholar y otras bases de datos