Archivo de la etiqueta: Ética de la información

Un científico altamente citado publicó 50 artículos tras su muerte

Highly cited scientist published dozens of papers after his death.Retraction Watch, 2024

Ver original

Uno de los autores más citados en ingeniería ha seguido publicando tras su muerte hace más de un año. Jiří Jaromír Klemeš, investigador de la Universidad Tecnológica de Brno (República Checa) y uno de los principales editores de una revista de Elsevier que ha sido objeto de críticas por la autocitación de autores, figura como coautor de al menos 49 artículos publicados desde su muerte en enero de 2023.

La mayoría de los artículos no mencionan que Klemeš ha fallecido. No está del todo claro si deberían haberlo hecho. Las editoriales y las revistas no son coherentes en cuanto al protocolo a seguir tras la muerte de un colaborador de investigación, una falta de coherencia que incluso ha suscitado cierto debate entre nuestros propios lectores en el pasado.

De los 49 artículos póstumos en los que Klemeš figura como coautor, 27 no mencionan su muerte. Los comentaristas de PubPeer han detectado varios de estos casos y los han consultado sin obtener una respuesta significativa de los autores supervivientes.

Comentaristas en PubPeer han señalado varias de estas instancias y las han cuestionado sin una respuesta significativa de los autores supervivientes. Uno de los comentaristas señaló que un artículo revisado y publicado por Klemeš en junio de 2023 tenía una nota que reconocía que todos los autores habían leído y acordado el contenido del manuscrito publicado. «La declaración actual es factualmente incorrecta por razones obvias», escribió el comentarista. Aunque no está claro qué tan común es la autoría de autores fallecidos en la comunidad científica más amplia, un estudio que examinó el campo biomédico encontró que el fenómeno ha estado en aumento desde el año 2000. Las razones detrás de esta «tendencia creciente» no están claras, según el estudio. Aunque los autores supervivientes a menudo pueden querer reconocer las contribuciones de un colega fallecido, otorgar autoría a un investigador fallecido podría tener motivos ulteriores, como aumentar las posibilidades de publicación de un artículo.

La gran mayoría de los artículos póstumos de Klemeš están en títulos publicados por Elsevier, incluidas las dos revistas con el mayor número de publicaciones que no citaron la muerte del investigador: Energy y Journal of Cleaner Production. En respuesta a nuestras consultas a Energy, un portavoz de Elsevier escribió que la editorial no tiene una política para reconocer la muerte de un coautor. Klemeš confirmó la coautoría de ocho de las 14 publicaciones en Energy, según el portavoz. Para las seis que se presentaron después de su muerte, dos confirmaron su coautoría en los agradecimientos y una fue confirmada por una declaración de otro autor. «Estamos en proceso de obtener declaraciones de coautoría para los 3 artículos restantes», continuó el correo electrónico. Un editor de Journal of Cleaner Production dijo que revisaría cuidadosamente todos los artículos sobre los que preguntamos.

Hasta su muerte, Klemeš fue editor de tema en Energy y coeditor en jefe de Journal of Cleaner Production. Como hemos informado anteriormente, Journal of Cleaner Production fue mencionado en una expresión de preocupación de Clarivate, un servicio de indexación de revistas, por un número desproporcionadamente alto de autocitas, que suman más de 11.000 de 47.000, o aproximadamente un cuarto, de las referencias documentadas. Petar Sabev Varbanov, un colaborador frecuente de Klemeš y coautor o editor de 17 de las publicaciones póstumas, no respondió a una solicitud de comentario. Klemeš, quien fue jefe del Centro de Investigación Laboratorio de Integración de Procesos Sostenibles (SPIL), fue incluido regularmente en los «líderes altamente citados», obteniendo el título de Clarivate en 2020, 2022 y 2023.

En años anteriores, también fue mencionado como un revisor destacado y editor de manejo. Hablando en una conferencia en Malasia en 2016, bromeó diciendo que revisó 16 artículos en el descanso para almorzar. Hace una década, escribimos sobre un investigador que parecía haber enviado revisiones a un manuscrito después de su muerte. En ese momento, la revista argumentó que, dado que contribuyó al manuscrito, su nombre debería mantenerse como autor. Entre los artículos póstumos de Klemeš, aquellos que explícitamente señalaron su muerte incluyeron una nota en los agradecimientos dedicando el artículo a su memoria o un símbolo de daga (†) junto a su nombre

Según las pautas de autoría de las revistas, tal reconocimiento no parece ser necesario la mayor parte del tiempo. Elsevier no tiene instrucciones explícitas sobre autores fallecidos, pero señala ampliamente que la autoría «debe limitarse a aquellos que han hecho una contribución significativa a la concepción, diseño, ejecución o interpretación del estudio informado».

Springer Nature, también entre los editores de los artículos póstumos de Klemeš, dice que los coautores deben obtener la aprobación de un representante para incluir al autor fallecido. La American Chemical Society, otro de los editores, establece que la persona fallecida debe incluirse con una nota que indique la fecha de la muerte, una directiva seguida por uno de los dos artículos publicados por la sociedad. Tampoco hay un consenso claro entre las organizaciones sin fines de lucro que ayudan a dar forma a las mejores prácticas en la publicación académica. Los criterios de autoría recomendados por el Comité Internacional de Editores de Revistas Médicas dicen que los autores deben dar «aprobación final de la versión a ser publicada», una tarea potencialmente imposible para un autor fallecido, dependiendo del momento de la publicación y la muerte de la persona.

El Comité de Ética de Publicación (COPE), por otro lado, ha dado consejos caso por caso. En un caso, el grupo recomendó agregar una nota al pie sobre la muerte y la contribución del autor. En otro, recomendó conectarse con un compañero sobreviviente o el patrimonio de la persona para aceptar la prueba. ¿Te gusta Retraction Watch? Puedes hacer una contribución deducible de impuestos para apoyar nuestro trabajo, suscribirte a nuestro resumen diario gratuito o actualización semanal paga, seguirnos en Twitter, darle me gusta a nuestra página de Facebook o agregarnos a tu lector de RSS. Si encuentras una retractación

Pensamiento crítico y ética en la era de la IA generativa en la educación

Study of Generative AI Technologies in Education: A Critical Look into the Future of Learning. USC Center for Generative AI and Society, 2024

Texto completo

Este informe es una colección de seis artículos breves (más una introducción y una lista de los investigadores de IA Generativa), de los cuales «An Undergraduate Perspective of Generative AI in Undergraduate Education», de Eric Bui, y «Authoring by Editing and Revising: Considering Generative AI Tools», de Benjamin Nye, fueron los más sustanciosos e interesantes, ya que cada uno describe el uso de la IA de una manera ligeramente diferente, como fomento de la investigación, el pensamiento crítico y las habilidades de edición, al tiempo que se utiliza como asistente, en lugar de «profesor». Ambas son buenas lecturas. A través de Jonathan Kantrowitz, que destaca otro artículo de la colección, «Ethics in Generative AI: Report From the Field», de Stephen Aguilar, que informa de que «el género del profesor y su comodidad con la tecnología son factores que influyen en la adopción de la inteligencia artificial en el aula».

El fenómeno de los cárteles de citas en la academia: manipulación y desafíos en la evaluación de la investigación


Catanzaro, Michele «Citation Cartels Help Some Mathematicians—and Their Universities—Climb the Rankings». 30 Jan 20243:30 Pm . Accedido 7 de febrero de 2024. https://www.science.org/content/article/citation-cartels-help-some-mathematicians-and-their-universities-climb-rankings.


Los círculos de matemáticos en instituciones de China, Arabia Saudita y otros lugares han estado aumentando artificialmente el número de citas de sus colegas mediante la producción de documentos de baja calidad que hacen referencia repetidamente a su trabajo, según un análisis no publicado, escribe Michele Catanzaro para Science.

Los «cárteles de citas» son grupos de investigadores que se asocian para inflar artificialmente el número de citas a sus trabajos académicos. Esto se logra mediante prácticas como referenciar repetidamente el trabajo de colegas del mismo grupo en sus propias publicaciones, incluso si es irrelevante para el tema en cuestión. El objetivo principal de estos cárteles es aumentar la visibilidad y el prestigio de sus miembros, así como el de las instituciones a las que pertenecen, en los rankings académicos y en la comunidad científica en general.

El artículo pone de relieve una tendencia preocupante en el campo de las matemáticas, donde los cárteles de citas están inflando artificialmente los recuentos de citas de determinados investigadores e instituciones. Esta práctica se ha observado sobre todo en China, Arabia Saudí y Egipto, donde matemáticos menos conocidos de instituciones con poca tradición matemática han estado desproporcionadamente representados en las listas de investigadores muy citados.

Domingo Docampo, matemático de la Universidad de Vigo, realizó un análisis a lo largo de 15 años y descubrió que las instituciones con poca tradición matemática, sobre todo en China y Arabia Saudí, se habían aupado a los primeros puestos de los artículos sobre matemáticas más citados. Este ascenso iba acompañado de pautas que sugerían la existencia de cárteles de citas, ya que éstas procedían a menudo de investigadores de la misma institución que los autores del artículo citado. Además, muchas de estas citas se encontraron en revistas depredadoras, donde las prácticas poco éticas de citación pueden estar más toleradas.

Aunque algunas instituciones, como la Universidad de Medicina de China, niegan estar implicadas en tales prácticas, las pruebas sugieren una manipulación generalizada de las citas. Clarivate, respondió a este problema excluyendo las matemáticas de su influyente lista de investigadores muy citados, alegando la preocupación por la manipulación y la vulnerabilidad del campo debido a su tamaño relativamente pequeño.

Sin embargo, algunos expertos sostienen que la manipulación de las citas no es exclusiva de las matemáticas y puede estar ocurriendo también en otras disciplinas. Sugieren que basarse únicamente en las citas como medida de la calidad científica es erróneo y que se necesita un enfoque más exacto de la evaluación. Docampo está trabajando en el desarrollo de una métrica que tenga en cuenta la calidad de las revistas y las instituciones que citan para abordar esta cuestión.

En general, el artículo pone de relieve los complejos retos que plantea la evaluación de la calidad de la investigación y la necesidad de sistemas sólidos para detectar y prevenir prácticas poco éticas como la manipulación de citas.

Tres editoriales científicas prometen mantener los estándares de publicación que sustentan las comunicaciones académicas éticas y de alta calidad en sus revistas

Cullen, C. (2024, febrero 5). AIP Publishing, the American Physical Society and IOP Publishing create new ‘Purpose-Led Publishing’ coalition. IOP Publishing. https://ioppublishing.org/news/aip-publishing-the-american-physical-society-and-iop-publishing-create-new-purpose-led-publishing-coalition/

AIP Publishing, la Sociedad Americana de Física y IOP Publishing se han unido para crear Purpose-Led Publishing (PLP), una nueva coalición con la promesa de siempre anteponer el propósito al beneficio económico denominada «Publicación con Propósito»

Los tres editores académicos están unidos por su condición de organizaciones sin fines de lucro, con todos los fondos generados por la publicación destinados al ecosistema de la investigación. Sus contribuciones colectivas respaldan a la comunidad de ciencias físicas a nivel global mediante una variedad de iniciativas, que incluyen programas de formación y mentoría educativa, y premios y subvenciones, todo ello orientado a hacer que la ciencia sea accesible e inclusiva para todos.

Como miembros de PLP, los editores han definido un conjunto de estándares de la industria que sustentan las comunicaciones académicas éticas y de alta calidad. Estos constituyen la base de la promesa de PLP a la comunidad científica:

Siempre:

  • Invertir el 100% de nuestros fondos en la ciencia.
  • Publicar solo el contenido que realmente contribuye al conocimiento científico.
  • Garantizar que nuestros términos sean razonables.
  • Priorizar la integridad de la investigación por encima del beneficio económico.
  • Reconocer nuestros errores y corregirlos.

Nunca:

  • Renunciar a nuestro estatus de organizaciones sin fines de lucro.
  • Tener accionistas para quienes el beneficio económico esté por encima del propósito.

Guía para el Uso de Inteligencia Artificial Generativa (GenAI) en la Investigación Académica de la Universidad de Cornell

Generative AI in Academic Research: Perspectives and Cultural Norms. (s. f.). Research & Innovation. Recuperado 22 de enero de 2024, de https://research-and-innovation.cornell.edu/generative-ai-in-academic-research/

PDF

Un grupo de trabajo multidisciplinario de profesores y personal de Cornell ha publicado un informe que ofrece perspectivas y pautas prácticas para el uso de la inteligencia artificial generativa (GenAI) en la práctica y difusión de la investigación académica de Cornell.

El informe, publicado el 15 de diciembre, marca el primer paso para establecer un conjunto inicial de perspectivas y normas culturales para los investigadores de Cornell, líderes de equipos de investigación y personal de administración de la investigación. El grupo de trabajo fue liderado por Krystyn Van Vliet, vicepresidenta de investigación e innovación.

A principios del semestre de otoño, Cornell emitió un informe que ofrecía orientación a los profesores para enseñar en la era de ChatGPT y otras tecnologías de GenAI. Y el 5 de enero, Cornell emitió su tercer y último informe relacionado con GenAI, con orientación sobre la inteligencia artificial generativa en la administración; los tres informes se encuentran en el sitio web de AI de IT@Cornell.

El informe de investigación aborda el uso de GenAI en cuatro etapas del proceso de investigación:

  • Concepción y ejecución: incluye la ideación, revisión de literatura, generación de hipótesis y otras partes del proceso de investigación «interno» por parte del individuo y el equipo de investigación, antes de la divulgación pública de ideas o resultados de investigación.
  • Diseminación: incluye la divulgación pública de ideas y resultados de investigación, incluidas publicaciones en revistas revisadas por pares, manuscritos, libros y otras obras creativas.
  • Traducción: incluye la reducción de hallazgos o resultados de investigación a la práctica, que puede adoptar la forma de invenciones patentadas o derechos de autor.
  • Financiamiento y cumplimiento de acuerdos de financiamiento: incluye propuestas que buscan financiamiento para planes de investigación, así como el cumplimiento de las expectativas de patrocinadores o políticas gubernamentales de EE. UU. relevantes para Cornell.

Como señala el informe, además de funciones tan ubicuas como revisión ortográfica y gramatical, la inteligencia artificial ya se utiliza como herramienta en actividades relacionadas con la investigación, como análisis de datos y recuperación de documentos, pero solo para aquellos con experiencia programando. GenAI permitiría que estas herramientas sean accesibles para más personas, incluidos investigadores y personal de apoyo.

«Estas tecnologías en rápida evolución tienen el potencial de provocar cambios transformadores en la investigación académica, pero representan un territorio inexplorado, con grandes oportunidades y riesgos significativos», dijo Natalie Bazarova, profesora de comunicación en la Facultad de Agricultura y Ciencias de la Vida y viceprovost asociada en la Oficina del Vicepresidente de Investigación e Innovación (OVPRI). «En nuestro informe, proporcionamos pautas y salvaguardias para garantizar que la investigación se realice con los más altos niveles de integridad, alentando al mismo tiempo la exploración de estas nuevas herramientas y fronteras de investigación de GenAI».

David Mimno, miembro del grupo de trabajo y profesor asociado de ciencia de la información en la Facultad de Computación e Información de Ann S. Bowers de Cornell, describe su percepción general de la tecnología como «optimista con precaución».

«Mientras hay muchas oportunidades valiosas y útiles, que solo crecerán a medida que las personas descubran nuevas formas de utilizar los sistemas, hay mucha incertidumbre, tecnología que cambia rápidamente y límites fundamentales», dijo. «En este momento, estamos en una zona muy peligrosa donde los sistemas son lo suficientemente buenos como para que las personas confíen en ellos, pero no lo suficientemente buenos como para que deban confiar en ellos».

El grupo de trabajo presenta las posibilidades y los peligros potenciales de la tecnología emergente: «GenAI proporciona al usuario una sensación de poder en su aparente asistencia intelectual a pedido, lo que, como era de esperar, también implica la necesidad de asumir responsabilidades. Los grupos y proyectos de investigación académica a menudo incluyen múltiples usuarios con diferentes etapas de contribución, diferentes grados de experiencia y liderazgo, y diferentes responsabilidades con respecto a la integridad de la investigación y la traducción de los resultados de la investigación al impacto en la sociedad».

El informe incluye una sección de preguntas y respuestas centrada en las mejores prácticas y casos de uso para cada una de las cuatro etapas de investigación que pueden servir como iniciadores de discusión para las comunidades de investigación, así como un resumen de las políticas de publicación comunitarias existentes con respecto al uso de GenAI en investigación por parte de financiadores, revistas, sociedades profesionales y colegas.

El problema de las fabricas de artículos falsos en la ciencia (Paper Mills)

 United2Act consensus statement on action against paper mills 2024

COPE Postition Statement on Paper Mills

Más sobre Paper Mills

Las «fabricas de papers» (Paper Mills) representan una amenaza real para la integridad del registro académico. Se necesita un esfuerzo colectivo porque ningún interesado individual puede resolver este problema por sí mismo. Una cumbre virtual en mayo de 2023 involucró a organismos de investigación, editores, investigadores, universidades e infraestructuras de publicación de 15 países dio lugar a una Declaración de Consenso que describe cinco áreas clave de acción.

Un destacado grupo de financiadores, editores académicos y organizaciones de investigación ha puesto en marcha una iniciativa para atajar uno de los problemas más espinosos de la integridad científica: las «paper mill», empresas que producen artículos falsos o de mala calidad y venden autorías. En un comunicado publicado el 19 de enero, el grupo explica cómo abordará el problema con medidas como el estudio detallado de estas organizaciones, incluidas sus especialidades regionales y temáticas, y la mejora de los métodos de verificación de los autores.

Los participantes en la Cumbre United2Act acordaron cinco acciones clave de colaboración entre múltiples interesados para abordar el problema de las paper mills

  1. Educación y Conciencia:
    • Crear nuevas herramientas y recursos educativos.
    • Promover actividades de educación y conciencia para informar a investigadores, editores de revistas, revisores, revistas y editores sobre el problema de las fabricas de papers
  2. Mejorar las Correcciones Post-Publicación:
    • Investigar y acordar formas de mejorar la comunicación con aquellos que informan sobre mala conducta a las revistas.
    • Acordar formas de acelerar la corrección de la literatura cuando se descubre mala conducta.
  3. Investigar las Paper Mills:
    • Trabajar con partes interesadas para facilitar y organizar investigaciones sobre las fabricas de papers
    • Prestar especial atención a aspectos regionales y específicos del tema en los esfuerzos de investigación.
  4. Facilitar el Desarrollo de Indicadores de Confianza:
    • Colaborar con los diversos proveedores que desarrollan herramientas para verificar la identidad de autores, revisores y editores.
    • Asegurar que estas soluciones funcionen para la variedad de autores y elecciones de autores y sean adecuadas para su propósito previsto.
  5. Continuar Facilitando el Diálogo entre los Interesados:
    • Mantener un diálogo continuo entre los interesados sobre la manipulación sistemática del proceso de publicación.
    • Fomentar proyectos e iniciativas conjuntas para reunir las diversas voces en este campo.

La Declaración de Consenso delineó una estrategia integral que abarca la educación, procesos de corrección, iniciativas de investigación, soluciones tecnológicas y colaboración continua para combatir colectivamente la amenaza que representan las «fabricas de papers» para la integridad del registro académico.

¿Cuál es la magnitud del problema de los artículos falsos en la ciencia?

Van Noorden, Richard. 2023. «How Big Is Science’s Fake-Paper Problem?» Nature 623 (7987): 466-67. https://doi.org/10.1038/d41586-023-03464-x.

La literatura científica está contaminada con manuscritos falsos generados por fábricas de documentos (Paper Mills), empresas que venden trabajos y autorías falsas a investigadores que necesitan publicaciones para sus currículos. Un análisis no publicado compartido con Nature sugiere que en las últimas dos décadas se han publicado más de 400.000 artículos de investigación que muestran similitudes textuales con estudios conocidos producidos por estas fábricas. Alrededor de 70.000 de estos fueron publicados solo el año pasado. El análisis estima que el 1.5-2% de todos los artículos científicos publicados en 2022 se asemejan estrechamente a trabajos de fábricas de documentos, aumentando al 3% en biología y medicina.

El problema de las fábricas de documentos se ilustra en un gráfico que muestra el porcentaje de artículos con similitud a productos de fábricas de 2000 a 2022, según estimaciones no publicadas de Adam Day.

Sin investigaciones individuales, es imposible saber si todos estos documentos son realmente productos de fábricas de documentos. Adam Day, director de la empresa de servicios de datos académicos Clear Skies en Londres, realizó el análisis utilizando un software de aprendizaje automático llamado Papermill Alarm. En septiembre, una iniciativa de editores llamada STM Integrity Hub, que busca combatir la ciencia fraudulenta, licenció una versión del software de Day para detectar manuscritos potencialmente fabricados.

Los estudios de fábricas de documentos se producen en lotes grandes y a gran velocidad, a menudo siguiendo plantillas específicas. Day utilizó su software para analizar títulos y resúmenes de más de 48 millones de artículos publicados desde 2000, identificando manuscritos con texto que se asemejaba mucho a trabajos conocidos de fábricas de documentos.

Bimler elogia el enfoque de similitud estilística de Day como el mejor disponible para estimar la prevalencia de estos estudios, aunque advierte sobre posibles falsos positivos. Day intentó minimizarlos validando los resultados con conjuntos de prueba de documentos genuinos o falsos.

Day también examinó un subconjunto de 2.85 millones de trabajos publicados en 2022, encontrando que alrededor del 2.2% se parecían a estudios de fábricas de documentos, variando según la disciplina científica.

A pesar de algunas preocupaciones, la estimación de Day es considerada plausible por algunos expertos. Day ve su estimación como un límite inferior, ya que puede perder fábricas de documentos que evitan plantillas conocidas. La distribución de estas fábricas no es uniforme en las revistas y se agrupan en títulos específicos, aunque Day no revela públicamente cuáles se ven más afectados.

Se destaca que las editoriales han intensificado sus esfuerzos para combatir las fábricas de documentos, utilizando diversas señales, como patrones textuales, direcciones de correo sospechosas, gráficos idénticos que representan diferentes experimentos y otras pistas.

A pesar de los esfuerzos, el problema parece abrumar los sistemas de las editoriales. La base de datos de retractaciones más grande del mundo, mantenida por Retraction Watch, registra menos de 3.000 retractaciones relacionadas con actividades de fábricas de documentos de un total de 44.000. Los números de retractación son considerados una subestimación, lo que sugiere que los productores de fábricas de documentos se sienten relativamente seguros.

La curación de los datos es un paso crítico en la creación de una Inteligencia Artificial Súper Inteligente (ASI) segura.

AI is Deterministic Based Upon the Starting Data – AI Alignment Could Be Relatively Easy. Next Big Future November 27, 2023 by Brian Wang

Texto completo

Un empleado de OpenAI ha observado que los Modelos de Lenguaje Grandes (LLM) que comienzan con el mismo conjunto de datos convergen hacia el mismo punto. Esto sugiere que la curación de los datos es un paso crítico en la creación de una Inteligencia Artificial Súper Inteligente (ASI) segura. Si podemos cargar la IA con ejemplos éticos deseados y a favor de la humanidad desde el principio, el sistema resultante debería tener un núcleo de seguridad alineado con los valores humanos.

La superinteligencia artificial (ASI) es un sistema basado en software con capacidades intelectuales más allá de las de los humanos en una amplia gama de categorías y campos de acción. La ASI aún no existe y es un estado hipotético de la inteligencia artificial (IA). La ASI difiere de la inteligencia artificial regular (IA), que implica la simulación basada en software de las capacidades intelectuales humanas, como el aprendizaje a través de la adquisición de información, el razonamiento y la autocorrección

Se plantea la posibilidad de que sea muy fácil entrenar al LLM en datos acumulados de todos los estudios relacionados con el conocimiento de la alineación de la IA. En teoría, la IA debería aprender y absorber las lecciones de manera efectiva.

El autor, Brian Wang, destaca la importancia de la curación de datos para la seguridad de la IA y sugiere que alinear la IA con valores éticos humanos podría ser relativamente fácil si se aborda desde el inicio con la información correcta.

Cabe señalar que algunos comentarios en la publicación plantean dudas sobre la premisa, argumentando que simplemente escalar un LLM puede no ser suficiente para lograr una ASI y que se pueden necesitar avances fundamentales en la comprensión y modelos internos de la IA.

El índice de transparencia de los principales modelos de Inteligencia Artificial revela que la gran mayoría son opacos

Índice de Transparencia de Modelos Fundamentales

«New Index Finds AI Models Are Murky, Not Transparent At All». 2023. Accedido 21 de diciembre de 2023. https://www.darkreading.com/cyber-risk/new-index-finds-ai-models-are-murky-not-transparent-at-all.


El Índice de Transparencia de Modelos Fundamentales de la Inteligencia Artificial es una evaluación que se realiza a los principales modelos de IA para medir la transparencia en su desarrollo y funcionamiento. Cuando se menciona que la gran mayoría de estos modelos son opacos, significa que existe una falta significativa de claridad y divulgación sobre cómo se entrenan, las fuentes de datos que utilizan, y cómo toman decisiones.


La nueva orden ejecutiva sobre inteligencia artificial (IA) firmada por el presidente de Estados Unidos, Joe Biden, detalla cómo la industria debe asegurarse de que la IA sea confiable y útil. La orden sigue a discusiones destacadas en julio y septiembre entre empresas de IA y la Casa Blanca, que resultaron en promesas sobre cómo las empresas de IA serán más transparentes acerca de las capacidades y limitaciones de la tecnología.

Hacer promesas de transparencia es un paso positivo, pero es necesario contar con un método para medir cuán bien se están cumpliendo esas promesas. Un método podría ser el Model Transparency Index desarrollado por el Centro de Investigación sobre Modelos Fundamentales de la Universidad de Stanford. El índice calificó 10 modelos de IA en función de 100 métricas diferentes, incluyendo cómo se entrenan los modelos, información sobre las propiedades y funciones del modelo, y cómo se distribuyen y utilizan los modelos. Las puntuaciones se calcularon en base a datos disponibles públicamente, aunque las empresas tuvieron la oportunidad de proporcionar información adicional para cambiar la puntuación.

¿Cómo se ve la transparencia al hablar de algunos de los modelos fundamentales más utilizados? No es buena. «Ningún desarrollador importante de modelos fundamentales se acerca a proporcionar transparencia adecuada, revelando una falta fundamental de transparencia en la industria de la IA», escribieron los investigadores de Stanford en el resumen de sus hallazgos.

Llama 2 de Meta recibió la puntuación total más alta en el índice, con 54 sobre 100.

El GPT-4 de OpenAI obtuvo 48, lo cual no es sorprendente, ya que OpenAI decidió retener detalles «sobre la arquitectura (incluido el tamaño del modelo), hardware, ordenador de entrenamiento, construcción del conjunto de datos [y] método de entrenamiento» al pasar de GPT-3 a GPT-4 a principios de este año.

En su mayor parte, los sistemas de IA potentes, como el GPT-4 de OpenAI y el PaLM2 de Google, son sistemas de caja negra. Estos modelos se entrenan con grandes volúmenes de datos y se pueden adaptar para su uso en una amplia variedad de aplicaciones. Pero para un creciente grupo de personas preocupadas por cómo se utiliza la IA y cómo podría afectar a las personas, el hecho de que haya poca información disponible sobre cómo se entrenan y utilizan estos modelos es un problema.

Según los investigadores, hay un poco más de transparencia en torno a la protección de datos de usuario y la funcionalidad básica del modelo. Los modelos de IA obtuvieron buenos resultados en indicadores relacionados con la protección de datos de usuario (67%), detalles básicos sobre cómo se desarrollan sus modelos fundamentales (63%), las capacidades de sus modelos (62%) y sus limitaciones (60%).

La nueva orden ejecutiva describe varias cosas que deben suceder para mejorar la transparencia. Los desarrolladores de IA deberán compartir los resultados de las pruebas de seguridad y otra información con el gobierno. El Instituto Nacional de Estándares y Tecnología tiene la tarea de crear estándares para garantizar que las herramientas de IA sean seguras y seguras antes de su lanzamiento público.

Las empresas que desarrollen modelos que representen riesgos serios para la salud y seguridad públicas, la economía o la seguridad nacional deberán notificar al gobierno federal cuando estén entrenando el modelo y compartir los resultados de las pruebas de seguridad antes de hacer públicos los modelos.

Estafadores que se hacen pasar por editores invitados para publicar documentos falsos

Else, Holly. 2021. «Scammers Impersonate Guest Editors to Get Sham Papers Published». Nature 599 (7885): 361-361. https://doi.org/10.1038/d41586-021-03035-y.

Cientos de artículos publicados en revistas revisadas por pares están siendo retractados después de que estafadores explotaran los procesos para publicar números especiales con el fin de incluir documentos de baja calidad, a veces compuestos completamente de incoherencias, en revistas establecidas. En algunos casos, los defraudadores se hicieron pasar por científicos y ofrecieron editar números especiales que luego llenaron con documentos fraudulentos.

Elsevier está retirando 165 artículos actualmente en prensa y planea retractar 300 más que se han publicado como parte de 6 números especiales en una de sus revistas, mientras que Springer Nature está retractando 62 artículos publicados en un número especial de una revista. Las retractaciones se producen después de que ambos editores emitieran comunicados de preocupación a principios de este año, que cubrían cientos de artículos.

Expertos en integridad científica esperan que haya más investigaciones en los próximos meses a medida que otros títulos se den cuenta de que han sido engañados.

«Es muy preocupante», dice Guillaume Cabanac, un científico informático de la Universidad de Toulouse en Francia, quien ha trabajado para descubrir documentos de ciencia sin sentido en números especiales. Añade que es impactante ver tales documentos en revistas de editores «emblemáticos» y que «no solo son las revistas depredadoras las que publican tonterías».

Un portavoz de Springer Nature dijo que una investigación reveló «intentos deliberados de subvertir el proceso editorial basado en la confianza y manipular el registro de publicación». Agregaron que aún no saben quién es responsable Elsevier dice que ha implementado medidas para evitar problemas similares en el futuro.

Muchas revistas publican números especiales, colecciones de artículos que se centran en un tema particular de relevancia para sus lectores. Estos números a menudo son supervisados por editores invitados que son expertos en el tema de investigación, pero que generalmente no están involucrados en el trabajo editorial diario de la revista.

Los estafadores han sido descubiertos varias veces en los últimos años al intentar utilizar números especiales como una forma de publicar documentos de baja calidad en revistas legítimas, pero el número de documentos afectados parece estar aumentando.

En 2016, Retraction Watch informó que los estafadores se hicieron pasar por un científico conocido para engañar a The Scientific World Journal, publicado por Hindawi, para que los nombrara editor invitado de un número especial sobre metaheurísticas. Una investigación posterior del editor encontró que varios informes de revisión por pares para documentos publicados en el número especial provenían de cuentas de correo electrónico comprometidas pertenecientes a otros investigadores. Hindawi le dijo a Retraction Watch que no tenía idea de quién estaba detrás de la estafa y dijo que había implementado medidas para ayudar a prevenir que el problema vuelva a ocurrir.

En diciembre de 2020, el Journal of Nanoparticle Research de Springer Nature escribió que había sido «atacado de una nueva manera por una red sofisticada y organizada». Un grupo de lo que parecían ser eminentes científicos e ingenieros de instituciones conocidas en Alemania y el Reino Unido escribieron a los editores de la revista sugiriendo un número especial sobre el papel de la nanotecnología en la atención médica en septiembre de 2019. La junta editorial aceptó la propuesta, creó una entrada para el número especial en su sistema de gestión editorial y dio acceso a tres miembros del grupo para que pudieran manejar los manuscritos.

Meses después, algunos miembros de la junta editorial comenzaron a notar que la mayoría de los manuscritos presentados para el número especial eran de baja calidad o no se ajustaban al tema. Iniciaron una investigación, pero para entonces, 19 de las 80 presentaciones ya habían sido aceptadas o publicadas. Estos documentos han sido retractados desde entonces.

La investigación reveló que las personas que sugirieron el número especial no eran quienes decían ser, sino estafadores que usaban nombres de dominio de Internet que se parecían mucho a las direcciones de correo electrónico institucionales reales de los científicos. Estos incluían un sufijo de correo electrónico con ‘univ’ en lugar de ‘uni’ y ‘-ac.uk’ en lugar de ‘.ac.uk’. También hubo anomalías con las identidades de los revisores y los informes de revisión por pares.

«Todo apunta a una red organizada que intenta, en este caso con éxito, infiltrarse en revistas científicas con el objetivo de publicar fácilmente manuscritos de seudo científicos o investigadores menos productivos que desean aparecer en revistas respetables», escribieron tres miembros de la junta editorial de la revista en el artículo de diciembre.

Todavía no está claro por qué los estafadores están manipulando el sistema para publicar artículos falsos. Cabanac sugiere que podría deberse a la presión sobre los investigadores para publicar artículos y continuar con sus carreras. La capacidad de publicar en revistas específicas, incluso si los documentos son claramente sin sentido, podría permitir que algunos investigadores «obtengan publicaciones para su currículum y un pase verde para permanecer en la academia», dice.

Pero las motivaciones de los estafadores siguen siendo un misterio para Ivan Oransky, un periodista que dirige Retraction Watch. Incluso los títulos de los artículos, que se listarían como parte del historial de publicaciones de un individuo, a menudo no tienen sentido, dice. «Los artículos son tan obviamente terribles, ¿por qué querrías tenerlos en tu currículum?»

Las últimas retractaciones de importantes editoriales académicas, Springer Nature y Elsevier, señalan una creciente sofisticación y prevalencia de prácticas engañosas en la publicación académica. A pesar de estos esfuerzos, persisten preocupaciones sobre la credibilidad de los números especiales, con una posible culpabilidad por asociación planteando un desafío. Ivan Oransky, cofundador de Retraction Watch, anticipa más retractaciones en el futuro, subrayando la necesidad de una vigilancia continua y medidas preventivas dentro de la comunidad de publicaciones académicas.