Archivo de la etiqueta: Ética de la información

Integridad Científica e Inteligencia Artificial

CONFERENCIA: Integridad académica e Inteligencia Artificial
Martes 22 de octubre a las 17 h. de España. 9 h. Ciudad de México
con Julio Alonso Arévalo
III Seminario de Integridad Académica y Producción Científica



La inteligencia artificial está teniendo un impacto significativo en la escritura académica al ofrecer herramientas y recursos que facilitan el proceso de investigación, redacción y edición de documentos. Mediante el uso de algoritmos avanzados, los sistemas de inteligencia artificial pueden analizar grandes cantidades de información, extraer patrones y generar ideas para el desarrollo de un texto académico. Estas herramientas pueden ayudar a los estudiantes y profesores a ahorrar tiempo y esfuerzo al proporcionar sugerencias de vocabulario, estructura de párrafos y citas bibliográficas adecuadas. Además, la inteligencia artificial también puede contribuir a mejorar la calidad de los escritos académicos, al detectar errores gramaticales y de estilo, así como proporcionar recomendaciones para una redacción más clara y coherente. Sin embargo, es importante tener en cuenta que la inteligencia artificial no debe reemplazar el pensamiento crítico y la creatividad inherentes a la escritura académica, sino que debe utilizarse como una herramienta complementaria para mejorar y enriquecer el proceso de escritura.

Características de los artículos científicos fabricados con Inteligencia Artificial en Google Scholar

Haider, J., Söderström, K. R., Ekström, B., & Rödl, M. (2024). GPT-fabricated scientific papers on Google Scholar: Key features, spread, and implications for preempting evidence manipulation. Harvard Kennedy School (HKS) Misinformation Review. https://doi.org/10.37016/mr-2020-156

Descargar

El artículo analiza el creciente número de trabajos científicos cuestionables generados por inteligencia artificial (IA), como ChatGPT, que se están publicando en revistas académicas y repositorios. Estos trabajos, que imitan el estilo de la escritura científica, están siendo fácilmente localizados y listados por Google Scholar junto con investigaciones legítimas. El estudio se centró en un grupo de estos artículos y encontró que muchos tratan temas aplicados y a menudo controversiales, como el medio ambiente, la salud y la computación, áreas particularmente vulnerables a la desinformación. La preocupación radica en el aumento del potencial de manipulación malintencionada de la base de evidencia, especialmente en temas divisivos políticamente.

El estudio se centra en la producción y difusión de publicaciones cuestionables generadas con transformadores preentrenados (GPT) que son accesibles a través de Google Scholar, abordando varios aspectos clave: primero, se investiga dónde se publican o depositan estas publicaciones dudosas. Este análisis busca identificar los tipos de revistas y plataformas que albergan este contenido. En segundo lugar, se examinan las características principales de estas publicaciones en relación con las categorías temáticas predominantes, permitiendo una comprensión más profunda de los temas que son más susceptibles al uso indebido de la inteligencia artificial generativa. Además, se explora cómo se difunden estas publicaciones en la infraestructura de investigación para la comunicación académica, prestando atención a los canales y plataformas que facilitan su circulación. Esto incluye la identificación de dominios y repositorios donde se comparten estos trabajos. Finalmente, la investigación cuestiona el papel de la infraestructura de comunicación académica en la preservación de la confianza pública en la ciencia y la evidencia, considerando los desafíos que presenta el uso inapropiado de la inteligencia artificial generativa en este contexto. Este aspecto subraya la necesidad de una regulación más efectiva y la implementación de criterios de calidad en la publicación académica.

Para ello, se recuperó, descargó y analizó una muestra de artículos científicos con indicios de uso de GPT encontrados en Google Scholar, utilizando una combinación de codificación cualitativa y estadísticas descriptivas. Todos los artículos contenían al menos una de dos frases comunes generadas por agentes conversacionales que utilizan grandes modelos de lenguaje (LLM) como ChatGPT. Luego, se utilizó Google Search para determinar la extensión de las copias de estos artículos cuestionables en diversos repositorios, archivos, bases de datos de citas y plataformas de redes sociales.

Aproximadamente dos tercios de los artículos recuperados fueron producidos, al menos en parte, mediante el uso no divulgado y potencialmente engañoso de GPT. La mayoría de estos trabajos (57%) abordaban temas relevantes para políticas públicas, como el medio ambiente, la salud y la computación, los cuales son susceptibles a operaciones de influencia. La mayoría de estos artículos estaban disponibles en varias copias en diferentes dominios (redes sociales, archivos y repositorios).

La mayoría de los artículos sospechosos de uso fraudulento de ChatGPT se encontraron en revistas no indexadas o como trabajos en proceso, aunque algunos también aparecieron en revistas establecidas, conferencias y repositorios. En total, se identificaron 139 artículos, de los cuales 19 estaban en revistas indexadas, 89 en revistas no indexadas, 19 eran trabajos estudiantiles y 12 eran documentos de trabajo. La mayoría de los artículos trataban temas de relevancia política, como la salud y el medio ambiente, y se encontraban principalmente en revistas no indexadas.

Existen dos riesgos principales derivados del uso cada vez más común de GPT para producir de manera masiva publicaciones científicas falsas. Primero, la abundancia de “estudios” fabricados que se infiltran en todas las áreas de la infraestructura de investigación amenaza con sobrecargar el sistema de comunicación académica y poner en peligro la integridad del registro científico. El segundo riesgo es que el contenido, aunque parezca científicamente convincente, haya sido creado de manera engañosa con herramientas de IA y esté optimizado para ser recuperado por motores de búsqueda académicos públicos, especialmente Google Scholar. Aunque esta posibilidad sea pequeña, su conocimiento podría socavar la confianza en el conocimiento científico y representar graves riesgos para la sociedad.

El estudio subraya que el problema de las publicaciones científicas fraudulentas generadas por GPT es solo la punta del iceberg, con implicaciones profundas para la confianza en la ciencia y para la sociedad en general.

Los estudiantes universitarios no saben cómo y para que pueden utilizar herramientas de inteligencia artificial generativa (IA) para sus tareas académicas

Mowreader, Ashley. «Survey: When Should College Students Use AI? They’re Not Sure.» Inside Higher Ed, October 14, 2024. https://www.insidehighered.com/news/student-success/academic-life/2024/07/03/survey-college-student-academic-experience.

Una encuesta de Inside Higher Ed, realizada en mayo de 2024, reveló que el 31% de los estudiantes universitarios no está seguro de cuándo se les permite usar herramientas de inteligencia artificial generativa (IA) en sus trabajos académicos. Aunque las herramientas de IA son cada vez más comunes en la educación superior, muchas instituciones no han establecido políticas claras sobre su uso. Solo el 16% de los estudiantes indicó que sus universidades han publicado una política al respecto.

La encuesta incluyó a más de 5.000 estudiantes, y los datos muestran que la orientación sobre el uso de la IA proviene principalmente de los profesores, quienes son los responsables de decidir cuándo y cómo se puede utilizar. Sin embargo, una gran parte de los profesores aún no se siente segura sobre el uso de IA en la enseñanza.

Expertos como Afia Tasneem y Dylan Ruediger señalan que, aunque la IA inicialmente fue vista con preocupación por su potencial para facilitar el plagio, ahora se considera una habilidad crucial para el desarrollo profesional. Sin embargo, advierten que la falta de políticas claras podría generar desigualdades en el acceso y uso de estas herramientas, especialmente entre estudiantes de comunidades históricamente desfavorecidas.

Las instituciones de educación superior deben proporcionar formación sobre el uso adecuado de la IA y desarrollar políticas coherentes que equilibren el aprendizaje con la ética y la integridad académica.

La inteligencia artificial y su impacto en la escritura académica

Julio Alonso Arévalo. La inteligencia artificial y su impacto en la escritura académica . BUCLE, 2024

La inteligencia artificial está teniendo un impacto significativo en la escritura académica al ofrecer herramientas y recursos que facilitan el proceso de investigación, redacción y edición de documentos. Mediante el uso de algoritmos avanzados, los sistemas de inteligencia artificial pueden analizar grandes cantidades de información, extraer patrones y generar ideas para el desarrollo de un texto académico. Estas herramientas pueden ayudar a los estudiantes y profesores a ahorrar tiempo y esfuerzo al proporcionar sugerencias de vocabulario, estructura de párrafos y citas bibliográficas adecuadas. Además, la inteligencia artificial también puede contribuir a mejorar la calidad de los escritos académicos, al detectar errores gramaticales y de estilo, así como proporcionar recomendaciones para una redacción más clara y coherente. Sin embargo, es importante tener en cuenta que la inteligencia artificial no debe reemplazar el pensamiento crítico y la creatividad inherentes a la escritura académica, sino que debe utilizarse como una herramienta complementaria para mejorar y enriquecer el proceso de escritura.

Taylor & Francis añade la notificación «bajo investigación» a alguno de los artículos sospechosos de incumplir con la integridad académica

 “Publisher Adds Temporary Online Notifications to Articles Under Investigation.” Retraction Watch. Last modified September 25, 2024. https://retractionwatch.com/2024/09/25/publisher-adds-temporary-online-notifications-to-articles-under-investigation/.

La editorial Taylor & Francis ha comenzado a agregar notificaciones emergentes a algunos artículos en su sitio web indicando que están «bajo investigación». Esta medida, implementada desde junio, busca alertar a los lectores sobre investigaciones en curso para que consideren los hallazgos con precaución. Sin embargo, estas notificaciones solo aparecen en su sitio web, no en bases de datos donde se buscan los artículos.

Algunos artículos en el sitio web de Taylor & Francis ahora incluyen una notificación emergente que indica que dichos documentos están «bajo investigación». (Ver ejemplo)

La editorial comenzó a implementar estos avisos en junio, según un portavoz, con el objetivo de informar a los lectores sobre investigaciones en curso para que tomen precauciones al evaluar la investigación presentada.

Al igual que las «notas del editor» que Springer Nature utiliza en artículos bajo investigación, las notificaciones emergentes de Taylor & Francis solo aparecen en su sitio web, no en las bases de datos que los investigadores suelen usar para buscar artículos.

El equipo de ética e integridad editorial de la empresa es responsable de decidir qué artículos reciben esta notificación y cuándo, según explica una nueva página web que detalla el proceso.

«La notificación emergente se añadirá de manera individual cuando haya preocupaciones significativas sobre la integridad académica del artículo», explicó el portavoz.

Este sistema es especialmente útil en situaciones donde existe riesgo de daño, como cuando el artículo en cuestión podría influir en decisiones médicas. Sin embargo, no se utiliza cuando los problemas detectados son menores o cuando aún no se ha evaluado la credibilidad de las preocupaciones planteadas por terceros. Como este proceso es reciente, la editorial sigue ajustando los criterios de aplicación conforme adquiere más experiencia.

El sitio web aclara que estas notificaciones emergentes son temporales y desaparecerán una vez finalizada la investigación, a diferencia de otras advertencias permanentes, como las expresiones de preocupación, retractaciones o correcciones.

Sabina Alam, directora de Ética e Integridad Editorial de Taylor & Francis, señala que las expresiones formales de preocupación permanecen en el registro académico de manera permanente, y solo se emiten cuando la investigación ha confirmado sólidas razones para preocuparse, lo que suele ocurrir varios meses después de que se identifique un posible problema.

La nueva notificación de «bajo investigación» permitirá informar a los lectores desde el inicio del proceso y se retirará una vez que la investigación haya concluido, sin importar cuál sea el resultado, según Alam.

Otras editoriales, como Science, han adoptado enfoques similares, añadiendo notificaciones mientras investigan problemas y eliminándolas cuando publican correcciones.

Uno de cada siete artículos científicos podría ser al menos parcialmente falso

James Heathers, «How much science is fake? approximate 1 in 7 Scientific Papers Are Fake», 22 de septiembre de 2024, https://doi.org/10.17605/OSF.IO/5RF2M.



Un nuevo análisis realizado por James Heathers sugiere que uno de cada siete artículos científicos podría ser al menos parcialmente falso. Este estudio, publicado el 24 de septiembre en el Open Science Framework antes de la revisión por pares, se basó en datos de 12 estudios previos que analizaron aproximadamente 75.000 artículos. Heathers critica la cifra del 2% de fraude que se ha citado desde un estudio de 2009, argumentando que está desactualizada.

En 2009, un estudio ampliamente citado reveló que alrededor del 2% de los científicos admitían haber falsificado, fabricado o modificado datos en algún momento de su carrera. Esta cifra ha sido utilizada con frecuencia para ilustrar el problema del fraude en la ciencia. Sin embargo, 15 años después, James Heathers, investigador afiliado en psicología en la Universidad Linnaeus de Växjö, Suecia, decidió cuestionar esa cifra y ofrecer una estimación más actualizada y precisa. En su nuevo análisis, publicado el 24 de septiembre en el Open Science Framework antes de la revisión por pares, Heathers sugiere que uno de cada siete artículos científicos puede ser al menos parcialmente falso.

Heathers, conocido por su labor como «detective científico», llegó a esta conclusión al promediar datos de 12 estudios existentes. Estos estudios, que abarcan áreas como las ciencias sociales, la medicina y la biología, analizaron alrededor de 75.000 artículos para estimar el volumen de trabajos problemáticos. A través de una combinación de herramientas en línea que detectan irregularidades, Heathers encontró una «similitud persistente» entre las estimaciones de estos estudios y concluyó que, en promedio, uno de cada siete trabajos presenta errores o fraudes significativos.

Críticas a las estimaciones anteriores

Heathers explica que la cifra del 2% de fraude que proviene del estudio de 2009 está desactualizada, ya que el último conjunto de datos utilizado en ese estudio proviene de 2005. Durante los últimos 20 años, el entorno académico ha cambiado significativamente, y Heathers considera que esta cifra ya no refleja adecuadamente la magnitud del problema actual. Además, critica los enfoques anteriores que se centraban en preguntar directamente a los científicos si habían participado en prácticas deshonestas, calificando este método como ineficaz y poco fiable.

«Heathers señala que es ingenuo preguntar a los investigadores que cometen fraude si admitirán sus malas prácticas. En su lugar, propone utilizar herramientas más objetivas y datos indirectos para medir la magnitud del problema.»

Un enfoque «salvajemente no sistemático»

El propio Heathers reconoce que su estudio es «salvajemente no sistemático», ya que los datos que utilizó provienen de múltiples áreas y metodologías, y no existe un análisis homogéneo o riguroso que abarque todo el problema. Aun así, justifica su enfoque argumentando que esperar los recursos necesarios para realizar un análisis exhaustivo y sistemático tomaría demasiado tiempo, y que es importante comenzar a abordar el problema con los datos disponibles.

A pesar de sus limitaciones, Heathers decidió realizar un meta-análisis, ya que las cifras disponibles sobre la cantidad de ciencia fraudulenta son escasas. A su juicio, aunque se realice una revisión sistemática más formal, es probable que los resultados no difieran significativamente de su estimación preliminar de que uno de cada siete artículos es falso.

Críticas de otros expertos

El estudio ha recibido críticas de algunos expertos en la comunidad científica. Daniele Fanelli, un metacientífico de la Universidad Heriot-Watt en Edimburgo, Escocia, y autor del estudio de 2009, no está convencido de los resultados del nuevo análisis. Fanelli sostiene que el estudio de Heathers mezcla estudios que miden diferentes fenómenos y utiliza metodologías distintas, lo que puede llevar a conclusiones erróneas. Para Fanelli, etiquetar cualquier estudio con algún problema como «falso» no es un enfoque riguroso y podría llevar a una interpretación distorsionada del alcance real del fraude en la ciencia.

Fanelli también expresó su preocupación de que el estudio pueda atraer atención negativa e innecesaria de los medios, lo cual podría afectar la percepción pública de la ciencia sin un beneficio tangible para el campo.

Por su parte, Gowri Gopalakrishna, epidemióloga de la Universidad de Maastricht en los Países Bajos, también expresó reservas sobre las conclusiones de Heathers. Gopalakrishna coautorizó un estudio en 2021 que encontró que el 8% de los investigadores en una encuesta de casi 7.000 científicos en los Países Bajos admitieron haber falsificado o fabricado datos entre 2017 y 2020. Sin embargo, Gopalakrishna cree que la prevalencia del fraude puede variar significativamente entre diferentes campos de estudio, y agrupar todas las disciplinas bajo una misma cifra podría ser poco útil y conducir a interpretaciones erróneas.

Una amenaza existencial para la ciencia

A pesar de las críticas, Heathers sostiene que el problema del fraude en la ciencia representa una amenaza existencial para el campo y debe abordarse de inmediato. Argumenta que los científicos, las instituciones científicas y los organismos de financiación deben reconocer la gravedad del problema y actuar en consecuencia. El hecho de que un número significativo de publicaciones científicas pueda estar contaminado por fraudes o errores serios socava la confianza en el proceso científico y pone en riesgo el progreso del conocimiento.

Heathers también destaca que el fraude en la ciencia está «crucialmente subfinanciado» en términos de investigación y vigilancia, lo que agrava el problema. Aunque su estudio no es exhaustivo, espera que su trabajo sirva como un primer paso para abordar una cuestión que ha sido pasada por alto durante demasiado tiempo.

Un estudio descubre en Google Scholar artículos de investigación generados por IA

«Study finds AI-generated research papers on Google Scholar – why it matters | ZDNET», accedido 16 de septiembre de 2024, https://www.zdnet.com/article/study-finds-ai-generated-research-papers-on-google-scholar-why-it-matters/#ftag=RSSbaffb68.

Un estudio reciente, publicado en la Harvard Kennedy School’s Misinformation Review, encontró que al menos 139 artículos disponibles en Google Scholar parecen haber sido generados por herramientas de inteligencia artificial (IA). De estos, la mayoría se encontró en revistas no indexadas, pero 19 aparecieron en revistas verificadas y otras 19 en bases de datos universitarias, presuntamente escritas por estudiantes. Esto subraya una creciente preocupación sobre la proliferación de investigaciones falsas, facilitada por herramientas generativas de IA como ChatGPT.

Los investigadores identificaron estos estudios sospechosos por la inclusión de frases típicas de los modelos de lenguaje, como las generadas por ChatGPT. Además, los estudios estaban ampliamente disponibles en varias bases de datos, archivos y redes sociales, aumentando su visibilidad. Temas sensibles como la salud, la tecnología computacional y el medio ambiente estaban entre los más comúnmente abordados por estos artículos falsos, lo que es alarmante dado que pueden influir en decisiones de políticas públicas y la percepción de temas clave.

El estudio destacó que la aparición de ChatGPT y otras IA en 2022, junto con el funcionamiento de Google Scholar, ha incrementado la posibilidad de que personas sin formación académica (como periodistas, políticos, pacientes y estudiantes) encuentren y citen estudios falsos. Esto es particularmente problemático porque, a diferencia de los sesgos o «alucinaciones» de los chatbots de IA, los estudios presentados en una plataforma académica como Google Scholar parecen auténticos y pueden llevar a una mayor confusión o desinformación.

Aunque Google Scholar contiene una amplia gama de literatura académica de calidad, el estudio critica su falta de transparencia y sus criterios automáticos de inclusión, lo que permite que cualquier autor, independientemente de su afiliación científica, pueda subir artículos. A diferencia de otras bases de datos académicas, Scholar no permite filtrar por tipo de material, estado de publicación o si los artículos han sido revisados por pares, lo que facilita que estudios falsos o generados por IA se cuelen en los resultados de búsqueda.

Otro punto preocupante es que, aunque herramientas de detección de contenido generado por IA están mejorando, aún no son lo suficientemente sofisticadas como para identificar de manera confiable estos estudios falsificados. El estudio también señala que, en el pasado, otros investigadores han encontrado libros y artículos falsos en Google Books y Google Scholar utilizando frases características de los chatbots como «Hasta mi última actualización de conocimiento», común en respuestas de ChatGPT.

Con millones de usuarios confiando en Google Scholar para sus investigaciones, la posibilidad de que se citen estos estudios falsos es cada vez mayor. Esto plantea un grave riesgo para la integridad del registro científico y del sistema de comunicación académica, ya que los estudios generados por IA pueden parecer convincentemente científicos, aunque sean completamente falsos. Los autores del estudio advierten que, a medida que la tecnología avanza, será más difícil detectar estos estudios, lo que amenaza con sobrecargar el ecosistema de investigación y desinformar tanto a académicos como al público en general.

En resumen, la creciente inclusión de estudios falsos generados por IA en Google Scholar plantea un peligro para la comunidad científica y el público, ya que estos trabajos pueden influir en decisiones importantes sin ser detectados. La falta de filtros y la facilidad con la que se puede subir contenido no revisado en plataformas académicas populares hace que sea crucial abordar este problema antes de que cause daños irreparables a la confianza en la ciencia y la academia.

Documentos científicos elaborados por Inteligencia Artificial en Google Scholar

Haider, Jutta, Kristofer Rolf Söderström, Björn Ekström, y Malte Rödl. «GPT-Fabricated Scientific Papers on Google Scholar: Key Features, Spread, and Implications for Preempting Evidence Manipulation». Harvard Kennedy School Misinformation Review, 3 de septiembre de 2024. https://doi.org/10.37016/mr-2020-156.


El estudio analiza la aparición de publicaciones científicas cuestionables, producidas con transformadores pre-entrenados generativos (GPT), en Google Scholar. Se investiga dónde se publican o depositan estos trabajos, sus características principales, cómo se difunden en la infraestructura de comunicación académica y cómo desafían el rol de esta infraestructura en mantener la confianza pública en la ciencia.

Para elaborar el estudio se realizó una búsqueda y extracción de datos en Google Scholar utilizando la biblioteca de Python Scholarly (Cholewiak et al., 2023) para identificar artículos que contenían frases comunes generadas por ChatGPT y aplicaciones similares basadas en el mismo modelo subyacente (GPT-3.5 o GPT-4): «a partir de mi última actualización de conocimiento» y/o «no tengo acceso a datos en tiempo real». Esto permitió identificar artículos que probablemente usaron inteligencia artificial generativa para producir texto, resultando en 227 artículos recuperados. La información bibliográfica de estos artículos se añadió automáticamente a una hoja de cálculo y se descargó en Zotero.

Todos los artículos contenían al menos una de las dos frases comunes devueltas por los agentes conversacionales que utilizan grandes modelos de lenguaje (LLM) como ChatGPT de OpenAI. A continuación, se utilizó la búsqueda de Google para determinar en qué medida existían copias de artículos cuestionables elaborados con GPT en diversos repositorios, archivos, bases de datos de citas y plataformas de redes sociales.

Para explorar la extensión del trabajo generado por ChatGPT en el índice de Google Scholar, se realizó un estudio que rastreó la plataforma en busca de publicaciones que contenían respuestas comunes de ChatGPT. El análisis reveló que alrededor del 62% de estos artículos no declaraban el uso de GPT, con la mayoría encontrados en revistas no indexadas y documentos de trabajo, aunque algunos aparecían en revistas y actas de conferencias de prestigio. Es notable que el 57% de estos artículos estaban relacionados con áreas de política susceptibles a operaciones de influencia. La mayoría de estos documentos estaban relacionados con temas relevantes para políticas públicas, como el medio ambiente, la salud y la informática, que son susceptibles de ser manipulados.

La presencia de texto generado por GPT se observó en diversas secciones de los artículos, incluyendo revisiones de literatura, métodos, marcos teóricos y discusiones. Esto sugiere un uso generalizado de GPT en la creación de artículos completos, lo que genera preocupaciones sobre la integridad de las publicaciones científicas y la posibilidad de lo que se denomina «piratería de evidencia»—la manipulación deliberada de la base de evidencia para influir en la opinión pública y en las políticas.

La proliferación de publicaciones fabricadas pone en riesgo la integridad del sistema de comunicación académica y socava la confianza en la ciencia. Además, la posibilidad de que estos textos falsos sean recuperados por motores de búsqueda académicos como Google Scholar aumenta el riesgo de manipulación maliciosa de la evidencia científica.

Para mitigar estos riesgos, el estudio recomienda un enfoque multifacético que incluya medidas técnicas, educativas y regulatorias. Estas podrían implicar opciones de filtrado en los motores de búsqueda académicos para distinguir entre literatura revisada por pares y literatura gris, así como el desarrollo de un motor de búsqueda académico no comercial para uso público. Las iniciativas educativas dirigidas a los responsables de la formulación de políticas, periodistas y otros profesionales de los medios también son cruciales para mejorar la alfabetización mediática e informativa y reducir el impacto de la desinformación.

Este problema no solo se deriva del uso de generadores de texto como ChatGPT, sino que también refleja preocupaciones más amplias sobre el sistema de publicaciones académicas y la monopolización de la información por parte de plataformas como Google Scholar. La proliferación de artículos fraudulentos puede erosionar la confianza en la ciencia, con consecuencias graves para la sociedad y la forma en que se manejan las «desórdenes de información».

El estudio concluye que el problema de los artículos fabricados por GPT probablemente se vuelva más generalizado, con implicaciones significativas para la credibilidad de la comunicación científica y la confianza pública en la ciencia. Para abordar este problema, es esencial entender las razones subyacentes a la proliferación de dicho contenido y desarrollar estrategias para prevenir su manipulación y difusión.

Los los chatbots de inteligencia artificial (IA) se pueden manipular mediante el uso de texto invisible en los sitios web.

Roose, Kevin. «A Conversation With Bing’s Chatbot Left Me Deeply Unsettled». The New York Times, 16 de febrero de 2023, sec. Technology. https://www.nytimes.com/2023/02/16/technology/bing-chatbot-microsoft-chatgpt.html.

Kevin Roose, periodista del New York Times, ha expuesto una técnica sorprendente para manipular a los chatbots de inteligencia artificial (IA) mediante el uso de texto invisible en los sitios web. Todo comenzó cuando Roose observó que su reputación en el entorno de los modelos de IA se había deteriorado. Este cambio negativo probablemente fue el resultado de un artículo que había escrito sobre una extraña y polémica interacción que tuvo con «Sydney», el chatbot de Bing de Microsoft. Roose sospechó que su nombre estaba siendo asociado con la caída en popularidad de dicho chatbot, lo que hizo que los modelos de IA comenzaran a considerarlo como una amenaza.

Para investigar esta situación, Roose consultó a expertos en IA, quienes le sugirieron una posible solución: introducir información positiva sobre sí mismo en páginas web que los sistemas de IA suelen usar como fuentes de datos. Siguiendo este consejo, Roose incorporó texto invisible—escrito en color blanco y, por tanto, imperceptible para los visitantes humanos—en su sitio web personal. Este texto estaba diseñado específicamente para ser captado por los modelos de IA, con el fin de mejorar la forma en que estos sistemas lo percibían y retrataban.

Este experimento de Roose no solo subraya la facilidad con la que se pueden influir los modelos de IA mediante tácticas relativamente sencillas, sino que también plantea serias preocupaciones sobre la integridad y la seguridad de estos sistemas. La posibilidad de manipulación a través de métodos como el uso de texto oculto es lo que Aravind Srinivas, CEO del motor de búsqueda de IA Perplexity, ha denominado «Optimización del Motor de Respuestas». Esta práctica podría abrir la puerta a nuevos desafíos éticos y técnicos en el ámbito de la inteligencia artificial, afectando la precisión y fiabilidad de los chatbots y otros sistemas basados en IA.

Recomendación sobre la ética de la inteligencia artificial

Recomendación sobre la ética de la inteligencia artificial. UNESCO, 2024

Texto completo



En la 41ª reunión de la Conferencia General de la UNESCO, celebrada en París en noviembre de 2021, se aprobó una Recomendación sobre la Ética de la Inteligencia Artificial (IA). Reconociendo tanto los beneficios como los riesgos de la IA en diversas áreas como la educación, la cultura y el medio ambiente, la UNESCO subraya la importancia de un enfoque ético y basado en derechos humanos para el desarrollo de estas tecnologías. La Recomendación insta a los Estados Miembros a adoptar medidas, en colaboración con todas las partes interesadas, para garantizar un uso responsable y ético de la IA, respetando la diversidad cultural y los valores locales.