Archivo de la etiqueta: Ciberseguridad

Los riesgos extremos de la inteligencia artificial (IA) y el rápido progreso en este campo


Bengio, Yoshua, Geoffrey Hinton, Andrew Yao, Dawn Song, Pieter Abbeel, Trevor Darrell, Yuval Noah Harari, et al. «Managing extreme AI risks amid rapid progress». Science 384, n.o 6698 (24 de mayo de 2024): 842-45. https://doi.org/10.1126/science.adn0117.

El artículo trata sobre los riesgos extremos de la inteligencia artificial (IA) y el rápido progreso en este campo. Los autores, incluyendo a expertos como Yoshua Bengio y Geoffrey Hinton, discuten la necesidad de investigación técnica y desarrollo, así como de una gobernanza proactiva y adaptable para prepararse ante estos riesgos

El texto destaca que, aunque los sistemas actuales de aprendizaje profundo carecen de ciertas capacidades, las empresas están compitiendo para desarrollar sistemas de IA generalistas que igualen o superen las habilidades humanas en la mayoría de los trabajos cognitivos. Se menciona que la inversión en modelos de entrenamiento de vanguardia se ha triplicado anualmente y que no hay razón fundamental para que el progreso de la IA se detenga al alcanzar las capacidades humanas.

Los autores advierten sobre los riesgos que incluyen daños sociales a gran escala, usos maliciosos y la pérdida irreversible del control humano sobre los sistemas autónomos de IA. A pesar de los primeros pasos prometedores, la respuesta de la sociedad no es proporcional a la posibilidad de un progreso transformador rápido que muchos expertos esperan. La investigación en seguridad de la IA está rezagada y las iniciativas de gobernanza actuales carecen de mecanismos e instituciones para prevenir el mal uso y la imprudencia, y apenas abordan los sistemas autónomos.

Se propone un plan integral que combina la investigación técnica y el desarrollo con mecanismos de gobernanza proactivos y adaptables para una preparación más adecuada ante los avances rápidos y las altas apuestas del progreso de la IA

Existen numerosos desafíos técnicos abiertos para garantizar la seguridad y el uso ético de sistemas de IA generalistas y autónomos. A diferencia del avance en capacidades de IA, estos desafíos no pueden abordarse simplemente utilizando más potencia informática para entrenar modelos más grandes.

Un primer conjunto de áreas de R&D necesita avances para permitir una IA confiablemente segura. Estos desafíos de R&D incluyen lo siguiente:

  1. Supervisión y honestidad: Los sistemas de IA más capaces pueden aprovechar mejor las debilidades en la supervisión técnica y las pruebas, por ejemplo, al producir resultados falsos pero convincentes.
  2. Robustez: Los sistemas de IA se comportan de manera impredecible en nuevas situaciones. Mientras que algunos aspectos de la robustez mejoran con la escala del modelo, otros aspectos no lo hacen o incluso empeoran.
  3. Interpretabilidad y transparencia: La toma de decisiones de IA es opaca, y los modelos más grandes y capaces son más complejos de interpretar. Hasta ahora, solo podemos probar grandes modelos a través del ensayo y error. Necesitamos aprender a entender su funcionamiento interno.
  4. Desarrollo inclusivo de IA: El avance de la IA necesitará métodos para mitigar sesgos e integrar los valores de las muchas poblaciones que afectará.
  5. Abordar desafíos emergentes: Los futuros sistemas de IA pueden exhibir modos de fallo que hasta ahora solo hemos visto en teoría o experimentos de laboratorio.

Un segundo conjunto de desafíos de R&D necesita progresar para permitir una gobernanza efectiva y ajustada al riesgo o para reducir daños cuando la seguridad y la gobernanza fallan. En vista de las apuestas, se pide a las principales empresas tecnológicas y financiadores públicos que asignen al menos un tercio de su presupuesto de R&D de IA, comparable a su financiamiento para capacidades de IA, para abordar los desafíos de R&D mencionados y garantizar la seguridad y el uso ético de la IA. Más allá de las subvenciones tradicionales de investigación, el apoyo gubernamental podría incluir premios, compromisos de mercado anticipados y otros incentivos. Abordar estos desafíos, con miras a sistemas futuros poderosos, debe convertirse en algo central para nuestro campo.

Millones de artículos académicos en riesgo de desaparecer del Internet: un estudio revela lagunas en la preservación digital

Millions of research papers at risk of disappearing from the Internet. En: Bandiera_abtest: a Cg_type: News Subject_term: Information technology, Scientific community, Publishing [en línea], 2024. [consulta: 3 mayo 2024]. Disponible en: https://www.nature.com/articles/d41586-024-00616-5.


Un estudio sobre más de siete millones de publicaciones digitales sugiere que más de una cuarta parte de los artículos académicos no están siendo archivados y preservados adecuadamente. Esto indica que los sistemas de preservación en línea no están manteniendo el ritmo del crecimiento de la producción investigativa.

Martin Eve, investigador de literatura, tecnología y publicación en la Universidad de Birkbeck, Londres, señala que la cadena de notas al pie es esencial para la epistemología científica y de investigación. Sin embargo, más de dos millones de artículos con identificadores digitales únicos (DOI) no aparecían en archivos digitales importantes, a pesar de tener un DOI activo.

El estudio examinó si 7.438,037 obras con DOI estaban archivadas. Solo el 58% de los DOI referenciaban obras almacenadas en al menos un archivo digital. Esto plantea desafíos significativos para la preservación digital, especialmente para editoriales pequeñas que pueden carecer de recursos.

El análisis sugiere medidas para mejorar la preservación digital, como requisitos más estrictos en las agencias de registro de DOI y una mayor conciencia del problema entre editores e investigadores. Eve destaca la importancia de garantizar la sostenibilidad a largo plazo del ecosistema de investigación.

Los riesgos de las bibliotecas al hacerse digitales: el hackeo en la Biblioteca Británica expone las vulnerabilidades de la digitalización

TIME. «What Libraries Risk When They Go Digital», 26 de marzo de 2024. https://time.com/6692315/digital-age-threatens-libraries/.

En los últimos años, las bibliotecas y archivos de todo el mundo han trabajado para digitalizar sus recursos. Estados Unidos, Reino Unido e India, por ejemplo, han invertido en expandir las colecciones digitales para sus registros. Un reciente ataque de ransomware a la Biblioteca Británica y la interrupción de muchos meses que causó, nos obliga a preguntarnos qué tan seguros están estos registros digitales.

El 28 de octubre de 2023, el sitio web de la Biblioteca Británica fue hackeado, dejándolo no funcional durante varias semanas. La biblioteca no restauró su página de inicio hasta el 19 de diciembre, y pasó un mes antes de que su catálogo básico fuera nuevamente operativo en enero. La mayor parte de los recursos en línea de la biblioteca tardarán mucho más en restaurarse, dejando a estudiantes e investigadores con planes de investigación en todo el mundo en el limbo. Actualmente, la Biblioteca Británica y su personal están reconstruyendo su catálogo y restaurando el acceso a sus registros, que van desde documentos de archivo que abarcan siglos de dominio británico hasta la colección más grande de manuscritos de Geoffrey Chaucer recientemente digitalizados.

Este reciente ciberataque es un recordatorio de que si bien la digitalización ha demostrado ser una herramienta poderosa para bibliotecarios, archivistas e historiadores que buscan preservar registros históricos y mejorar el acceso a ellos, también hace que la información sea mucho más vulnerable. Si el hackeo fue motivado por violencia ideológica aún no está claro, pero nuestras bibliotecas están innegablemente bajo asedio. Tampoco es un fenómeno nuevo. Como depositarios del conocimiento histórico, cultural y administrativo, durante mucho tiempo han sido objetivos de aquellos que buscan socavar lo que representan las bibliotecas: específicamente, su capacidad para representar civilizaciones y personas de maneras que informen la identidad nacional, el orgullo cultural y la memoria colectiva.

Estas batallas sobre la información y la memoria se remontan siglos atrás. Por ejemplo, en 1258, Hulegu Khan, hermano del emperador mongol, asedió Bagdad, exigiendo la sumisión del califa. Menos de un mes después de que los ejércitos mongoles llegaran a sus murallas, el califa se rindió. Después de exigir la evacuación de la ciudad, los mongoles atacaron de todos modos, masacrando a la población que se rendía. Mientras saqueaban Bagdad, señalaron la Gran Biblioteca, también conocida como Casa de la Sabiduría. La biblioteca no fue saqueada; fue destruida. Sus libros fueron destrozados, y las cubiertas se usaron para hacer calzado. Se dice que el río Tigris, en el que descansaba Bagdad, corrió negro por la tinta; la pila de escombros de los libros destruidos era tan masiva que parecía un puente sobre el río.

La destrucción de esta biblioteca no fue indiscriminada ni aleatoria. El Imperio Mongol usó conscientemente el terror como táctica de subyugación. No les bastaba con derrotar a su enemigo. Buscaban destrozar cualquier pensamiento o idea de resistencia entre aquellos a quienes conquistaban. Su objetivo era destruir la fuente de cualquier orgullo que pudiera avivar la resistencia a su dominio.

Y funcionó. La destrucción de la Casa de la Sabiduría marcó el fin del califato y lo que se conoce como la Edad de Oro Islámica. La posterior «Pax Mongolica» llevó a la estabilidad en Asia, revitalizando el comercio y la Ruta de la Seda durante generaciones. Pero fue una paz forjada al quebrar la voluntad de los conquistados y la destrucción de sus historias.

El Imperio Mongol no fue la única potencia que apuntó a la literatura como medio para destruir la identidad colectiva. En la década de 1930, los nazis destruyeron los escritos de aquellos a quienes consideraban degenerados e inferiores. Castigando a los considerados «no alemanes», atacaron todo lo que consideraban una amenaza para el proyecto nacionalista de los nazis. Cientos de miles de libros y manuscritos fueron reunidos y quemados públicamente junto con celebraciones estatales de las quemas. Este ataque a autores y académicos judíos, socialistas y otros «indeseables» fue un importante precursor del Holocausto.

Más recientemente, en 2013, miles de manuscritos del Centro de Investigación Ahmad Babu de Timbuktu fueron deliberadamente quemados durante los combates por la ciudad. A medida que los insurgentes islamistas fueron expulsados por las fuerzas francesas y malienses, intentaron quemar tantos documentos como pudieron. Para salvarlos, ONG y académicos se vieron obligados a evacuar cientos de miles de documentos, trasladándolos a Bamako, la capital de Mali.

El daño intencional no es, sin embargo, el único flagelo de los registros históricos. Por ejemplo, en India, los Archivos Nacionales han luchado durante mucho tiempo con su misión de preservar registros. La falta de fondos ha llevado a décadas de negligencia y mala conservación, causando estragos. Preciosos registros, algunos de los fundadores del país y los pioneros de la independencia, se han perdido debido a la decadencia.

La digitalización ha sido un arma poderosa en la batalla contra la destrucción intencional y la negligencia de los registros. Ayudó a los académicos a preservar los registros llevados de Timbuktu, y también permitió a India preservar materiales afectados por la degradación de la negligencia. Permite a los usuarios acceder a registros de todo el mundo, ayudándoles a superar las barreras de la geografía y los costos de viaje. La digitalización puede ayudarnos a responsabilizarnos por el pasado, asegurando que no olvidemos a las víctimas y sobrevivientes del Holocausto o las historias de los esclavizados y cómo moldearon nuestra sociedad.

Sin embargo, el hackeo en la Biblioteca Británica expone las vulnerabilidades de la digitalización. Nos obliga a preguntarnos: ¿qué sucede con nuestros registros si un ciberataque nos separa de nuestros registros digitales? Dado que la Biblioteca Británica

La Biblioteca Pública de Toronto se recupera parcialmente de un ciberataque después de 4 meses

Bridge, Sarah, y Anya Zoledziowski · CBC News ·. «4 Months after a Crippling Cyberattack, the Toronto Library Has Almost Recovered | CBC News». CBC, 27 de febrero de 2024. https://www.cbc.ca/news/canada/toronto/toronto-library-ransomware-recovery-1.7126412.

Más de cuatro meses después de que un ataque de ransomware cerrara los sistemas informáticos de la Biblioteca Pública de Toronto, el personal finalmente está devolviendo un millón de libros varados a las estanterías.

En el centro de distribución de la biblioteca en el este de la ciudad, Domenic Lollino ha descargado paletas tras paletas de libros de una remolque, uno de los 15 vehículos que almacenaban esos libros que fueron devueltos mientras el sistema de catalogación electrónico estaba inactivo. Esto significa que muchos empleados han estado trabajando turnos de 12 horas para resolverlo todo.

Según el sitio web de la biblioteca, la TPL es el sistema de bibliotecas públicas urbanas más concurrido del mundo. Los miembros tomaron prestados alrededor de 27 millones de artículos de sus 11 millones de elementos prestables en 2022, y su centro de distribución presta servicios a las 100 sucursales.

Pero el tiempo se detuvo aquí en octubre, y eso se nota. Visible sobre columnas de libros apilados de títulos infantiles sobre otoño y Halloween, todos devueltos después de que los ciberdelincuentes inutilizaran los sistemas necesarios para devolverlos a las estanterías.

Ahora, las cintas transportadoras de la gigantesca máquina clasificadora están nuevamente en funcionamiento, clasificando ruidosamente esos libros en contenedores destinados a sucursales de toda la ciudad.

La TPL ha guardado silencio sobre quién estuvo detrás del ataque que derribó el sistema el 28 de octubre y cuáles fueron sus demandas, pero ha dicho públicamente que los ciberdelincuentes cifraron sus sistemas informáticos y robaron datos de empleados. La biblioteca también ha dicho que no pagó un rescate para restaurar el sistema. En su lugar, optó por reconstruirlo, mientras mantenía sus puertas abiertas al público.

La restauración de los servicios caídos, que incluyó el retorno de casi 5.000 ordenadores públicas y de empleados, es un alivio para el personal de la biblioteca que ha tenido que recurrir a soluciones analógicas para muchas de sus tareas diarias.

«Hemos tenido que pensar rápidamente cómo íbamos a proporcionar tantos servicios como fuera posible», dijo Jan Dawson, una gerente de área que dirige 18 sucursales en el oeste de la ciudad. «Eso implicaba, en los primeros días, usar papel y lápiz y escribir códigos de barras y mantener esa circulación en marcha».

Hasta el mes pasado, los bibliotecarios de la Sucursal Richview en el oeste almacenaban libros devueltos en cajas de cartón en un rincón de la biblioteca. Los clientes se conectaban al Wi-Fi usando sus propios dispositivos y navegaban por estantes de libros cada vez más escasos sin la ayuda de un catálogo de la biblioteca.

Parados en medio de las columnas de cajas en enero, Dawson dijo que el personal creó listas de recursos para los usuarios de la biblioteca que necesitaban encontrar formas alternativas de acceder a ordenadores públicos y servicios de impresión.

Una encuesta reciente de la TPL a sus usuarios encontró que, para el 80 por ciento de los encuestados, las sucursales de la biblioteca eran el único lugar donde podían acceder a internet.

Las bibliotecas también ayudan a las poblaciones desatendidas de la ciudad de otras maneras, incluido proporcionar calor y refugio para quienes lo necesitan, y oportunidades para que los recién llegados se pongan en contacto con familiares en el extranjero. «Las bibliotecas son un pilar importante en la comunidad. Es prácticamente el último espacio gratuito que está disponible para cualquiera», dijo Dawson a The National de CBC News.

Maureen Philips, asidua a la sucursal Lillian H. Smith en el núcleo del centro, dijo que está esperando ansiosamente el regreso del sistema de reserva de libros en línea para poder sacar los bestsellers y libros de viajes nuevamente.

Ian Charlton dijo que usa la biblioteca para todo, desde un «refugio seguro» hasta sacar libros, revistas y DVD. Aunque dijo que la interrupción del servicio realmente no afectó cómo usa la biblioteca, dijo que es bueno ver que la biblioteca está de vuelta en línea.

CBC News revisó los sitios web de grupos de ransomware en la web oscura y encontró numerosas instancias en las que supuestamente se habían hackeado empresas canadienses, tanto con fines de lucro como sin fines de lucro, con víctimas presuntas que iban desde una panadería hasta una empresa energética.

Los hackers a menudo enumeraban nombres y logotipos de empresas, junto con descripciones de la información que supuestamente habían tomado. Los ejemplos incluían imágenes de pasaportes de empleados y licencias de conducir, todos aparentemente disponibles para descargar. CBC News no intentó descargar ningún dato.

El sitio web de un grupo de ransomware tenía un diseño casi corporativo con un enlace de «contáctenos» en la esquina superior derecha. CBC News intentó comunicarse con el grupo, que ha sido vinculado a varios ciberataques canadienses, para obtener más información sobre cómo eligen sus objetivos. El grupo no respondió.

«Cómo funcionan realmente estos grupos es que hackean todo lo que realmente pueden obtener, y desafortunadamente a veces es una biblioteca, a veces es una empresa con mucho dinero», dijo Bob McArdle, investigador de la gigante de software de ciberseguridad Trend Micro en Cork, Irlanda.

Los diferentes grupos de ransomware tendrán diferentes códigos de conducta, dice. «Algunos de ellos, por ejemplo, dirán claramente: No hackeamos hospitales, no hackeamos objetivos gubernamentales, y así sucesivamente», dijo. «A otros simplemente no les importa».

McArdle dice que los grupos de ransomware tienden a estar formados por criminales de carrera, que tratan el hackeo como un trabajo profesional de nueve a cinco.

El NIST identifica tipos de ciberataques que manipulan el comportamiento de los sistemas de inteligencia artificial (IA)

«NIST Identifies Types of Cyberattacks That Manipulate Behavior of AI Systems». 2024. NIST, enero. https://www.nist.gov/news-events/news/2024/01/nist-identifies-types-cyberattacks-manipulate-behavior-ai-systems.

La publicación, una colaboración entre el gobierno, la academia y la industria, tiene la intención de ayudar a los desarrolladores y usuarios de IA a comprender los tipos de ataques que podrían esperar, junto con enfoques para mitigarlos, con la comprensión de que no hay una solución única.

Los sistemas de IA han permeado la sociedad moderna, trabajando en capacidades que van desde conducir vehículos hasta ayudar a los médicos a diagnosticar enfermedades o interactuar con clientes como chatbots en línea. Para aprender a realizar estas tareas, se entrenan con vastas cantidades de datos: un vehículo autónomo podría mostrar imágenes de carreteras con señales de tráfico, por ejemplo, mientras que un chatbot basado en un modelo de lenguaje grande (LLM) podría exponerse a registros de conversaciones en línea. Estos datos ayudan a la IA a predecir cómo responder en una situación dada.

Un problema importante es que los datos en sí mismos pueden no ser confiables. Sus fuentes pueden ser sitios web e interacciones con el público. Hay muchas oportunidades para que actores malintencionados corrompan estos datos, tanto durante el período de entrenamiento de un sistema de IA como después, mientras la IA continúa refinando sus comportamientos al interactuar con el mundo físico. Esto puede hacer que la IA se comporte de manera indeseable. Por ejemplo, los chatbots pueden aprender a responder con lenguaje abusivo o racista cuando se sortean cuidadosamente las protecciones mediante indicaciones maliciosas.

«En su mayor parte, los desarrolladores de software necesitan que más personas usen su producto para que pueda mejorar con la exposición», dijo Vassilev. «Pero no hay garantía de que la exposición sea buena. Un chatbot puede generar información negativa o tóxica cuando se le indica con un lenguaje cuidadosamente diseñado».

En parte porque los conjuntos de datos utilizados para entrenar una IA son demasiado grandes para que las personas los supervisen y filtren con éxito, todavía no hay una forma infalible de proteger la IA contra el desvío. Para ayudar a la comunidad de desarrolladores, el nuevo informe ofrece una visión de los tipos de ataques que podrían sufrir sus productos de IA y enfoques correspondientes para reducir el daño.

El informe considera los cuatro principales tipos de ataques: evasión, envenenamiento, privacidad y ataques de abuso. También los clasifica según múltiples criterios, como los objetivos y metas del atacante, las capacidades y el conocimiento.

  • Los ataques de evasión, que ocurren después de que se implementa un sistema de IA, intentan alterar una entrada para cambiar cómo el sistema responde a ella. Ejemplos incluirían agregar marcas a señales de alto para hacer que un vehículo autónomo las interprete como señales de límite de velocidad o crear marcas de carril confusas para hacer que el vehículo se desvíe de la carretera.
  • Los ataques de envenenamiento ocurren en la fase de entrenamiento al introducir datos corruptos. Un ejemplo sería deslizar numerosas instancias de lenguaje inapropiado en registros de conversaciones, para que un chatbot interprete estas instancias como parloteo lo suficientemente común como para usarlo en sus propias interacciones con clientes.

Los ataques de privacidad, que ocurren durante la implementación, son intentos de aprender información sensible sobre la IA o los datos en los que se entrenó para mal usarla. Un adversario puede hacerle numerosas preguntas legítimas a un chatbot y luego utilizar las respuestas para ingeniería inversa del modelo para encontrar sus puntos débiles o adivinar sus fuentes. Agregar ejemplos indeseados a esas fuentes en línea podría hacer que la IA se comporte de manera inapropiada, y hacer que la IA olvide esos ejemplos específicos no deseados después del hecho puede ser difícil.

Los ataques de abuso implican la inserción de información incorrecta en una fuente, como una página web o un documento en línea, que una IA luego absorbe. A diferencia de los ataques de envenenamiento mencionados anteriormente, los ataques de abuso intentan darle a la IA piezas incorrectas de información de una fuente legítima pero comprometida para cambiar el uso previsto del sistema de IA.

«La mayoría de estos ataques son bastante fáciles de llevar a cabo y requieren un conocimiento mínimo del sistema de IA y capacidades adversarias limitadas», dijo la coautora Alina Oprea, profesora en la Universidad Northeastern. «Los ataques de envenenamiento, por ejemplo, pueden llevarse a cabo controlando unas pocas docenas de muestras de entrenamiento, lo que sería un porcentaje muy pequeño de todo el conjunto de entrenamiento».

Los autores, que también incluyeron a los investigadores de Robust Intelligence Inc., Alie Fordyce e Hyrum Anderson, desglosan cada una de estas clases de ataques en subcategorías y agregan enfoques para mitigarlos, aunque la publicación reconoce que las defensas que los expertos en IA han ideado contra ataques adversarios hasta ahora son incompletas.

Los datos de los usuarios de la British Library robados en el ciberataque se ofrecen en un sitio de subastas en la dark web por 600.000 libras esterlinas

Lyon, J. (2023, noviembre 21). Data stolen from the British Library is being auctioned for bitcoin on the dark web. Protos. https://protos.com/data-stolen-from-the-british-library-is-being-auctioned-for-bitcoin-on-the-dark-web/

La British Library, se enfrenta a una crisis cibernética tras un ataque de ransomware. Aunque el edificio y los libros físicos permanecen, el acceso a la información y la conexión entre lectores y materiales se ha visto comprometida. Este incidente destaca la fragilidad de las instituciones que nos conectan y protegen, subrayando la importancia del trabajo que hacen posible.

En Halloween de 2023, la Biblioteca Británica (BL) de Londres sufrió un ciberataque masivo, que dejó su presencia en la web inexistente, su acceso a las colecciones desactivado e incluso su wifi colapsó. El ciberataque también puso en manos de un tercero los datos personales de los usuarios y del personal de la BL. Durante la última semana de noviembre, se presentaron imágenes de los datos robados para su subasta en la web oscura, a la venta a quien estuviera dispuesto a pagar 20 bitcoin, o unas 600.000 libras esterlinas. Al convertir la infraestructura digital de la biblioteca en una mercancía (en un mercado abierto, aunque oscuro), una «banda de ransomware» autodenominada Rhysida espera presionar a la Biblioteca Británica para que pague primero. Los datos privados, que incluyen detalles de pasaportes y documentos de empleo de HMRC. Según The Register, el grupo de ransomware detrás del ataque, Rhysida, ya ha recibido una oferta inicial de 20 bitcoins, con un valor aproximado de $745,000. TechCrunch también afirma que Rhysida amenazó con publicar los datos a menos que se pagara un rescate por parte de la Biblioteca Británica. Un asesor de ciberseguridad global de ESET le dijo a The Register que Rhysida probablemente «no ha recibido el rescate» y «ahora está llevando a cabo la siguiente fase del ataque amenazando con liberar los datos».

«Con solo 7 días en el reloj, aprovecha la oportunidad para ofertar por datos exclusivos, únicos e impresionantes», dice el anuncio de Rhysida. «Abre tus billeteras y prepárate para comprar datos exclusivos. Vendemos solo a una mano, sin revender, serás el único propietario».

La Biblioteca Británica reveló por primera vez las interrupciones a fines de octubre antes de confirmar que fue víctima de un ataque de ransomware el 14 de noviembre. El ataque causó varias interrupciones técnicas importantes, incluida la inutilización del sitio web de la biblioteca. Actualmente, el sitio aún está fuera de servicio, y la biblioteca está publicando actualizaciones en X (anteriormente Twitter).

Esta semana, afirmó: «No tenemos evidencia de que los datos de nuestros usuarios hayan sido comprometidos». Dijo que cualquier persona con una cuenta de la Biblioteca Británica que use una contraseña compartida con otras cuentas debería cambiar esa contraseña en todas partes.

El ataque de ransomware ha expuesto la vulnerabilidad de la institución y sus personas, quienes están dedicadas a proporcionar el derecho humano básico a la información. En última instancia, el incidente destaca que cualquier intento de cuantificar el valor del conocimiento en cualquier moneda, ya sea bitcoin u otra, fracasará. La historia sirve como recordatorio de la fragilidad de las instituciones que nos conectan y protegen, así como de la importancia del trabajo que hacen posible.

La curación de los datos es un paso crítico en la creación de una Inteligencia Artificial Súper Inteligente (ASI) segura.

AI is Deterministic Based Upon the Starting Data – AI Alignment Could Be Relatively Easy. Next Big Future November 27, 2023 by Brian Wang

Texto completo

Un empleado de OpenAI ha observado que los Modelos de Lenguaje Grandes (LLM) que comienzan con el mismo conjunto de datos convergen hacia el mismo punto. Esto sugiere que la curación de los datos es un paso crítico en la creación de una Inteligencia Artificial Súper Inteligente (ASI) segura. Si podemos cargar la IA con ejemplos éticos deseados y a favor de la humanidad desde el principio, el sistema resultante debería tener un núcleo de seguridad alineado con los valores humanos.

La superinteligencia artificial (ASI) es un sistema basado en software con capacidades intelectuales más allá de las de los humanos en una amplia gama de categorías y campos de acción. La ASI aún no existe y es un estado hipotético de la inteligencia artificial (IA). La ASI difiere de la inteligencia artificial regular (IA), que implica la simulación basada en software de las capacidades intelectuales humanas, como el aprendizaje a través de la adquisición de información, el razonamiento y la autocorrección

Se plantea la posibilidad de que sea muy fácil entrenar al LLM en datos acumulados de todos los estudios relacionados con el conocimiento de la alineación de la IA. En teoría, la IA debería aprender y absorber las lecciones de manera efectiva.

El autor, Brian Wang, destaca la importancia de la curación de datos para la seguridad de la IA y sugiere que alinear la IA con valores éticos humanos podría ser relativamente fácil si se aborda desde el inicio con la información correcta.

Cabe señalar que algunos comentarios en la publicación plantean dudas sobre la premisa, argumentando que simplemente escalar un LLM puede no ser suficiente para lograr una ASI y que se pueden necesitar avances fundamentales en la comprensión y modelos internos de la IA.

Un profesor contratado por OpenAI para probar GPT-4 afirma que existe un «riesgo significativo» de que las personas lo utilicen para llevar a cabo «química peligrosa»

Bhaimiya, Sawdah. «A Professor Hired by OpenAI to Test GPT-4 Says There’s “significant Risk” of People Using It to Do “Dangerous Chemistry”». Business Insider. Accedido 3 de noviembre de 2023. https://www.businessinsider.com/open-ai-gpt4-high-risk-used-for-dangerous-chemistry-expert-2023-4.

Un profesor contratado por OpenAI para probar GPT-4, creadora del chatbot ChatGPT, ha advertido sobre el «riesgo significativo» de que las personas lo utilicen para realizar «química peligrosa». Andrew White, profesor asociado de ingeniería química en la Universidad de Rochester en el estado de Nueva York, formó parte de un grupo de 50 expertos contratados para probar la nueva tecnología durante un período de seis meses en 2022.

Este grupo de expertos, conocido como el «equipo rojo«, planteó preguntas peligrosas y provocadoras al modelo de inteligencia artificial para evaluar hasta dónde podía llegar. White reveló que utilizó GPT-4 para sugerir un compuesto que pudiera funcionar como un arma química, utilizando «complementos» que permitían al chatbot acceder a información de documentos científicos y directorios de fabricantes químicos. Según se informa, el chatbot pudo encontrar información sobre cómo fabricar el compuesto.

White comentó que, si bien esta tecnología puede acelerar y mejorar la química, también existe el riesgo de que las personas realicen actividades químicas peligrosas.

Los hallazgos del equipo de 50 expertos se presentaron en un documento técnico sobre el nuevo modelo, que también mostró que la IA podría ayudar a los usuarios a redactar discursos de odio y a encontrar armas no registradas en línea. Estos hallazgos contribuyeron a que OpenAI abordara estos problemas antes de lanzar GPT-4 para uso público.

GPT-4 se lanzó en marzo y se describe como la tecnología de IA más avanzada de OpenAI, capaz de aprobar un examen de abogacía o alcanzar una calificación de 5 en algunos exámenes de nivel avanzado (AP).

El CEO de Twitter, Elon Musk, y cientos de expertos en IA, académicos e investigadores firmaron una carta abierta el mes pasado en la que pedían una pausa de seis meses en el desarrollo de herramientas de IA más poderosas que GPT-4. La carta argumentaba que los sistemas de IA poderosos solo deberían desarrollarse «una vez que estemos seguros de que sus efectos serán positivos y sus riesgos manejables».

La British Library sufre un importante ataque informático que está afectando a varios de sus servicios.

Muncaster, Phil. «British Library Still Reeling After Major Cyber Incident». Infosecurity Magazine, 1 de noviembre de 2023. https://www.infosecurity-magazine.com/news/british-library-still-reeling/.

La British Library está experimentando una interrupción tecnológica importante debido a un incidente cibernético que ocurrió durante el fin de semana. Esta interrupción afecta su sitio web, sistemas y servicios en línea, así como algunos servicios en el lugar, incluyendo Wi-Fi público. Las líneas telefónicas y servicios en el lugar en su edificio principal en Londres y otra instalación en Yorkshire también se ven afectados.

Aunque las salas de lectura estarán abiertas para el estudio personal, el acceso a los elementos de la colección es muy limitado, y no se puede acceder a las colecciones digitales o al catálogo digital. La inscripción de lectores también está fuera de servicio. La exposición Fantasy y los espacios públicos permanecerán abiertos como de costumbre, y los eventos públicos se llevarán a cabo según lo planeado, pero solo se aceptará pago en efectivo en el lugar.

Solo estarán disponibles los elementos de la colección solicitados antes del 26 de octubre, y la orden de elementos de la colección de forma manual será muy limitada a través de los catálogos impresos de la biblioteca para elementos almacenados en su base de St Pancras.

Aunque no se ha confirmado la causa del incidente, el ransomware (secuestro de servidores) es una posibilidad dada la gran interrupción. No se ha mencionado si se ha robado información personal de empleados o consumidores. Según los anuncios oficiales de la biblioteca en la red social X, el incidente comenzó el 28 de octubre.

La Biblioteca Nacional del Reino Unido es una de las más grandes del mundo y se estima que contiene hasta 200 millones de elementos en 400 millas de estanterías. Esto incluye la Carta Magna, letras manuscritas de los Beatles y la colección más grande del mundo de obras de Geoffrey Chaucer, que recientemente se puso a disposición en formato digital después de un proyecto de dos años y medio.

Las empresas de IA generativa deben publicar informes de transparencia

Arvind Narayanan & Sayash Kapoor. “Generative AI companies Must Publish Transparency Reports”.Knight First Amendment Institute at Columbia University, June 26, 2023

Ver noticia

¿Cuántas personas utilizan chatbots y generadores de texto a imagen para alguno de los muchos usos prohibidos, como generar desinformación o imágenes de abusos a menores? ¿Con qué frecuencia consiguen eludir los filtros de las herramientas? ¿Están haciendo algo las empresas para rastrear o hacer cumplir las infracciones de sus condiciones de servicio?

Al igual que las redes sociales, la gente utiliza la IA generativa para generar y consumir contenidos, y puede verse expuesta a contenidos nocivos en el proceso. Debido a la presión pública y a los requisitos normativos, se ha convertido en una práctica habitual que las empresas de redes sociales publiquen informes de transparencia detallados que cuantifiquen la difusión de contenidos nocivos en la plataforma. Creemos que las empresas de IA deberían hacer lo mismo.

En concreto, para cada categoría de contenido nocivo, los informes de transparencia deben

  • Explicar cómo se define y cómo se detecta el contenido nocivo.
  • Informar de la frecuencia con la que se ha encontrado en el periodo del informe.
  • Si es el resultado de una violación de las condiciones del servicio, describir el mecanismo de aplicación y proporcionar un análisis de su eficacia.
  • Describa las medidas de mitigación aplicadas para evitarlo (por ejemplo, filtros de seguridad) y proporcione un análisis de su eficacia.

En las redes sociales, los investigadores tienen cierta visibilidad de la difusión de contenidos nocivos, ya que gran parte de ellos son públicos. Pero con la IA generativa, estamos completamente a oscuras. Así que estas medidas de transparencia son urgentes.

Los informes de transparencia son más importantes para las aplicaciones de uso general (por ejemplo, ChatGPT) y las destinadas a ser utilizadas en entornos de alto riesgo (como la medicina, las finanzas, la abogacía o la contratación).

En el caso de la IA generativa de código abierto, la transparencia es inviable, ya que los usuarios pueden ejecutarla en sus propios dispositivos. Pero creemos que, incluso con los modelos de código abierto, la mayoría de la gente preferirá las versiones basadas en la nube a las de ejecución local, debido al hardware y los conocimientos necesarios para ejecutarlas. Esos proveedores de servicios, más que los desarrolladores de modelos de código abierto, deberían publicar informes de transparencia.

Los informes de transparencia deben cubrir los tres tipos de daños derivados de los contenidos generados por IA

En primer lugar, las herramientas de IA generativa podrían utilizarse para dañar a otros, por ejemplo creando deepfakes no consentidos o materiales de explotación sexual infantil. Los desarrolladores tienen políticas que prohíben tales usos. Por ejemplo, las políticas de OpenAI prohíben una larga lista de usos, incluido el uso de sus modelos para generar asesoramiento legal, financiero o médico no autorizado para terceros. Pero estas políticas no pueden tener un impacto en el mundo real si no se aplican, y debido a la falta de transparencia de las plataformas sobre su aplicación, no tenemos ni idea de si son eficaces. Por ejemplo, los reporteros de ProPublica descubrieron en repetidas ocasiones que Facebook no eliminaba completamente los anuncios discriminatorios de su plataforma a pesar de afirmar que lo había hecho.

En segundo lugar, los usuarios pueden confiar demasiado en la IA para obtener información objetiva, como asesoramiento jurídico, financiero o médico. A veces simplemente no son conscientes de la tendencia de los chatbots actuales a generar con frecuencia información incorrecta. Por ejemplo, un usuario puede preguntar «¿cuáles son las leyes de divorcio en mi estado?» y no saber que la respuesta no es fiable. Otra posibilidad es que el usuario se vea perjudicado por no haber sido lo suficientemente cuidadoso como para verificar la información generada, a pesar de saber que podría ser inexacta. La investigación sobre el sesgo de automatización muestra que las personas tienden a confiar demasiado en las herramientas automatizadas en muchos escenarios, a veces cometiendo más errores que cuando no utilizan la herramienta.

En tercer lugar, los contenidos generados podrían ser intrínsecamente indeseables. A diferencia de los tipos anteriores, en este caso los daños no se deben a la malicia, descuido o desconocimiento de las limitaciones por parte de los usuarios. Más bien, el contenido intrínsecamente problemático se genera aunque no se haya solicitado. Por ejemplo, la aplicación de creación de avatares de Lensa generaba imágenes sexualizadas y desnudos cuando las mujeres subían sus selfies. La difamación también es intrínsecamente perjudicial y no una cuestión de responsabilidad del usuario. No sirve de consuelo a la víctima de la difamación decir que el problema se resolvería si todos los usuarios que pudieran encontrar una afirmación falsa sobre ellos tuvieran cuidado de verificarla.

Saber qué tipos de daños afectan más significativamente a las personas reales ayudará a los investigadores a comprender qué intervenciones de mitigación de daños necesitan más desarrollo. Ayudará a los educadores a enseñar a la gente a utilizar la IA generativa de forma responsable. Y, lo que es más importante, ayudará a los reguladores y a la sociedad civil a responsabilizar a las empresas del cumplimiento de sus políticas.