Archivo de la etiqueta: Seguridad

¿Qué es la Inteligencia Artificial abierta?

Widder, David Gray, Meredith Whittaker, y Sarah Myers West. «Why ‘Open’ AI Systems Are Actually Closed, and Why This Matters». Nature 635, n.o 8040 (noviembre de 2024): 827-33. https://doi.org/10.1038/s41586-024-08141-1.

La «apertura» en IA se define frecuentemente de manera vaga, lo que facilita que compañías multinacionales utilicen esta narrativa para sus propios fines. Algunas empresas argumentan que la IA abierta fomenta la innovación y la democracia, mientras que otras sostienen que representa riesgos de seguridad. Este uso contradictorio del término destaca la necesidad de definirlo con mayor rigor en los debates sobre políticas tecnológicas.

La IA abierta debe cumplir con tres características principales: transparencia, reusabilidad y extensibilidad. La transparencia permite el acceso a modelos y datos, lo que facilita auditorías y supervisión. La reusabilidad promueve la adaptación y mejora de los modelos existentes, mientras que la extensibilidad posibilita la construcción de nuevas aplicaciones sobre sistemas ya desarrollados.

Sin embargo, estas ventajas no son suficientes para resolver el problema central de la concentración de poder. A pesar de estas oportunidades, los recursos clave que impulsan la IA, como datos masivos, talento especializado y capacidad computacional, siguen estando monopolizados por un pequeño grupo de grandes corporaciones tecnológicas. Esto significa que, aunque los sistemas abiertos permiten cierta supervisión y experimentación, no logran democratizar el acceso a las herramientas y beneficios de la IA de manera efectiva.

El análisis de los autores destaca cómo la narrativa de apertura en IA ha sido utilizada para consolidar el poder de los gigantes tecnológicos, en lugar de redistribuirlo. Comparan este fenómeno con la cooptación de proyectos de software libre por parte de grandes empresas en el pasado. En ambos casos, los principios originales de apertura y colaboración se ven desplazados por estrategias que favorecen a las empresas con mayores recursos. En el contexto de la IA, estas dinámicas se agravan debido a la complejidad técnica y los altos costos asociados con el desarrollo y mantenimiento de modelos avanzados.

Los autores subrayan que esta concentración de poder tiene implicaciones profundas para la innovación, la equidad y la transparencia. Mientras unas pocas empresas controlen los datos, las infraestructuras computacionales y el talento necesario para desarrollar IA, será difícil garantizar que los beneficios de estas tecnologías se distribuyan de manera equitativa. Además, la centralización del poder en el sector tecnológico aumenta el riesgo de que estas empresas ejerzan una influencia desproporcionada sobre la formulación de políticas y la dirección futura del desarrollo de la IA.

El artículo también analiza cómo la retórica de la «apertura» se utiliza estratégicamente para legitimar el dominio de las grandes empresas tecnológicas. Al enmarcar sus iniciativas como abiertas y accesibles, estas compañías pueden presentarse como actores benevolentes y progresistas, mientras refuerzan sus propias posiciones de poder. Según los autores, esto permite que las empresas implementen una supervisión superficial y simbólica, sin abordar los problemas estructurales que perpetúan la concentración de recursos y control.

En su conclusión, los autores instan a redefinir el concepto de apertura en IA para hacerlo más significativo y efectivo. Proponen que las políticas relacionadas con la IA deben centrarse no solo en la transparencia, la reusabilidad y la extensibilidad, sino también en abordar las desigualdades estructurales en el acceso a datos, infraestructura y talento. Esto implica crear regulaciones más estrictas para garantizar que los beneficios de la IA no se limiten a un pequeño grupo de actores privilegiados.

Asimismo, el artículo subraya la necesidad de un enfoque más crítico y materialista en el análisis de las políticas de IA. Esto significa examinar las dinámicas de poder subyacentes en el desarrollo y la implementación de estas tecnologías, en lugar de aceptar de manera acrítica las narrativas de apertura promovidas por las grandes empresas.

Anthropic advierte de la catástrofe de la IA si los gobiernos no regulan en 18 meses

Anthropic. «The Case for Targeted RegulationAnthropic, 31 de octubre de 2024. https://www.anthropic.com/news/the-case-for-targeted-regulation.

La regulación de la IA es esencial para balancear los beneficios y los riesgos. Si bien es un desafío complejo, es crucial implementarla pronto para evitar consecuencias negativas y asegurar el progreso en áreas clave como la ciencia y la medicina.

Los sistemas de inteligencia artificial (IA) están avanzando rápidamente, ofreciendo enormes beneficios potenciales en áreas como la ciencia, la medicina y la economía. Sin embargo, también presentan riesgos significativos, como el uso indebido en ciberseguridad o biotecnología, y la posibilidad de comportamientos autónomos y destructivos de los propios sistemas. Ante estos riesgos, se urge a los gobiernos a implementar políticas de IA en los próximos 18 meses, ya que el margen para prevenir estos riesgos está cerrándose rápidamente.

Una regulación bien diseñada y específica puede permitir que se aprovechen los beneficios de la IA, mitigando al mismo tiempo sus peligros. Sin embargo, si se retrasan las acciones, el resultado podría ser una regulación ineficaz que limite el progreso sin evitar los riesgos. Se propone una regulación dirigida que se enfoque en tres principios clave:

  1. Urgencia: La IA ha avanzado significativamente en el último año, con mejoras notables en tareas de codificación, razonamiento y matemáticas, lo que aumenta tanto las aplicaciones positivas como las posibilidades de uso indebido, especialmente en áreas como la ciberseguridad y la biotecnología.
  2. Política de Escalamiento Responsable (RSP): En Anthropic, la empresa responsable del artículo, se ha implementado una política llamada «Escalamiento Responsable», que ajusta las medidas de seguridad y mitigación de riesgos en función de los niveles de capacidad de los modelos de IA. Esta política se adapta de forma continua según el desarrollo de los modelos y su potencial de generar riesgos catastróficos.
  3. Elementos clave para la regulación de la IA:
    • Transparencia: Las empresas deben ser obligadas a publicar sus políticas de seguridad y las evaluaciones de riesgo de cada nueva generación de modelos de IA.
    • Incentivos para mejores prácticas de seguridad: La regulación debe fomentar que las empresas desarrollen políticas efectivas que prevengan riesgos graves.
    • Simplicidad y enfoque: La regulación debe ser precisa y evitar cargas innecesarias o reglas complicadas que puedan obstaculizar el progreso.

Se destaca la necesidad urgente de que los gobiernos y la industria trabajen juntos para desarrollar un marco regulatorio efectivo, que no solo reduzca los riesgos catastróficos de la IA, sino que también permita a la industria seguir innovando. Esto debe lograrse de manera flexible, considerando el rápido avance de la tecnología y adaptando las políticas a las mejores prácticas emergentes.

La desaparición de la cultura: un informe sobre nuestro frágil patrimonio cultural

Vanishing Culture: A Report on Our Fragile Cultural Record, edited by Luca Messarra, Chris Freeland and Juliya Ziskina.

Texto completo

Los ataques informáticos, que han afectado a instituciones como el Internet Archive, la Biblioteca Británica y otras bibliotecas de Norteamérica, también amenazan la preservación de la cultura digital, interfiriendo con la infraestructura que la protege. El informe aboga por la necesidad de fortalecer el papel de las bibliotecas y archivos públicos, otorgándoles respaldo legal, cultural y financiero, para garantizar el acceso a nuestro legado cultural en el futuro.

En los últimos días de preparación del informe, el Internet Archive sufrió un ataque de denegación de servicio distribuido (DDoS) que dejó sus servicios fuera de línea durante cuatro días, recuperándose luego de manera provisional. Este incidente refleja una tendencia alarmante: los ciberataques contra bibliotecas e instituciones de memoria. Además del Internet Archive, otras bibliotecas como la Biblioteca Británica y la Biblioteca Pública de Seattle también han sido atacadas, y la Biblioteca Pública de Calgary tuvo que cerrar incluso sus sedes físicas debido a uno de estos incidentes.

Estas amenazas no solo interrumpen el acceso, sino que ponen en peligro los sistemas que garantizan la preservación de nuestro conocimiento. La pérdida de acceso a las colecciones digitales, aunque sea temporal, tiene graves implicaciones: interrumpe la investigación, frena el acceso público a la información y crea vacíos en la memoria pública. Un usuario en X señaló la ironía de este ataque, realizado en medio de un huracán, conflictos bélicos y elecciones en EE. UU.

Este ataque subraya la fragilidad de nuestro paisaje digital. Ante estas crecientes amenazas, se hace evidente la necesidad de investigar cómo proteger mejor las bibliotecas digitales y sus archivos culturales, cuya preservación es crucial en una era de cultura en constante desaparición.

El informe Vanishing Culture: A Report on Our Fragile Cultural Record analiza cómo los intereses corporativos y los cambios en la distribución de medios limitan el acceso público a su propio registro cultural. La proliferación de contenido digital a través de plataformas de streaming y licencias temporales, en lugar de la propiedad permanente, pone en riesgo que grabaciones, libros, programas de televisión y películas desaparezcan de las plataformas sin ser archivados. Esto implica que la expresión cultural queda a merced de los conglomerados mediáticos.

El informe está dividido en dos partes. La primera, “Preservación de Medios y la Construcción de la Memoria Pública,” explora el impacto de este cambio hacia el streaming y la pérdida de propiedad, destacando estudios sobre la pérdida digital y materiales preservados por el Internet Archive. Se incluye una revisión histórica sobre la pérdida cultural en cine y música, y se sugiere que los individuos tomen acción para ayudar a crear un ecosistema mediático accesible y duradero.

La segunda parte, “Narrativas de Preservación y Pérdida Cultural,” ofrece ensayos de académicos y defensores de la preservación, quienes destacan por qué es crucial preservar medios específicos, como las historias laborales de las mujeres (por medio de libros de cocina y redes sociales) y materiales educativos antiguos. Estas narrativas subrayan que solo a través de actos intencionados de preservación se podrán recordar estos elementos culturales.

En conjunto, el informe insta a reconocer la importancia de la preservación y el acceso para el bien público, y aboga por cambios necesarios para proteger nuestro patrimonio físico y digital.

Seguridad de la información

Vega Briceño, E. «Seguridad de la información – 3Ciencias». s. f. Accedido 9 de octubre de 2024

Texto completo

La seguridad de la información es crucial en nuestra sociedad hiperconectada, donde la tecnología y la digitalización influyen en prácticamente todos los aspectos de la vida. Desde el trabajo y las compras en línea hasta la educación y el entretenimiento, dependemos de sistemas informáticos que almacenan y procesan grandes cantidades de información. Sin embargo, esta misma dependencia de la tecnología también nos expone a riesgos significativos si no se toman medidas adecuadas de seguridad.

La seguridad de la información abarca un conjunto de prácticas, procesos y metodologías diseñadas para proteger tanto los datos como los sistemas tecnológicos frente a diversas amenazas, como el acceso no autorizado, la divulgación, la modificación, la destrucción o el uso indebido de la información. Esto es particularmente importante dado que los ciberdelincuentes pueden causar daños económicos, reputacionales y legales a individuos y organizaciones.

Los riesgos son múltiples: desde el robo de identidad y fraude financiero hasta el espionaje industrial y la pérdida de información crítica. Por ejemplo, si un atacante accede a la base de datos de una empresa y obtiene información sensible como datos financieros o personales de los empleados o clientes, puede desatar graves consecuencias. Esto puede incluir la pérdida de millones de dólares, la quiebra de la empresa, sanciones legales y la pérdida de confianza por parte del público.

Por esta razón, la norma ISO/IEC 27001, una de las más reconocidas a nivel global, define la seguridad de la información como el conjunto de medidas destinadas a salvaguardar la confidencialidad, integridad y disponibilidad de la información. La confidencialidad implica que solo las personas autorizadas puedan acceder a la información, la integridad se refiere a la precisión y completitud de los datos, y la disponibilidad asegura que los sistemas y la información estén accesibles cuando se necesiten.

En el entorno actual, donde los ataques cibernéticos y las brechas de seguridad son más frecuentes que nunca, es vital que las organizaciones implementen políticas robustas de seguridad de la información. Esto incluye el uso de tecnologías avanzadas como el cifrado de datos, la autenticación multifactorial, las auditorías regulares de seguridad, la formación del personal sobre buenas prácticas y la creación de planes de contingencia ante incidentes de seguridad.

Además, el avance del Internet de las Cosas (IoT), la computación en la nube y la inteligencia artificial están añadiendo nuevas capas de complejidad a la seguridad de la información, lo que requiere un enfoque dinámico y adaptativo para proteger los datos en este panorama digital en constante evolución.

Informe EDUCAUSE Horizon 2024: Edición de Ciberseguridad y Privacidad

Jenay Robert et al., «2024 EDUCAUSE Horizon Report: Cybersecurity and Privacy Edition», 2024

Texto completo

El Informe Cybersecurity and Privacy Edition is Now Available Online, disponible desde el 30 de septiembre de 2024, analiza las tendencias, tecnologías clave y prácticas que moldean el futuro de la ciberseguridad y privacidad en la educación superior. Elaborado a partir de la experiencia de un panel global de líderes, el informe aborda los desafíos que surgen en un contexto global de incertidumbre política, conflictos bélicos y avances tecnológicos impulsados por la inteligencia artificial (IA).

El informe destaca seis tecnologías y prácticas clave:

  1. Gobernanza de IA.
  2. Apoyo a la agencia, confianza, transparencia e implicación.
  3. Enfoque en la seguridad de los datos en lugar del perímetro.
  4. Expansión de la fuerza laboral habilitada por IA.
  5. Tecnologías para mejorar la privacidad.
  6. Capacitación en ciberseguridad respaldada por IA.

El informe también examina cómo los profesionales deben adaptarse a estos cambios para garantizar la seguridad de las instituciones y los estudiantes en el futuro.

Secuestro de los servidores al sistema de bibliotecas públicas de Delaware y petición de 1 millón de dólares por parte de los piratas informáticos

Tim Furlong y Cherise Lynch • •, «Hackers Target Delaware Public Library System, Investigation Underway», NBC10 Philadelphia (blog), 25 de septiembre de 2024, https://www.nbcphiladelphia.com/news/local/cyberattack-delaware-public-library-system/3980170/?os=vb_&ref=app.

El grupo de ransomware RansomHub, conocido por extorsionar a diversas organizaciones, ha intentado cobrar un rescate de alrededor de 1 millón de dólares al sistema de bibliotecas públicas de Delaware (Estados Unidos). Las bibliotecas, que son pilares fundamentales de las comunidades pero a menudo subfinanciadas, fueron víctimas de un ataque que afectó los servicios informáticos en 35 bibliotecas del estado.

Como resultado del ataque, muchas bibliotecas se han visto obligadas a suspender servicios esenciales como el acceso a internet, la impresión y el uso de ordenadores. Algunas, como la biblioteca pública de Rehoboth Beach, también han experimentado interrupciones en los servicios telefónicos y de fax.

RansomHub afirma haber robado una cantidad significativa de documentos de las bibliotecas, aunque solo ha filtrado una pequeña cantidad de archivos financieros antiguos. Un portavoz de la biblioteca confirmó que el ataque afectó uno de sus servidores virtuales, pero aclaró que no ha comprometido información sensible de los usuarios, como el catálogo de libros.

Annie Norman, directora de la División de Bibliotecas de Delaware, aseguró que no pagarán el rescate, optando en su lugar por reconstruir los sistemas afectados con la ayuda de Microsoft y el Departamento de Tecnología e Información de Delaware. La recuperación está en sus primeras fases y podría tomar semanas o meses para comprender completamente el alcance del ataque.

El coste del ciberataque informático a la British Library se estima en 400.000 libras

The Stack. «British Library Reveals £400,000 Plan to Rebuild after “Catastrophic” Ransomware Attack», 21 de agosto de 2024. https://www.thestack.technology/british-library-ransomware/.

En octubre de 2023, la Biblioteca Británica sufrió un ataque de ransomware tan grave que un exdirector del Centro Nacional de Ciberseguridad lo calificó como «uno de los peores incidentes cibernéticos en la historia del Reino Unido». Ahora, casi un año después, la biblioteca ha presentado un plan de 400.000£ para recuperarse de esta catástrofe, que dejó su sitio web sin un sistema de gestión de contenido (CMS) adecuado y forzó el cierre continuo de archivos físicos y virtuales.

La biblioteca ha lanzado una licitación de 400.000£ para la primera fase de su proyecto «Web Foundations», que tiene como objetivo reconstruir su sitio web para que sea «robusto, escalable, sostenible y seguro». Este proyecto no solo busca ofrecer una excelente experiencia a usuarios y editores, sino también permitir la expansión rápida de otras áreas de contenido y sentar las bases para futuras integraciones con sistemas backend.

El ataque ocurrió el 28 de octubre de 2023, cuando el grupo de ransomware Rhysida accedió a través de un servidor vulnerable. La biblioteca se negó a pagar un rescate de 20 bitcoins (aproximadamente £600,000 en ese momento) y los atacantes filtraron 600GB de datos en la web oscura. Estos datos incluían información personal de usuarios y empleados de la biblioteca.

El ciberataque no solo comprometió datos, sino que también destruyó servidores, lo que ha complicado la recuperación de las colecciones digitales de la biblioteca. Aunque la biblioteca tiene copias seguras de sus colecciones, la falta de infraestructura viable ha retrasado la restauración. La vulnerabilidad de la biblioteca se vio exacerbada por la dependencia de aplicaciones antiguas que, en su mayoría, no pueden ser restauradas debido a la obsolescencia técnica y la falta de soporte.

En julio de 2024, la biblioteca seguía lidiando con las secuelas del ataque. Su director ejecutivo, Sir Roly Keating, destacó el tiempo que ha tomado restaurar los servicios, lo que refleja la magnitud del daño. Se espera que algunos servicios no estén disponibles hasta septiembre de 2024, y partes importantes de la colección física aún no han sido restauradas.

El ataque probablemente involucró la obtención de credenciales privilegiadas a través de phishing o ataques de fuerza bruta, y los métodos utilizados por los atacantes incluyeron evasión de defensas y técnicas anti-forenses para borrar evidencias.

Bibliotecarios hartos luchan por contener el sexo desenfrenado, el consumo de drogas y la violencia en las sucursales de todo el país.

Algar, Selim. «Fed up Librarians Struggle to Contain Rampant Sex, Drug Use and Violence at Branches Across the CountryNew York Post, April 8, 2024. https://nypost.com/2024/04/08/us-news/librarians-struggling-to-contain-sex-drug-use-and-violence-across-the-us/.

Las bibliotecas americanas, antes oasis tranquilos de aprendizaje, ahora enfrentan desorden y peligro diario. Bibliotecarios de todo el país, desde California hasta Nueva York, se quejan de problemas como sexo en público, uso de drogas y violencia. Las bibliotecas han comenzado a funcionar como refugios de facto para personas marginadas, especialmente desde la pandemia de COVID-19.

Los bibliotecarios se enfrentan a situaciones como sobredosis de heroína y episodios de esquizofrenia, sin formación adecuada para manejar estos casos. La crisis de las personas sin hogar ha exacerbado estos problemas. En Antioch, California, una biblioteca cerró debido a quejas de actividades sexuales y uso de drogas en sus instalaciones. Solo reabrió con la presencia de un guardia de seguridad armado.

Un ejemplo alarmante es Jennifer Goulden, una bibliotecaria de Iowa que demandó a su biblioteca de Des Moines por ignorar sus quejas sobre el caos y, según ella, incluso tomar represalias en su contra. La mayoría de las bibliotecas se han convertido en lugares inseguros, lo que ha alejado a muchas familias.

En Long Beach, los bibliotecarios lograron que se aprobara una ley para suspender a los asistentes problemáticos, debido a incidentes que van desde personas desnudas hasta peleas. En Tampa, Florida, un hombre fue arrestado por filmar a niños y a sí mismo masturbándose en una biblioteca. En Boulder, Colorado, una biblioteca cerró durante un año debido a residuos de metanfetaminas en los baños. La biblioteca principal de San Diego recibe visitas diarias de la policía y un hombre fue asesinado allí el año pasado.

A pesar de estos desafíos, los bibliotecarios están comprometidos a proporcionar espacios inclusivos, pero necesitan más apoyo y planes para manejar la situación. Sin embargo, la falta de apoyo en salud mental y administradores abrumados hacen que la situación sea insostenible. Algunos bibliotecarios han desarrollado tácticas para manejar el acoso sexual constante, mientras que la presencia de guardias de seguridad no siempre resulta efectiva. Las bibliotecas también han sido blanco de amenazas de bomba y otras formas de acoso debido a eventos controvertidos.

La Asociación Americana de Bibliotecas no respondió a las solicitudes de comentarios sobre estos problemas.

Los bibliotecarios enfrentan el desafío de archivar diversidad en un mundo digital

Coffey, L. (2024.). Librarians Grapple With Diverse Archiving in a Digital World. Inside Higher Ed. Recuperado 3 de junio de 2024, de https://www.insidehighered.com/news/tech-innovation/libraries/2024/06/03/librarians-grapple-diverse-archiving-digital-world

La necesidad de optimizar el archivado digital ha sido una preocupación latente para los bibliotecarios universitarios durante años. Es una tarea aún más desalentadora por la necesidad de garantizar la diversidad y equidad, así como el descubrimiento continuo de lagunas en los archivos que dejan muchas historias sin contar.

Los bibliotecarios están enfrentando dificultades para garantizar que los archivos sean tanto diversos como representativos de los registros digitales de eventos. La necesidad de optimizar el archivado digital ha sido una preocupación latente para los bibliotecarios universitarios durante años. Es una tarea aún más desalentadora por la necesidad de garantizar la diversidad y equidad y el descubrimiento continuo de lagunas en los archivos que dejan muchas historias sin contar.

La exclusión de grupos subrepresentados de los archivos es algo que los bibliotecarios reconocen que ha ocurrido en la historia, ya sea intencionalmente o debido a sesgos sistémicos. Muchos bibliotecarios han intentado abordar la exclusión, con esfuerzos más concertados después de los llamados a la acción en junio de 2020 que siguieron al asesinato de George Floyd.

Ese año, la Universidad Carnegie Mellon inicialmente quería tener su exposición anual de otoño centrada en las historias de la diversidad en el campus, pero los archiveros se dieron cuenta de que no tenían suficiente material. Según una encuesta de 2019, de las 90 colecciones de trabajo de CMU, el 22 por ciento representaba a mujeres y personas de color, y solo cuatro de ellas estaban disponibles para los investigadores.

Las lagunas en los archivos universitarios no son infrecuentes. En la Universidad Estatal de Carolina del Norte, Virginia Ferris destaca lagunas en la propia colección de la universidad como una forma de mostrar a los estudiantes la importancia del archivado.

Los riesgos extremos de la inteligencia artificial (IA) y el rápido progreso en este campo


Bengio, Yoshua, Geoffrey Hinton, Andrew Yao, Dawn Song, Pieter Abbeel, Trevor Darrell, Yuval Noah Harari, et al. «Managing extreme AI risks amid rapid progress». Science 384, n.o 6698 (24 de mayo de 2024): 842-45. https://doi.org/10.1126/science.adn0117.

El artículo trata sobre los riesgos extremos de la inteligencia artificial (IA) y el rápido progreso en este campo. Los autores, incluyendo a expertos como Yoshua Bengio y Geoffrey Hinton, discuten la necesidad de investigación técnica y desarrollo, así como de una gobernanza proactiva y adaptable para prepararse ante estos riesgos

El texto destaca que, aunque los sistemas actuales de aprendizaje profundo carecen de ciertas capacidades, las empresas están compitiendo para desarrollar sistemas de IA generalistas que igualen o superen las habilidades humanas en la mayoría de los trabajos cognitivos. Se menciona que la inversión en modelos de entrenamiento de vanguardia se ha triplicado anualmente y que no hay razón fundamental para que el progreso de la IA se detenga al alcanzar las capacidades humanas.

Los autores advierten sobre los riesgos que incluyen daños sociales a gran escala, usos maliciosos y la pérdida irreversible del control humano sobre los sistemas autónomos de IA. A pesar de los primeros pasos prometedores, la respuesta de la sociedad no es proporcional a la posibilidad de un progreso transformador rápido que muchos expertos esperan. La investigación en seguridad de la IA está rezagada y las iniciativas de gobernanza actuales carecen de mecanismos e instituciones para prevenir el mal uso y la imprudencia, y apenas abordan los sistemas autónomos.

Se propone un plan integral que combina la investigación técnica y el desarrollo con mecanismos de gobernanza proactivos y adaptables para una preparación más adecuada ante los avances rápidos y las altas apuestas del progreso de la IA

Existen numerosos desafíos técnicos abiertos para garantizar la seguridad y el uso ético de sistemas de IA generalistas y autónomos. A diferencia del avance en capacidades de IA, estos desafíos no pueden abordarse simplemente utilizando más potencia informática para entrenar modelos más grandes.

Un primer conjunto de áreas de R&D necesita avances para permitir una IA confiablemente segura. Estos desafíos de R&D incluyen lo siguiente:

  1. Supervisión y honestidad: Los sistemas de IA más capaces pueden aprovechar mejor las debilidades en la supervisión técnica y las pruebas, por ejemplo, al producir resultados falsos pero convincentes.
  2. Robustez: Los sistemas de IA se comportan de manera impredecible en nuevas situaciones. Mientras que algunos aspectos de la robustez mejoran con la escala del modelo, otros aspectos no lo hacen o incluso empeoran.
  3. Interpretabilidad y transparencia: La toma de decisiones de IA es opaca, y los modelos más grandes y capaces son más complejos de interpretar. Hasta ahora, solo podemos probar grandes modelos a través del ensayo y error. Necesitamos aprender a entender su funcionamiento interno.
  4. Desarrollo inclusivo de IA: El avance de la IA necesitará métodos para mitigar sesgos e integrar los valores de las muchas poblaciones que afectará.
  5. Abordar desafíos emergentes: Los futuros sistemas de IA pueden exhibir modos de fallo que hasta ahora solo hemos visto en teoría o experimentos de laboratorio.

Un segundo conjunto de desafíos de R&D necesita progresar para permitir una gobernanza efectiva y ajustada al riesgo o para reducir daños cuando la seguridad y la gobernanza fallan. En vista de las apuestas, se pide a las principales empresas tecnológicas y financiadores públicos que asignen al menos un tercio de su presupuesto de R&D de IA, comparable a su financiamiento para capacidades de IA, para abordar los desafíos de R&D mencionados y garantizar la seguridad y el uso ético de la IA. Más allá de las subvenciones tradicionales de investigación, el apoyo gubernamental podría incluir premios, compromisos de mercado anticipados y otros incentivos. Abordar estos desafíos, con miras a sistemas futuros poderosos, debe convertirse en algo central para nuestro campo.