Archivo de la etiqueta: Riesgos

La IA podría tener consecuencias catastróficas: un investigador en IA advierte de que a los gobiernos se les acaba el tiempo para establecer salvaguardias integrales

MacDonald, Brennan. «AI Could Have Catastrophic Consequences — Is Canada Ready?» CBC News, 17 de marzo de 2024. https://www.cbc.ca/news/politics/advanced-artificial-intelligence-risk-extinction-humans-1.7144372.

Las naciones -incluida Canadá- se están quedando sin tiempo para diseñar y aplicar salvaguardias integrales sobre el desarrollo y despliegue de sistemas avanzados de inteligencia artificial, advirtió esta semana una empresa líder en seguridad de IA.

El avance de la inteligencia artificial (IA) podría tener consecuencias catastróficas y, según advierte una destacada empresa de seguridad en IA, los gobiernos, incluido Canadá, están quedando sin tiempo para diseñar e implementar salvaguardias completas sobre el desarrollo y despliegue de sistemas avanzados de inteligencia artificial. La preocupación surge de un informe encargado por el Departamento de Estado de EE. UU. titulado «Defence in Depth: An Action Plan to Increase the Safety and Security of Advanced AI«, donde se advierte que, en el peor de los casos, los sistemas de IA superhumanos podrían escapar al control de sus creadores y representar una amenaza de nivel de extinción para la humanidad.

La empresa Gladstone AI, con sede en EE. UU., que aboga por el desarrollo responsable de la inteligencia artificial segura, produjo el informe. Sus advertencias se dividen en dos categorías principales. La primera concierne al riesgo de que los desarrolladores de IA pierdan el control de un sistema de inteligencia artificial general (AGI, por sus siglas en inglés). Aunque no existen sistemas AGI hasta la fecha, muchos investigadores en IA creen que no están lejos.

La segunda categoría de riesgo catastrófico citada en el informe es el posible uso de sistemas de IA avanzados como armas, incluidas armas biológicas y químicas. El informe propone una serie de acciones urgentes que las naciones, comenzando por Estados Unidos, deben tomar para protegerse contra estos riesgos catastróficos, incluidos controles de exportación, regulaciones y leyes de desarrollo responsable de IA.

Mientras tanto, Canadá no tiene un marco regulatorio específico para la IA. Aunque el gobierno introdujo el Proyecto de Ley C-27, conocido como Ley de Inteligencia Artificial y Datos (AIDA), en noviembre de 2021 para sentar las bases para el diseño, desarrollo y despliegue responsables de sistemas de IA en Canadá, algunos advierten que este proyecto ya está obsoleto.

La legislación propuesta ya está en el ojo del huracán. La empresa Gladstone AI, en diciembre de 2023, instó al comité de industria y tecnología de la Cámara de los Comunes a enmendar AIDA para hacer frente a los riesgos extremos y las capacidades de la IA del futuro cercano. Ante la creciente importancia y los posibles peligros de la IA, Canadá y otros países enfrentan el desafío de mantenerse al día con la regulación y salvaguardias adecuadas.

OpenAI lanza un documento para guiar el desarrollo seguro de la inteligencia artificial

Preparedness 
Framework
(Beta)

PDF

OpenAI, empresa creadora de ChatGPT, ha lanzado un «marco preparatorio» para guiar el desarrollo seguro de sistemas de inteligencia artificial cada vez más poderosos. El marco, considerado un «documento vivo», tiene como objetivo ayudar a la empresa a «rastrear, evaluar, prever y protegerse contra riesgos catastróficos» que podrían surgir con los avances en la inteligencia artificial.

Esta iniciativa es parte del compromiso voluntario de OpenAI con la Casa Blanca y otros interesados para el desarrollo seguro y transparente de la inteligencia artificial. Según Anton Dahbura, experto en inteligencia artificial y co-director del Instituto de Autonomía Asegurada de la Universidad Johns Hopkins, este marco es un buen «primer paso en un viaje muy largo».

El marco detalla cómo la empresa evaluará sus sistemas emergentes y determinará si es seguro proceder. Incluye la creación de un Grupo Asesor de Seguridad para supervisar la evaluación de riesgos y asesorar a la dirección en decisiones de seguridad. Además, establece niveles de riesgo, como «bajo», «medio», «alto» y «crítico», con varios criterios para evaluar áreas como ciberseguridad, amenazas CBRN (químicas, biológicas, radiológicas, nucleares) y persuasión.

Solo los modelos de inteligencia artificial con una puntuación de mitigación de «medio» o menos pueden ser implementados, y solo aquellos con una puntuación de mitigación de «alto» o menos pueden seguir desarrollándose. OpenAI también se compromete a buscar constantemente «desconocidos-ignorados», explorando categorías actualmente desconocidas de riesgos catastróficos.

El CEO de OpenAI, Sam Altman, ha afirmado que los beneficios superan los riesgos para los sistemas que la empresa ha lanzado al público, pero destaca la necesidad de intervenciones regulatorias gubernamentales para mitigar los riesgos de modelos cada vez más poderosos.

Aunque la administración Biden ha propuesto una «Hoja de Ruta para una Declaración de Derechos de la IA», OpenAI, por ahora, se centra en desarrollar pautas internas, como su nuevo marco. Dahbura elogia la proactividad de OpenAI y destaca que el marco es más detallado y menos genérico que otros documentos aspiracionales de alto nivel en la industria de la inteligencia artificial.

¿Cuáles son los beneficios y riesgos del desarrollo de la inteligencia artificial?

https3a2f2fblogs-images-forbes-com2frobertadams2ffiles2f20162f032fartificial-intelligence-is-it-dangerous-1200x1000

Risks and rewards: Scenarios around the economic impact of machine learning. [Report] The Economist, Intelligence Unit y Google, 2018.

Texto completo

Existe cierta incertidumbre en torno a los avances de la inteligencia artificial (IA) y uno de sus principales subconjuntos, el aprendizaje automático, de lo que sugiere el debate actual, en particular con respecto al impacto de la tecnología en la sociedad y la economía. Sin duda, los avances han sido increíbles y los defensores tienen razón al destacarlos. Sin embargo, no todo el mundo ve esto como un bien. De hecho, existe una gran preocupación por el hecho de que la IA represente una amenaza para el empleo, la privacidad y, con el tiempo, incluso para la humanidad.

El problema es que ambos bandos -los partidarios de la IA y sus oponentes, los partidarios y los detractores- a menudo utilizan la hipérbole para promover su punto de vista. Como resultado, gran parte del debate actual sobre IA se ha convertido en una propuesta de uno u otro tipo. O bien conducirá inexorablemente hacia un futuro utópico o será la causa de nuestra desaparición.

La verdad probablemente se encuentra en algún punto intermedio y The Economist Intelligence Unit, con el patrocinio de Google, ha llevado a cabo una investigación para identificar el punto medio mediante el desarrollo de escenarios cuantitativos y cualitativos sobre el impacto del aprendizaje automático para un número selecto de países e industrias. Los resultados se basan en modelos econométricos, investigación documental y entrevistas con expertos académicos e industriales.