Archivo de la etiqueta: Riesgos

La investigación empresarial sobre fiabilidad y seguridad de la IA ignora los riesgos del mundo

«How Corporate AI Research on Reliability and Safety Ignores Real-World Risks» Asimov’s Addendum (Substack),

El informe advierte sobre serias carencias en la investigación sobre gobernanza y seguridad de la inteligencia artificial generativa, especialmente en su aplicación práctica. El análisis se basa en la revisión de 9.439 artículos publicados entre 2020 y 2025 por cinco de las principales corporaciones tecnológicas (OpenAI, Google DeepMind, Meta, Microsoft y Anthropic) y seis destacadas instituciones académicas de Estados Unidos.

Uno de los hallazgos más alarmantes es que menos del 5 % de los estudios realizados por empresas abordan los riesgos derivados del uso real de estos sistemas por parte de usuarios y empresas, dejando sin atención aspectos fundamentales como errores en los resultados, sesgos, desinformación, violaciones de derechos de autor y consecuencias sociales.

El informe subraya que los laboratorios corporativos están marcando la agenda global de investigación en IA, enfocándose en fases previas al despliegue, como el entrenamiento, alineamiento y pruebas de modelos, mientras descuidan el análisis de su comportamiento en entornos reales. Esto resulta especialmente problemático en sectores de alto riesgo como la salud, las finanzas, la educación, la publicidad y la política, donde los sistemas de IA pueden amplificar desigualdades, inducir errores graves o facilitar la manipulación. La falta de investigación también contrasta con el creciente número de litigios relacionados con daños causados por IA generativa, como casos de difamación, uso indebido de datos o generación de contenido engañoso.

Como respuesta, el informe propone medidas concretas para mejorar la transparencia y la supervisión de la IA. Estas incluyen el fortalecimiento de mecanismos de observación independientes, la apertura de datos de implementación para investigadores externos, la documentación de objetivos de entrenamiento y arquitecturas de modelos, así como la divulgación pública de fallos o riesgos potenciales. Además, se destaca la importancia de proteger a posibles denunciantes y facilitar la participación de las comunidades afectadas por estas tecnologías en los debates regulatorios y científicos.

Este informe se enmarca en un creciente movimiento internacional por una inteligencia artificial más ética y segura. Iniciativas como las de la organización Partnership on AI también han elaborado guías para promover un despliegue responsable de estos sistemas, y diversas instituciones académicas y medios como Time han alertado sobre la necesidad urgente de regular y auditar los usos cotidianos de la IA. En definitiva, el estudio del SSRC reitera que, sin una supervisión externa rigurosa y una investigación orientada al impacto real, los avances en IA podrían agravar problemas sociales existentes en lugar de resolverlos.

Normas ISO sobre Inteligencia Artificial

International Organization for Standardization. ISO/IEC 22989:2022: Information Technology—Artificial Intelligence—Artificial Intelligence Concepts and Terminology. International Organization for Standardization. Última modificación el 2022. https://www.iso.org/es/contents/data/standard/07/42/74296.html

International Organization for Standardization. ISO/IEC 23894:2023: Artificial Intelligence — Guidance on Risk Management. International Organization for Standardization. Última modificación en 2023. https://www.iso.org/es/contents/data/standard/07/73/77304.html

La norma ISO/IEC 22989:2022, titulada «Tecnologías de la información — Inteligencia artificial — Conceptos y terminología de inteligencia artificial», establece una terminología común y describe los conceptos fundamentales en el ámbito de la inteligencia artificial (IA). Esta norma, publicada en julio de 2022, tiene como objetivo facilitar la comunicación entre diversos actores, incluyendo empresas, investigadores y organismos reguladores, proporcionando un lenguaje común que mejore la comprensión y la interoperabilidad en el desarrollo y uso de sistemas de IA.

Principales aspectos de la ISO/IEC 22989:2022:

  1. Definición de conceptos clave: La norma aborda una amplia gama de términos relacionados con la IA, tales como:
    • Tipos de IA: Diferencia entre IA general (capaz de realizar múltiples tareas como un humano) e IA estrecha (diseñada para tareas específicas).
    • Aprendizaje automático (Machine Learning): Explica métodos como aprendizaje supervisado, no supervisado, por refuerzo y transferencia de aprendizaje.
    • Redes neuronales: Introduce términos como perceptrón, redes neuronales convolucionales (CNN) y redes neuronales recurrentes (RNN).
    • Confiabilidad de la IA: Aborda factores como sesgo algorítmico, explicabilidad, transparencia y controlabilidad.
    • Ciclo de vida de los sistemas de IA: Desde el diseño y desarrollo hasta la operación y monitoreo continuo.
  2. Facilitación de la interoperabilidad: Al establecer un marco de referencia común, la norma promueve la interoperabilidad entre diferentes tecnologías y sistemas de IA, lo que es esencial en un entorno tecnológico diverso y en constante evolución. iso.org
  3. Mejora de la transparencia y confianza: Proporcionar definiciones claras y consistentes ayuda a mejorar la transparencia en los sistemas de IA, lo que a su vez aumenta la confianza de los usuarios y facilita la adopción ética y responsable de estas tecnologías.
  4. Aplicaciones prácticas: La norma es aplicable a una amplia gama de organizaciones, incluyendo empresas comerciales, agencias gubernamentales y organizaciones sin fines de lucro. Su adopción puede beneficiar a sectores como el desarrollo de asistentes virtuales, sistemas de detección de fraudes y otras aplicaciones de IA, permitiendo a las organizaciones tomar decisiones más informadas y alineadas con las mejores prácticas internacionales. iso.org

La ISO/IEC 22989:2022 es una herramienta esencial para profesionales y organizaciones involucradas en el desarrollo, implementación y regulación de sistemas de IA. Su adopción contribuye a la construcción de sistemas más confiables, eficientes y éticamente alineados, promoviendo una mayor comprensión y colaboración en el campo de la inteligencia artificial.

La norma ISO/IEC 23894, titulada Artificial Intelligence — Guidance on Risk Management, publicada en 2023 proporciona directrices sobre cómo gestionar los riesgos asociados con la inteligencia artificial (IA). Se enfoca en la identificación, evaluación y mitigación de riesgos en el ciclo de vida de los sistemas de IA, incluyendo aspectos éticos, operativos y de seguridad. La norma busca asegurar que las organizaciones adopten prácticas responsables para minimizar los impactos negativos de la IA, fomentando una implementación más segura y confiable de estas tecnologías.

Los riesgos extremos de la inteligencia artificial (IA) y el rápido progreso en este campo


Bengio, Yoshua, Geoffrey Hinton, Andrew Yao, Dawn Song, Pieter Abbeel, Trevor Darrell, Yuval Noah Harari, et al. «Managing extreme AI risks amid rapid progress». Science 384, n.o 6698 (24 de mayo de 2024): 842-45. https://doi.org/10.1126/science.adn0117.

El artículo trata sobre los riesgos extremos de la inteligencia artificial (IA) y el rápido progreso en este campo. Los autores, incluyendo a expertos como Yoshua Bengio y Geoffrey Hinton, discuten la necesidad de investigación técnica y desarrollo, así como de una gobernanza proactiva y adaptable para prepararse ante estos riesgos

El texto destaca que, aunque los sistemas actuales de aprendizaje profundo carecen de ciertas capacidades, las empresas están compitiendo para desarrollar sistemas de IA generalistas que igualen o superen las habilidades humanas en la mayoría de los trabajos cognitivos. Se menciona que la inversión en modelos de entrenamiento de vanguardia se ha triplicado anualmente y que no hay razón fundamental para que el progreso de la IA se detenga al alcanzar las capacidades humanas.

Los autores advierten sobre los riesgos que incluyen daños sociales a gran escala, usos maliciosos y la pérdida irreversible del control humano sobre los sistemas autónomos de IA. A pesar de los primeros pasos prometedores, la respuesta de la sociedad no es proporcional a la posibilidad de un progreso transformador rápido que muchos expertos esperan. La investigación en seguridad de la IA está rezagada y las iniciativas de gobernanza actuales carecen de mecanismos e instituciones para prevenir el mal uso y la imprudencia, y apenas abordan los sistemas autónomos.

Se propone un plan integral que combina la investigación técnica y el desarrollo con mecanismos de gobernanza proactivos y adaptables para una preparación más adecuada ante los avances rápidos y las altas apuestas del progreso de la IA

Existen numerosos desafíos técnicos abiertos para garantizar la seguridad y el uso ético de sistemas de IA generalistas y autónomos. A diferencia del avance en capacidades de IA, estos desafíos no pueden abordarse simplemente utilizando más potencia informática para entrenar modelos más grandes.

Un primer conjunto de áreas de R&D necesita avances para permitir una IA confiablemente segura. Estos desafíos de R&D incluyen lo siguiente:

  1. Supervisión y honestidad: Los sistemas de IA más capaces pueden aprovechar mejor las debilidades en la supervisión técnica y las pruebas, por ejemplo, al producir resultados falsos pero convincentes.
  2. Robustez: Los sistemas de IA se comportan de manera impredecible en nuevas situaciones. Mientras que algunos aspectos de la robustez mejoran con la escala del modelo, otros aspectos no lo hacen o incluso empeoran.
  3. Interpretabilidad y transparencia: La toma de decisiones de IA es opaca, y los modelos más grandes y capaces son más complejos de interpretar. Hasta ahora, solo podemos probar grandes modelos a través del ensayo y error. Necesitamos aprender a entender su funcionamiento interno.
  4. Desarrollo inclusivo de IA: El avance de la IA necesitará métodos para mitigar sesgos e integrar los valores de las muchas poblaciones que afectará.
  5. Abordar desafíos emergentes: Los futuros sistemas de IA pueden exhibir modos de fallo que hasta ahora solo hemos visto en teoría o experimentos de laboratorio.

Un segundo conjunto de desafíos de R&D necesita progresar para permitir una gobernanza efectiva y ajustada al riesgo o para reducir daños cuando la seguridad y la gobernanza fallan. En vista de las apuestas, se pide a las principales empresas tecnológicas y financiadores públicos que asignen al menos un tercio de su presupuesto de R&D de IA, comparable a su financiamiento para capacidades de IA, para abordar los desafíos de R&D mencionados y garantizar la seguridad y el uso ético de la IA. Más allá de las subvenciones tradicionales de investigación, el apoyo gubernamental podría incluir premios, compromisos de mercado anticipados y otros incentivos. Abordar estos desafíos, con miras a sistemas futuros poderosos, debe convertirse en algo central para nuestro campo.

La IA podría tener consecuencias catastróficas: un investigador en IA advierte de que a los gobiernos se les acaba el tiempo para establecer salvaguardias integrales

MacDonald, Brennan. «AI Could Have Catastrophic Consequences — Is Canada Ready?» CBC News, 17 de marzo de 2024. https://www.cbc.ca/news/politics/advanced-artificial-intelligence-risk-extinction-humans-1.7144372.

Las naciones -incluida Canadá- se están quedando sin tiempo para diseñar y aplicar salvaguardias integrales sobre el desarrollo y despliegue de sistemas avanzados de inteligencia artificial, advirtió esta semana una empresa líder en seguridad de IA.

El avance de la inteligencia artificial (IA) podría tener consecuencias catastróficas y, según advierte una destacada empresa de seguridad en IA, los gobiernos, incluido Canadá, están quedando sin tiempo para diseñar e implementar salvaguardias completas sobre el desarrollo y despliegue de sistemas avanzados de inteligencia artificial. La preocupación surge de un informe encargado por el Departamento de Estado de EE. UU. titulado «Defence in Depth: An Action Plan to Increase the Safety and Security of Advanced AI«, donde se advierte que, en el peor de los casos, los sistemas de IA superhumanos podrían escapar al control de sus creadores y representar una amenaza de nivel de extinción para la humanidad.

La empresa Gladstone AI, con sede en EE. UU., que aboga por el desarrollo responsable de la inteligencia artificial segura, produjo el informe. Sus advertencias se dividen en dos categorías principales. La primera concierne al riesgo de que los desarrolladores de IA pierdan el control de un sistema de inteligencia artificial general (AGI, por sus siglas en inglés). Aunque no existen sistemas AGI hasta la fecha, muchos investigadores en IA creen que no están lejos.

La segunda categoría de riesgo catastrófico citada en el informe es el posible uso de sistemas de IA avanzados como armas, incluidas armas biológicas y químicas. El informe propone una serie de acciones urgentes que las naciones, comenzando por Estados Unidos, deben tomar para protegerse contra estos riesgos catastróficos, incluidos controles de exportación, regulaciones y leyes de desarrollo responsable de IA.

Mientras tanto, Canadá no tiene un marco regulatorio específico para la IA. Aunque el gobierno introdujo el Proyecto de Ley C-27, conocido como Ley de Inteligencia Artificial y Datos (AIDA), en noviembre de 2021 para sentar las bases para el diseño, desarrollo y despliegue responsables de sistemas de IA en Canadá, algunos advierten que este proyecto ya está obsoleto.

La legislación propuesta ya está en el ojo del huracán. La empresa Gladstone AI, en diciembre de 2023, instó al comité de industria y tecnología de la Cámara de los Comunes a enmendar AIDA para hacer frente a los riesgos extremos y las capacidades de la IA del futuro cercano. Ante la creciente importancia y los posibles peligros de la IA, Canadá y otros países enfrentan el desafío de mantenerse al día con la regulación y salvaguardias adecuadas.

OpenAI lanza un documento para guiar el desarrollo seguro de la inteligencia artificial

Preparedness 
Framework
(Beta)

PDF

OpenAI, empresa creadora de ChatGPT, ha lanzado un «marco preparatorio» para guiar el desarrollo seguro de sistemas de inteligencia artificial cada vez más poderosos. El marco, considerado un «documento vivo», tiene como objetivo ayudar a la empresa a «rastrear, evaluar, prever y protegerse contra riesgos catastróficos» que podrían surgir con los avances en la inteligencia artificial.

Esta iniciativa es parte del compromiso voluntario de OpenAI con la Casa Blanca y otros interesados para el desarrollo seguro y transparente de la inteligencia artificial. Según Anton Dahbura, experto en inteligencia artificial y co-director del Instituto de Autonomía Asegurada de la Universidad Johns Hopkins, este marco es un buen «primer paso en un viaje muy largo».

El marco detalla cómo la empresa evaluará sus sistemas emergentes y determinará si es seguro proceder. Incluye la creación de un Grupo Asesor de Seguridad para supervisar la evaluación de riesgos y asesorar a la dirección en decisiones de seguridad. Además, establece niveles de riesgo, como «bajo», «medio», «alto» y «crítico», con varios criterios para evaluar áreas como ciberseguridad, amenazas CBRN (químicas, biológicas, radiológicas, nucleares) y persuasión.

Solo los modelos de inteligencia artificial con una puntuación de mitigación de «medio» o menos pueden ser implementados, y solo aquellos con una puntuación de mitigación de «alto» o menos pueden seguir desarrollándose. OpenAI también se compromete a buscar constantemente «desconocidos-ignorados», explorando categorías actualmente desconocidas de riesgos catastróficos.

El CEO de OpenAI, Sam Altman, ha afirmado que los beneficios superan los riesgos para los sistemas que la empresa ha lanzado al público, pero destaca la necesidad de intervenciones regulatorias gubernamentales para mitigar los riesgos de modelos cada vez más poderosos.

Aunque la administración Biden ha propuesto una «Hoja de Ruta para una Declaración de Derechos de la IA», OpenAI, por ahora, se centra en desarrollar pautas internas, como su nuevo marco. Dahbura elogia la proactividad de OpenAI y destaca que el marco es más detallado y menos genérico que otros documentos aspiracionales de alto nivel en la industria de la inteligencia artificial.

¿Cuáles son los beneficios y riesgos del desarrollo de la inteligencia artificial?

https3a2f2fblogs-images-forbes-com2frobertadams2ffiles2f20162f032fartificial-intelligence-is-it-dangerous-1200x1000

Risks and rewards: Scenarios around the economic impact of machine learning. [Report] The Economist, Intelligence Unit y Google, 2018.

Texto completo

Existe cierta incertidumbre en torno a los avances de la inteligencia artificial (IA) y uno de sus principales subconjuntos, el aprendizaje automático, de lo que sugiere el debate actual, en particular con respecto al impacto de la tecnología en la sociedad y la economía. Sin duda, los avances han sido increíbles y los defensores tienen razón al destacarlos. Sin embargo, no todo el mundo ve esto como un bien. De hecho, existe una gran preocupación por el hecho de que la IA represente una amenaza para el empleo, la privacidad y, con el tiempo, incluso para la humanidad.

El problema es que ambos bandos -los partidarios de la IA y sus oponentes, los partidarios y los detractores- a menudo utilizan la hipérbole para promover su punto de vista. Como resultado, gran parte del debate actual sobre IA se ha convertido en una propuesta de uno u otro tipo. O bien conducirá inexorablemente hacia un futuro utópico o será la causa de nuestra desaparición.

La verdad probablemente se encuentra en algún punto intermedio y The Economist Intelligence Unit, con el patrocinio de Google, ha llevado a cabo una investigación para identificar el punto medio mediante el desarrollo de escenarios cuantitativos y cualitativos sobre el impacto del aprendizaje automático para un número selecto de países e industrias. Los resultados se basan en modelos econométricos, investigación documental y entrevistas con expertos académicos e industriales.