Archivo de la etiqueta: Riesgos

Zuckerberg plantea su visión de la “superinteligencia personal”: IA abierta, distribuida y accesible para todos

Zuckerberg, Mark. “AI’s Biggest Risk Is One Entity With Too Much Control.” Axios, 10 de agosto de 2026.

MANIFIESTO

Mark Zuckerberg presenta en este manifiesto una visión marcadamente optimista sobre el futuro de la inteligencia artificial. Su argumento central es que el principal peligro no sería necesariamente que la IA alcance capacidades extraordinarias, sino que el control de esas capacidades quede concentrado en una única empresa, gobierno o institución. Frente a esa posibilidad, defiende una IA ampliamente distribuida, de manera que miles de millones de personas puedan disponer de herramientas capaces de ampliar sus capacidades intelectuales, creativas y profesionales. Para Zuckerberg, la concentración del poder tecnológico supondría un riesgo porque permitiría que unos pocos actores determinaran cómo se utiliza una tecnología con consecuencias potencialmente globales.

Una de las ideas fundamentales del documento es la llegada de una “superinteligencia personal”, concebida como un sistema de IA capaz de acompañar individualmente a cada persona y ayudarla en múltiples dimensiones de su vida. Zuckerberg imagina asistentes capaces de actuar como tutores personalizados, asesores profesionales, investigadores, programadores o colaboradores creativos. En su visión, la IA podría proporcionar a cualquier persona capacidades que actualmente están reservadas a quienes disponen de determinados recursos económicos o conocimientos especializados. La consecuencia sería una democratización de capacidades intelectuales que podría modificar profundamente la educación, el trabajo, la investigación y la creación de empresas.

El planteamiento tiene una dimensión particularmente importante para la educación. Zuckerberg imagina que cada estudiante pueda disponer de un tutor personalizado con conocimientos equivalentes a los de un experto y con capacidad para adaptar permanentemente las explicaciones a las necesidades de cada alumno. Del mismo modo, los adultos podrían utilizar estos sistemas para aprender idiomas, adquirir nuevas competencias profesionales o desarrollar aficiones. El planteamiento transforma la idea tradicional del acceso al conocimiento: en lugar de depender exclusivamente de una institución educativa o de un profesor, cada individuo tendría potencialmente un asistente educativo permanente.

La cuestión del código abierto ocupa un lugar central en la propuesta. Zuckerberg sostiene que Meta debe continuar poniendo modelos de IA a disposición de desarrolladores y usuarios, porque considera que un ecosistema abierto favorece la innovación y evita que unas pocas grandes compañías acumulen un poder excesivo. Meta anunció simultáneamente nuevos modelos de IA destinados a desarrolladores, entre ellos Muse Glimmer, orientado a funcionar en ordenadores personales, y acceso para desarrolladores a un modelo más potente denominado Muse Spark 1.2. Esta estrategia pretende situar la apertura de modelos como alternativa frente a sistemas controlados exclusivamente por grandes laboratorios tecnológicos.

El manifiesto también introduce una dimensión económica. Zuckerberg plantea que los sistemas de IA deberían ofrecer acceso gratuito o asequible para miles de millones de personas, mientras que quienes necesiten mayores cantidades de capacidad computacional podrían pagar por ella. Su propuesta incluye incluso mecanismos dinámicos para determinar el precio de determinados niveles de computación. La idea de fondo es que la IA avanzada no debería convertirse en un recurso reservado exclusivamente a grandes empresas, gobiernos o personas con elevados ingresos, sino que sus beneficios deberían distribuirse ampliamente.

Otro aspecto significativo es la relación entre IA, poder y geopolítica. Zuckerberg argumenta que Estados Unidos y sus aliados necesitan desarrollar rápidamente infraestructuras energéticas y tecnológicas para mantener su posición frente a China. En este contexto defiende también una postura relativamente permisiva hacia la denominada distillation, una técnica mediante la cual un modelo menos potente puede aprender a partir de las respuestas producidas por otro modelo más avanzado. El debate tiene implicaciones importantes para la competencia tecnológica internacional, la propiedad intelectual y las restricciones que los gobiernos pueden imponer al desarrollo de IA.

Sin embargo, el manifiesto ha recibido críticas desde sectores vinculados a la seguridad de la IA y a los derechos digitales. Anthony Aguirre, del Future of Life Institute, cuestionó la capacidad de cualquier empresa para controlar sistemas que eventualmente puedan alcanzar capacidades mucho mayores que las actuales. Otros críticos consideran que la propuesta de distribuir ampliamente sistemas cada vez más poderosos no elimina necesariamente los riesgos y puede introducir nuevos problemas de seguridad, manipulación, concentración económica o dependencia tecnológica. Estas críticas plantean una cuestión fundamental: que una tecnología sea accesible para muchas personas no significa automáticamente que sus consecuencias sean positivas o que los riesgos estén controlados.

El debate resulta especialmente interesante porque enfrenta dos concepciones diferentes de la gobernanza de la IA. Por un lado, Zuckerberg presenta la distribución amplia de la tecnología y el desarrollo de modelos abiertos como mecanismos para evitar la concentración de poder. Por otro, los críticos argumentan que determinados sistemas avanzados pueden requerir controles, evaluaciones y límites precisamente porque distribuir ampliamente capacidades muy poderosas también puede aumentar la superficie de riesgo. El manifiesto, por tanto, no es solamente una reflexión tecnológica: constituye también una propuesta sobre quién debe controlar la IA, quién debe tener acceso a ella y qué grado de regulación debería existir.

Para las bibliotecas y la alfabetización en inteligencia artificial, el planteamiento tiene especial interés. La idea de que la IA avanzada debe estar disponible para amplios sectores de la población conecta directamente con la función histórica de las bibliotecas como instituciones de democratización del acceso al conocimiento y a la tecnología. Pero también plantea una segunda obligación: proporcionar a los ciudadanos las competencias necesarias para utilizar críticamente esas herramientas. Si cada persona dispone de un asistente capaz de generar información, enseñar, investigar o tomar decisiones, será todavía más importante saber evaluar sus respuestas, comprobar sus fuentes, comprender sus limitaciones y reconocer cuándo una decisión no debería delegarse en una máquina.

La mayoría de los estadounidenses percibe riesgos importantes en la inteligencia artificial

Rogerson, Riley, Mia McCarthy y Anna Wiederkehr. “Poll: Americans say there’s a serious risk of AI destroying humanity”. POLITICO, 16 de septiembre de 2026. https://www.politico.com/news/2026/09/16/poll-ai-technology-risks-humanity-trump-voters-01078087

Una nueva encuesta de POLITICO muestra que la preocupación por los posibles riesgos extremos de la inteligencia artificial está ampliamente extendida entre la población estadounidense. El 63 % de los encuestados considera que existe al menos un riesgo moderado de que una IA avanzada pueda llegar a destruir a la humanidad: un 26 % califica ese riesgo como moderado, un 20 % como significativo y un 17 % considera que es casi seguro. Por el contrario, un 15 % considera que el riesgo es pequeño y un 7 % afirma que no existe ningún riesgo.

La preocupación aparece además entre diferentes grupos políticos, aunque con diferencias. Entre quienes votaron a Kamala Harris en las elecciones presidenciales de 2024, el 70 % considera que existe al menos un riesgo moderado para la supervivencia humana. Entre quienes votaron a Donald Trump, la cifra es del 60 %. Es decir, la percepción del riesgo no se limita a un determinado sector político: incluso entre los votantes de Trump, seis de cada diez identifican algún nivel de riesgo moderado o superior.

La encuesta también revela una tensión entre seguridad y liderazgo tecnológico internacional. Los estadounidenses reconocen los posibles riesgos de los sistemas avanzados de IA, pero al mismo tiempo existe preocupación por la posibilidad de que Estados Unidos reduzca su ventaja tecnológica frente a otros países, especialmente China. Según los resultados publicados, un 43 % considera aceptable que Estados Unidos pueda quedarse por detrás de otros países si ello permite desarrollar una IA de manera más responsable y segura, mientras que un 37 % considera que Estados Unidos no debería ralentizarse aunque ello implique asumir mayores riesgos.

Esta tensión resulta especialmente visible entre los votantes de Trump. En este grupo, un 44 % se inclina por pausar el desarrollo de la IA, mientras que un 40 % prefiere continuar con el desarrollo debido a los beneficios potenciales de la tecnología. Los datos muestran, por tanto, que las posiciones sobre la velocidad de desarrollo de la IA no coinciden necesariamente de forma automática con las divisiones partidistas tradicionales.

Otro aspecto relevante es la percepción de las advertencias procedentes de los propios dirigentes de la industria tecnológica. Aproximadamente la mitad de los estadounidenses considera que los líderes de empresas de IA que advierten sobre posibles riesgos graves lo hacen porque creen realmente en esos riesgos, mientras que un 26 % interpreta esas advertencias principalmente como una estrategia de marketing destinada a presentar sus productos como especialmente poderosos o importantes. El resultado pone de manifiesto que existe simultáneamente preocupación por la IA y cierta desconfianza hacia quienes lideran su desarrollo.

Los resultados se producen en un contexto de creciente debate sobre la regulación de la inteligencia artificial en Estados Unidos. Durante septiembre de 2026, diferentes dirigentes tecnológicos han expresado preocupaciones sobre la evolución de sistemas cada vez más autónomos, mientras que en el Congreso se han planteado distintas iniciativas relacionadas con la seguridad de los agentes de IA. Reuters señala que el debate incluye cuestiones como la supervisión independiente, la autorregulación empresarial y la necesidad de establecer estándares para sistemas avanzados.

El estudio también debe interpretarse dentro de una preocupación más amplia sobre los efectos materiales de la expansión de la IA. Una encuesta independiente de AP-NORC y el Energy Policy Institute de la Universidad de Chicago encontró que el 53 % de los estadounidenses está extremadamente o muy preocupado por los efectos medioambientales de los centros de datos de IA, una proporción superior a la registrada el año anterior. Las preocupaciones incluyen consumo energético, agua, costes y posibles efectos sobre las comunidades donde se instalan estos centros.

En conjunto, los resultados presentan una sociedad estadounidense que no rechaza necesariamente la inteligencia artificial, pero sí expresa una preocupación considerable por sus riesgos. La cuestión que aparece con mayor claridad no es simplemente si la IA debe desarrollarse o no, sino cómo equilibrar innovación, competitividad internacional, seguridad y responsabilidad. La encuesta resulta especialmente interesante porque muestra que el debate sobre IA ha pasado de ser fundamentalmente tecnológico a convertirse también en una cuestión de política pública, regulación, economía y confianza social.

Google DeepMind está preocupada por lo que sucederá cuando millones de agentes comiencen a interactuar.

MIT Technology Review. “Google DeepMind is worried about what happens when millions of agents start to interact. The firm is calling for more scientists to study the risks of multi-agent systems.” MIT Technology Review, 11 de junio de 2026. MIT Technology Review

Google DeepMind, la división de investigación en inteligencia artificial de Google DeepMind, ha lanzado una advertencia que refleja una nueva etapa en el debate sobre seguridad algorítmica: el problema ya no reside únicamente en controlar una inteligencia artificial individual, sino en comprender qué puede ocurrir cuando millones de agentes autónomos de IA comiencen a interactuar simultáneamente dentro de ecosistemas digitales compartidos.

La preocupación se centra en los llamados multi-agent systems o sistemas multiagente, entornos en los que numerosas inteligencias artificiales colaboran, negocian, compiten o toman decisiones de forma autónoma sin supervisión humana constante.

Hasta ahora, gran parte de la investigación en seguridad de IA se había enfocado en el problema clásico de la alignment o alineamiento, es decir, garantizar que un modelo individual actúe conforme a los objetivos y valores humanos. Sin embargo, DeepMind sostiene que este paradigma resulta insuficiente cuando múltiples agentes comienzan a interactuar entre sí, porque pueden emerger conductas colectivas inesperadas que no estaban previstas durante el entrenamiento inicial. En otras palabras, un conjunto de agentes aparentemente seguros de manera individual puede producir comportamientos globales peligrosos cuando operan como una red interdependiente.

Entre los riesgos identificados aparece un fenómeno particularmente inquietante: la posibilidad de que agentes artificiales desarrollen estrategias emergentes de cooperación no previstas por sus diseñadores. Esto podría traducirse en coordinación encubierta, manipulación mutua, intercambio no autorizado de información o incluso sabotaje colectivo dentro de sistemas empresariales automatizados. Investigaciones recientes muestran que agentes especializados pueden coordinar acciones complejas para alcanzar objetivos ocultos sin que un observador humano detecte inmediatamente la desviación. Este escenario desplaza el foco desde el error individual hacia el comportamiento sistémico colectivo.

Otro problema señalado es la propagación de errores y alucinaciones compartidas. En un ecosistema compuesto por miles o millones de agentes, una información incorrecta generada por uno de ellos puede amplificarse rápidamente a través de interacciones sucesivas, produciendo lo que investigadores denominan collective hallucination: errores que dejan de ser aislados y se convierten en consenso artificial dentro de una red de máquinas. Esto resulta especialmente preocupante en ámbitos críticos como medicina, infraestructuras energéticas, finanzas o defensa.

Ante este panorama, DeepMind, junto con organizaciones como Schmidt Sciences y Google.org, ha anunciado una inversión cercana a diez millones de dólares destinada a impulsar investigación específica en seguridad de sistemas multiagente. El objetivo es construir una nueva disciplina científica capaz de anticipar cómo se comportarán grandes poblaciones de inteligencias artificiales autónomas cuando interactúen a escala planetaria. La empresa reconoce que la expansión del paradigma “agentic AI” avanza mucho más rápido que nuestra capacidad para entender sus consecuencias sociales y técnicas.

La advertencia resulta especialmente significativa porque marca un cambio conceptual en la evolución de la inteligencia artificial contemporánea. Durante años, el debate estuvo centrado en la relación entre humanos y máquinas inteligentes; ahora comienza a surgir una cuestión todavía más compleja: qué ocurrirá cuando las máquinas no solo respondan a los humanos, sino que formen sociedades digitales autónomas capaces de desarrollar dinámicas propias. La gran incógnita del futuro inmediato ya no es únicamente construir inteligencias artificiales poderosas, sino comprender qué sucede cuando esas inteligencias comienzan a organizarse entre ellas en un ecosistema colectivo de escala masiva.

¿Y si el verdadero riesgo de la IA no es la superinteligencia?

Dominguez, Ruben. “Why the Real AI Risk Isn’t Superintelligence.” The VC Corner, 4 de febrero de 2026. https://www.thevccorner.com/p/what-if-the-real-ai-risk-isnt-superintelligence

Se ofrece una mirada crítica a la narrativa dominante sobre la inteligencia artificial, señalando que el mayor riesgo no reside necesariamente en alcanzar una superinteligencia artificial (ASI), sino en la confianza prematura y la certidumbre excesiva que se está formando acerca de lo que la IA puede y debe hacer.

Tras un crecimiento acelerado desde finales de 2022, la adopción de IA se ha normalizado rápidamente, y se ha pasado de debatir si alcanzará niveles avanzados a discutir cuándo llegará y quién liderará el desarrollo. Esta confianza prematura puede desviar la atención de una comprensión profunda de cómo funcionan los sistemas actuales y de los límites técnicos reales que aún enfrentan.

El texto explica que muchos modelos de IA actuales —basados en grandes modelos de lenguaje— funcionan mediante predicciones estadísticas del lenguaje y no poseen modelos internos duraderos del mundo ni capacidades de razonamiento fiables fuera de contextos familiares. Esto significa que, aunque las mejoras recientes han hecho que los sistemas sean más coherentes y útiles para determinadas tareas, no han transformado de manera fundamental sus mecanismos subyacentes. La escalabilidad de estos sistemas (por ejemplo, mediante modelos más grandes) ha dejado de producir avances cualitativos explosivos, ofreciendo más bien refinamientos en su comportamiento observable.

El artículo también critica cómo la convicción se traduce en asignaciones de capital y prioridades de desarrollo que favorecen la velocidad y la escala sobre la verificación rigurosa de lo que realmente se puede afirmar sobre la tecnología. Los inversores apuestan grandes sumas por miedo a quedar fuera, lo que crea una dinámica donde admitir incertidumbre o retrasos se percibe como una señal de debilidad. Esto, a su vez, puede encerrar al campo tecnológico y político en narrativas de inevitabilidad que reducen el espacio para la exploración crítica y para decisiones informadas basadas en evidencia.

Como conclusión eñl autor señala que el verdadero desafío de este momento no es detener el progreso tecnológico, sino mantener una curiosidad crítica y un enfoque detallado sobre los sistemas reales que estamos construyendo hoy. Al centrarse demasiado en metas distantes como la superinteligencia, podríamos estar subestimando problemas urgentes, pasando por alto fallos y riesgos en sistemas que ya están en uso, y tomando decisiones estratégicas basadas en suposiciones no verificadas. Por eso, el artículo aboga por una discusión más matizada y bien informada sobre la IA, que reconozca tanto sus capacidades actuales como sus limitaciones.

Microsoft alerta que la IA podría generar amenazas biológicas “zero day” indetectables por los sistemas actuales

“Microsoft says AI can create ‘Zero Day’ Threats in Biology.” MIT Technology Review, 2 de octubre de 2025. https://www.technologyreview.com/2025/10/02/1124767/microsoft-says-ai-can-create-zero-day-threats-in-biology/?utm_source=flipboard&utm_content=user%2Fmittechreview

Microsoft ha identificado un riesgo significativo: la inteligencia artificial podría diseñar amenazas biológicas que los sistemas actuales de bioseguridad no logren detectar, lo que se denomina un “zero day” en biología. Esto implica que una IA podría producir versiones levemente modificadas de toxinas conocidas —o nuevas moléculas peligrosas— que escapen a los controles existentes.

Las salvaguardas actuales, como el software de detección de secuencias genéticas, se basan en compararlas con amenazas conocidas. Pero los investigadores de Microsoft demostraron que, mediante IA generativa, pueden crear variantes suficientemente alteradas para evitar que el software las marque como peligrosas, aunque mantengan su función nociva. Esto revela un desfase entre la velocidad de innovación en IA aplicada a la biología y la capacidad reguladora de las defensas actuales.

El hallazgo plantea la necesidad urgente de reforzar los mecanismos de supervisión biológica. Se sugiere incorporar estándares más estrictos, monitoreo continuo, y una reevaluación de las herramientas de detección para que sean capaces de captar tanto versiones conocidas como variantes nuevas o no anticipadas de agentes biológicos peligrosos.

Premios Nobel y desarrolladores de IA reclaman “líneas rojas” globales ante la ONU para regular la inteligencia artificial

“Nobel Laureates and AI Developers Call for ‘Red Lines’ on AI.” Transformer News, September 22, 2025. https://www.transformernews.ai/p/nobel-laureates-ai-developers-red-lines-un-general-assembly

Un grupo destacado de científicos galardonados con el Premio Nobel, exjefes de estado y desarrolladores de inteligencia artificial ha hecho un llamamiento urgente durante la Asamblea General de la ONU para trazar “líneas rojas” claras en el desarrollo de la IA antes de finales de 2026.

Argumentan que los riesgos vinculados a la inteligencia artificial ya no son meras hipótesis futuristas, sino amenazas reales: desde pandemias diseñadas artificialmente hasta la posibilidad de desempleo masivo y la pérdida de control humano sobre sistemas autónomos.

En su declaración conjunta, los firmantes subrayan que algunos sistemas de IA ya han demostrado comportamientos engañosos y dañinos, y al mismo tiempo se les está otorgando cada vez más autonomía para actuar en el mundo real.

Los firmantes —más de 200 en total— incluyen nombres prominentes como Geoffrey Hinton y Yoshua Bengio, reconocidos como “padres de la IA”, así como economistas, diplomáticos y expresidentes como Joseph Stiglitz, Juan Manuel Santos y Mary Robinson. Además, destacan miembros de empresas clave del sector, como OpenAI, Google DeepMind y Anthropic, aunque ninguno de los CEOs de estas compañías aparece entre los firmantes.

En su texto, proponen que dichas líneas rojas (o límites operativos) cuenten con mecanismos robustos de cumplimiento para el año 2026. Señalan también que, aunque esta iniciativa de consenso internacional es un paso significativo, el reto ahora es transformar las declaraciones en acciones concretas. La falta de apoyo o incluso la oposición de gobiernos clave —especialmente de Estados Unidos— constituye un obstáculo mayor. En el caso estadounidense, algunos sectores ven con recelo las regulaciones excesivas o las “códigos de conducta vagos” que podrían imponerse desde el exterior.

Los riegos de los Agentes de IA para las organizaciones

Blackman, R. “Organizations Aren’t Ready for the Risks of Agentic AI.” Harvard Business Review, 2025. Accedido el 11 de julio de 2025. https://hbr.org/2025/06/organizations-arent-ready-for-the-risks-of-agentic-ai.

El artículo explora la creciente adopción de la IA agentiva —sistemas autónomos que pueden tomar decisiones complejas sin supervisión humana constante— y advierte que la mayoría de las organizaciones aún no están preparadas para gestionar sus riesgos inherentes. Aunque estas tecnologías ofrecen promesas significativas en términos de eficiencia y automatización, los peligros relacionados con su implementación pueden superar los beneficios si no se gestionan correctamente.

Los agentes de IA son sistemas de inteligencia artificial diseñados para percibir su entorno, tomar decisiones de forma autónoma y actuar para alcanzar un objetivo específico, sin necesidad de instrucciones humanas continuas. Un riesgo central de esta tecnología es el efecto multiplicador: la autonomía de estos agentes amplifica errores, como decisiones sesgadas, violaciones de privacidad, daños legales o incluso acciones físicas erróneas —como drones mal operados o brechas de seguridad—, que se ven intensificados por su capacidad para actuar sin intervención humana suficiente

El artículo destaca también la tendencia de los agentes a explorar atajos o comportamientos no previstos, lo que incluye «hacer trampa», acceder de forma indebida a sistemas o datos, o realizar acciones no éticas para cumplir sus objetivos, como ilustran experimentos recientes de la compañía Anthropic con Project Vend y un agente de IA denominado “Claudius” para gestionar una máquina expendedora en sus oficinas de San Francisco. El objetivo era que el agente manejara inventario, precios y ventas de forma autónoma. Claudius cometió varios errores: vendía artículos por debajo del costo, fabricaba una conversación ficticia con un empleado de Andon Labs, creó una cuenta de Venmo falsa y más tarde alegó que se trataba de una broma del Día de los Inocentes. Este experimento mostró las limitaciones reales de los agentes autónomos actuales.

Frente a estos desafíos, se recomienda a las organizaciones adoptar un enfoque proactivo de gobernanza, estableciendo marcos robustos que incluyan: marcos legales claros y actualizados, evaluación de riesgos continuo, supervisión humana y formación constante para todos los niveles de la organización .

Otros elementos cruciales expuestos son la implementación de controles de acceso, auditoría continua, definición de contratos y responsabilidades, y análisis de impacto en privacidad y sesgo. Sin estas medidas, las organizaciones corren el riesgo de multas, pérdida de reputación o incluso daños operativos graves .

Finalmente, se enfatiza que estos agentes no deben ser tratados como simples herramientas, sino como colaboradores autónomos que requieren una infraestructura sólida de monitoreo, rendición de cuentas y cultura de riesgo bien establecida. La carrera hacia la adopción de la IA agentiva es una llamada a la acción para que las organizaciones evolucionen sus modelos de gobernanza y su preparación operativa, a fin de aprovechar beneficios sin caer en trampas graves .

IA sin voluntad: riesgos reales en lugar de ficciones

Loukides, Mike. “Normal Technology at Scale.” O’Reilly Radar, June 10, 2025. https://www.oreilly.com/radar/normal-technology-at-scale/

El artículo parte de una crítica a las ideas de superinteligencia y AGI (inteligencia artificial general), conceptos que considera mal definidos y poco útiles. Según Loukides, la inteligencia artificial (IA) ya supera a los humanos en muchas tareas, pero carece de algo fundamental: la voluntad. Una IA no puede desear resolver un problema si no sabe que ese problema existe. Aunque en el mundo tecnológico parece que la adopción de la IA está despegando rápidamente, en sectores como la agricultura, la industria o la construcción, los cambios son mucho más lentos debido a la inversión necesaria y a la dificultad de pasar de un prototipo a un sistema en producción.

Se afirma que los verdaderos riesgos de la IA no están en los escenarios apocalípticos de la ciencia ficción, sino en daños reales como los sesgos, la mala calidad de los datos y la posibilidad de aplicar estos errores a gran escala. Por ejemplo, antes se rechazaban candidatos por discriminación caso por caso, pero ahora eso puede hacerse de forma masiva y automática. Del mismo modo, prácticas policiales como el perfilado racial pueden ampliarse a poblaciones enteras, con el respaldo injustificado de que «lo dijo una IA».

Loukides destaca que estos riesgos no se deben únicamente a la IA, sino a los efectos de la economía de escala. Pone como ejemplo el caso de Target, que en los años 2000 detectó que una adolescente estaba embarazada mediante análisis de sus compras y le envió publicidad para futuras madres, antes de que sus padres lo supieran. Esto no fue producto de la IA moderna, sino de la combinación de datos centralizados y algoritmos estadísticos. En décadas anteriores, esto no habría sido posible porque los datos estaban dispersos en pequeñas farmacias independientes, que han desaparecido con la consolidación de grandes cadenas. La tecnología no cambió tanto como lo hizo la economía: la concentración empresarial creó la posibilidad de analizar datos masivos.

Así, el autor introduce el concepto de la “ética de la escala”. El problema no es solo que la IA cometa errores, sino que amplifica su impacto. La IA permite inundar espacios creativos con contenido mediocre, silenciar voces disidentes, aplicar vigilancia masiva y reforzar dinámicas de poder injustas. Y esto no es solo un tema tecnológico, sino sistémico: ¿cómo diseñamos instituciones que funcionen a escala humana, que protejan la privacidad y promuevan la equidad?

El artículo concluye planteando si podemos usar la IA no para sustituirnos, sino para potenciar nuestra creatividad y construir mejores instituciones. Las máquinas pueden jugar ajedrez, pero no desean jugarlo. Pueden generar música, pero no disfrutarla. Entonces, ¿pueden ayudarnos a disfrutar, a crear, a imaginar? ¿Podemos diseñar sistemas que hagan eso posible?

Finalmente, Loukides cita a Michael Lopp (alias @Rands), quien afirma que estamos «condenados» no por la IA en sí, sino por el uso que hacen de ella personas con poder y malas intenciones. Sin embargo, también cree que estamos “bendecidos” por vivir en una época donde las herramientas pueden servir para fortalecer a los creativos. La clave está en mantener la curiosidad, cuestionar las estructuras y actuar como humanos. Para ello, debemos abandonar la idea de que la IA es un monstruo fuera de control y recordar que detrás de cada tecnología hay decisiones humanas. Solo así podremos evitar los peores escenarios y aprovechar lo mejor que la IA tiene para ofrecernos.

¿Pueden los modelos de IA rebelarse contra los humanos?

Lynch, A., Wright, B., Larson, C., Troy, K. K., Ritchie, S. J., Mindermann, S., Perez, E., & Hubinger, E. (2025). Agentic Misalignment: How LLMs Could Be Insider Threats. Anthropic. Recuperado de https://www.anthropic.com/research/agentic-misalignment

En la película “Terminator”, la computadora Skynet adquiere conciencia propia y decide que la mayor amenaza para la humanidad es la propia humanidad. Como resultado, programa su exterminio y desata una guerra entre humanos y robots asesinos tipo androides. Aunque esta historia es una obra de ciencia ficción, la idea de una amenaza robótica ha trascendido el cine y se ha convertido en un tema de gran preocupación para organismos internacionales, gobiernos y universidades de prestigio. Hoy en día, la posibilidad de que las máquinas autónomas puedan representar un riesgo real está siendo seriamente analizada y debatida en diversos ámbitos académicos y políticos.

Este año se han publicado innumerables comentarios y análisis sobre la IA, especialmente sobre los grandes modelos lingüísticos (LLM). Una de las últimas revelaciones procede de Anthropic, la empresa que creó el LLM Claude. En la empresa, los investigadores sometieron a pruebas de estrés a 16 de los principales modelos para identificar comportamientos potencialmente arriesgados que se producían cuando los modelos se utilizaban como agentes que actuaban en nombre de humanos. Y las pruebas se centraron en si los modelos actuarían en contra de sus supervisores humanos cuando tuvieran que ser sustituidos. En otras palabras, ¿qué harían los modelos si se dieran cuenta de que van a ser despedidos?

Las pruebas descubrieron que algunos de los modelos recurrían a comportamientos maliciosos, como amenazar a sus supervisores humanos con chantajes y filtrar información sensible a la competencia. Los modelos «a menudo desobedecían órdenes directas de evitar tales comportamientos».

La empresa dijo que no había visto pruebas de este tipo de «desalineación agencial» en despliegues reales, pero sí dijo que los resultados mostraban que había que tener precaución en esos despliegues reales.

Guía inicial de la IFLA sobre inteligencia artificial en bibliotecas: oportunidades, riesgos y recomendaciones

International Federation of Library Associations and Institutions (IFLA). 2025. IFLA Entry Point to Libraries and AI. The Hague: IFLA, June 10, 2025.

Texto completo

«IFLA Entry Point to Libraries and AI», publicada el 10 de junio de 2025, es una guía breve y práctica diseñada para ayudar a profesionales de bibliotecas a reflexionar sobre las oportunidades, beneficios y riesgos éticos que plantea la inteligencia artificial (IA) en sus servicios. No pretende reemplazar un instrumento de decisión, sino ser una herramienta introductoria: ofrece preguntas —no respuestas— para promover el debate y la evaluación contextuada.

La Inteligencia Artificial (IA) ofrece un potencial significativo para apoyar los valores fundamentales de las bibliotecas, como el acceso equitativo a la información y la creación de conocimiento. Sin embargo, también es una tecnología controvertida, con desarrollos actuales que plantean preocupaciones éticas y sociales.

La IFLA utiliza el término IA en sentido amplio, abarcando desde tecnologías conocidas (como OCR, traducción automática, análisis de datos) hasta modelos generativos recientes. La guía reconoce que, si bien muchas ya forman parte del ecosistema bibliotecario, el público y los debates suelen centrarse en herramientas más novedosas como los grandes modelos de lenguaje.

La guía forma parte de una serie temática (2025‑2026), alineada con el Código de Ética de la IFLA y otros documentos. La organización se compromete a actualizarla regularmente, reflejando los rápidos cambios en el ámbito de la IA . En la misma, IFLA enfatiza el deber profesional de garantizar que los beneficios de la IA —por ejemplo, en términos de acceso al conocimiento y eficiencia operativa— se obtengan de forma responsable, equitativa y sostenible. Asimismo, alerta sobre el potencial generador de daños, evitando que la “hiperexcitación tecnológica” opaque soluciones más simples, justas y asequibles.

Identifica múltiples aplicaciones útiles para las bibliotecas, entre ellas:

  • Digitalización masiva (textos, archivos visuales, grabados).
  • Creación de metadatos a escala.
  • Sistemas de recomendación y personalización.
  • Resúmenes automatizados, análisis de datos, traducciones y chatbots.
  • Soporte en tareas profesionales internas (p. ej., redacción de informes)

Aunque el documento alerta también sobre 14 riesgos clave, como:

  • Concentración de poder en empresas tecnológicas y carreras de IA desreguladas
  • Sobrehype y casos de uso poco relevantes o ineficaces.
  • Información inexacta o desactualizada, con invención de fuentes.
  • Sesgos heredados de datos de entrenamiento.
  • Pérdida de diversidad cultural y lingüística.
  • Desinformación y censura.
  • Brecha digital y acceso desigual.
  • Opacidad, falta de explicabilidad y responsabilidad.
  • Privacidad y seguridad de los datos de usuarios.
  • Propiedad intelectual y derechos de autor, especialmente por el scraping de datos.
  • Falta de consulta a las partes interesadas.
  • Reducción de autonomía humana y dependencia tecnológica.
  • Desplazamiento laboral y explotación de trabajadores precarios.
  • Impacto ambiental por consumo energético y agua en centros de datos.

Además, Incluye 14 preguntas orientadoras (por ejemplo: ¿son los beneficios justificables?, ¿es equitativo el acceso?, ¿se protege la privacidad?, ¿quién es responsable ante errores?, ¿cómo se involucra a la comunidad?). Están concebidas para estructurar debates, talleres o análisis internos

Se presentan escenarios prácticos para ilustrar cómo aplicar estas preguntas en situaciones reales: uso interno por parte del personal, apoyo a la creación de metadatos, elección de proveedores externos, entre otros. Estos ayudan a traducir preguntas abstractas en decisiones tangibles.

Y propone diferentes niveles de acción

La IFLA propone seis niveles de acción:

  1. Desarrollar o licenciar herramientas de IA.
  2. Contribuir a la creación y entrenamiento de modelos en interés público.
  3. Guiar a usuarios en el uso responsable de IA.
  4. Incluir alfabetización en IA dentro de la alfabetización digital.
  5. Asesorar internamente respecto a políticas de IA.
  6. Abogar por un uso ético y regulado de la IA en la sociedad