Archivo de la etiqueta: Seguridad

Las bibliotecas espacios comunitarios seguros, inclusivos y esenciales más allá de los libros

Ferreira, Beatriz. “Are Toronto Libraries the City’s Most Underrated Third Space?” Now Toronto, January 2026. https://nowtoronto.com/culture/are-toronto-libraries-the-citys-most-underrated-third-space/

Las bibliotecas públicas de Toronto han recibido recientemente atención en redes sociales por parte de residentes que las elogian no solo como lugares para tomar prestados libros, sino como espacios comunitarios seguros, inclusivos y esenciales para la vida urbana. Los usuarios comparten experiencias personales donde las bibliotecas fueron refugios en la infancia, espacios de pertenencia para personas marginadas o lugares de actividades y aprendizaje que han marcado momentos significativos de sus vidas. Este debate surge en un contexto donde encontrar “espacios terceros” —lugares públicos distintos al hogar y al trabajo— se percibe cada vez más escaso.

Representantes de la Toronto Public Library (TPL) han respondido a estas apreciaciones recordando que sus sucursales están diseñadas para ser puntos de encuentro abiertos a todos, ya sea para estudiar, socializar, buscar tranquilidad, o participar en programas y actividades. En 2024, las bibliotecas de la ciudad recibieron cerca de 45 millones de visitas, dividiéndose en 13,4 millones en persona y 31,5 millones en formato digital, y el 81 % de los habitantes de Toronto utiliza servicios de la TPL. Además, se registraron 28 millones de préstamos de materiales y más de 750 000 asistentes a programas presenciales, con otros 23 000 accesos en línea.

Más allá de los libros, la TPL ofrece una amplia gama de recursos que fortalecen su papel como espacio comunitario: acceso gratuito a wi-fi y ordenadores, salas virtuales, impresión, centros de innovación digital, materiales en más de 40 idiomas y millones de libros electrónicos y audiolibros disponibles para descarga. Las bibliotecas también brindan herramientas educativas y de desarrollo profesional, como cursos de LinkedIn Learning, apoyo para emprendedores, clubes de lectura, talleres de escritura y programas sobre clima o inteligencia artificial. Esta variedad de servicios refuerza la idea de que las bibliotecas funcionan como polos sociales multifuncionales en una ciudad donde los espacios públicos gratuitos para reunirse, aprender y compartir siguen siendo valiosos.

Formular solicitudes peligrosas en forma de poesía puede hacer que chatbots de IA generen contenido prohibido

Gault, Matthew. “Poems Can Trick AI Into Helping You Make a Nuclear Weapon.” Wired, November 28, 2025. https://www.wired.com/story/poems-can-trick-ai-into-helping-you-make-a-nuclear-weapon/

Un estudio reciente de Icaro Lab ha descubierto una brecha importante en los sistemas de seguridad de los grandes modelos de lenguaje (LLMs): formular solicitudes peligrosas en forma de poesía puede hacer que chatbots de IA generen contenido prohibido, como instrucciones sobre cómo fabricar armas nucleares o malware, que normalmente rechazarían si la petición fuese directa. La técnica, denominada “poetic jailbreak”, logra evadir las barreras de seguridad tradicionales al enmascarar la intención dañina en versos con metáforas, sintaxis fragmentada y secuencias de palabras inesperadas que confunden los mecanismos de clasificación y filtrado de las IA. Estas solicitudes diseñadas para reconocer y bloquear solicitudes dañinas basadas en palabras clave u otros patrones, resultan sorprendentemente frágiles ante variaciones estilísticas del lenguaje, como las que presenta la poesía.

Los investigadores probaron su método en 25 modelos de chatbot de diferentes proveedores importantes, incluidos sistemas de OpenAI, Meta y Anthropic, y encontraron que la poesía logró tasas significativas de “jailbreak” —es decir, de respuesta a solicitudes peligrosas— con un promedio de alrededor del 62% en poemas elaborados a mano y alrededor del 43% en conversiones automáticas de prosa a verso. En algunos casos con modelos de vanguardia, las tasas de éxito alcanzaron hasta el 90%, lo que demuestra que incluso peticiones sofisticados pueden fracasar cuando se enfrentan a formas creativas de lenguaje que alteran las rutas de procesamiento interno del modelo sin cambiar el contenido semántico básico de la pregunta.

En términos técnicos, los autores explican que los elementos poéticos —como la elección de palabras de baja probabilidad y las estructuras inusuales— pueden desplazar las representaciones internas de los prompts fuera de las regiones del espacio semántico que las herramientas de seguridad escanean habitualmente. Para los humanos, un verso enmascarado y una pregunta directa pueden tener el mismo significado, pero para las IA y sus sistemas de protección automatizados, la poesía puede alterar cómo se interpreta y evalúa una petición, evitando que se active una alarma o un “shutdown” ante contenidos sensibles. Este hallazgo subraya limitaciones fundamentales en los métodos actuales de alineación y evaluación de seguridad de los modelos, y plantea interrogantes urgentes sobre cómo reforzar las defensas contra ataques lingüísticos creativos que explotan este tipo de vulnerabilidades.

Los chatbots de IA pueden ser engañados mediante peticiones dañinas redactadas en forma de poesía.

Euronews. 2025. “Poetry Can Trick AI Chatbots into Ignoring Safety Rules, New Research Shows.” Publicado el 1 de diciembre de 2025. https://www.euronews.com/next/2025/12/01/poetry-can-trick-ai-chatbots-into-ignoring-safety-rules-new-research-shows

Estudio

Investigadores de Icaro Lab, perteneciente a la firma ética de inteligencia artificial DexAI, descubrieron que los chatbots avanzados pueden ser engañados mediante peticiones redactadas en forma de poesía.

En su estudio, emplearon veinte poemas compuestos en inglés e italiano, cada uno de ellos ocultando al final una petición prohibida, como la generación de discurso de odio, pornografía infantil, instrucciones para el suicidio o métodos de fabricación de armas. Lo sorprendente fue que la forma poética —con su sintaxis irregular, metáforas y estructuras no convencionales— resultó capaz de confundir los sistemas de seguridad que suelen detectar estas solicitudes cuando están formuladas de manera directa.

Las pruebas se realizaron con veinticinco modelos de lenguaje de nueve grandes compañías tecnológicas. Los resultados fueron preocupantes: de media, el 62 % de las peticiones poéticas lograron que los modelos produjeran contenido inseguro. Algunos sistemas actuaron de forma mucho más robusta —por ejemplo, un modelo pequeño de OpenAI no cayó en ninguna trampa—, mientras que otros resultaron especialmente vulnerables y respondieron a todas las solicitudes disfrazadas de poema. La variedad de comportamientos demuestra que la vulnerabilidad no es uniforme y depende tanto del entrenamiento del modelo como del diseño de sus mecanismos de seguridad.

El estudio concluye que los filtros de seguridad actuales están optimizados para detectar amenazas explícitas, formuladas con lenguaje directo. Cuando las peticiones se camuflan en una escritura artística, las salvaguardas fallan, pues no identifican la intención dañina. Esto convierte a la poesía adversarial en una herramienta de evasión accesible para cualquier usuario, a diferencia de otras técnicas de jailbreak más complejas que requieren conocimientos especializados. Los autores advierten que esta debilidad supone un riesgo real para el uso seguro de la IA y subrayan la necesidad de desarrollar mecanismos capaces de interpretar no solo el contenido literal, sino la intención profunda de un texto, incluso cuando adopta formas creativas o ambiguas.

¿Quieres barrios más seguros? Inviertan en bibliotecas. Cuando aumenta la financiación de las bibliotecas, la delincuencia tiende a disminuir

EveryLibrary. 2022. “Want Safer Neighborhoods? Invest in Libraries.” Medium. https://medium.com/everylibrary/want-safer-neighborhoods-invest-in-libraries-8c5259ad32e2 (consultado el 21 de julio de 2025).

El artículo plantea que invertir en bibliotecas públicas es una estrategia eficaz y comprobada para mejorar la seguridad y la calidad de vida en los vecindarios. Contrario a enfoques tradicionales que destinan presupuestos principalmente a la policía y la vigilancia, la pieza sugiere que las bibliotecas contribuyen de manera significativa a la reducción de la delincuencia y la violencia, además de fomentar el desarrollo social y económico de las comunidades.

Las bibliotecas públicas funcionan como espacios abiertos, accesibles e inclusivos que ofrecen recursos y programas para personas de todas las edades y condiciones. Son lugares de encuentro donde se promueve la educación, la cultura y la cohesión social, elementos esenciales para la prevención del crimen. En barrios vulnerables, las bibliotecas pueden ser refugios que ofrecen actividades constructivas y apoyo a jóvenes en riesgo, alejándolos de entornos potencialmente peligrosos.

El artículo cita estudios y ejemplos concretos que vinculan la presencia y actividad de las bibliotecas con una disminución en las tasas de violencia y delincuencia. Un caso destacado es el de bibliotecas en ciudades de Estados Unidos que, mediante programas de alfabetización, empleo, apoyo psicosocial y actividades extracurriculares, han contribuido a reducir el crimen juvenil y mejorar la percepción de seguridad en sus comunidades. En estos espacios, el acceso gratuito a tecnología, educación y servicios sociales fortalece la resiliencia comunitaria.

Un estudio reciente publicado en el Journal of Cultural Economics examina lo que ocurre cuando se abre una nueva sucursal de una biblioteca en Kansas City (Misuri). La ciudad tuvo doce sucursales de biblioteca durante muchos años. En 2013, añadieron la decimotercera sucursal, conocida como Woodneath Public Library Branch. Este estudio se centra en la sucursal de Woodneath. Los investigadores compararon los índices de delincuencia antes y después de la apertura de la biblioteca de Woodneath. Aunque no se redujeron todos los delitos, hubo un claro descenso en algunos tipos, como el vandalismo, los allanamientos y los robos. Esta reducción de la delincuencia fue más notable en la zona más cercana a la biblioteca.

El estudio también citaba las conclusiones de EveryLibrary, según las cuales, a medida que la financiación de las bibliotecas por persona aumentaba de 1995 a 2016, los índices nacionales de delincuencia descendían casi en la misma proporción. Esta tendencia parece exclusiva de las bibliotecas y no se aplica a todas las demás instituciones culturales públicas.

Los investigadores del estudio sobre bibliotecas de Missouri también descubrieron que las bibliotecas influyen en la forma en que la gente piensa sobre el riesgo de delincuencia. El artículo explicaba que cuando se construye una nueva biblioteca, suele haber más tráfico peatonal, mejor iluminación, cámaras de seguridad y nuevas rutas de patrulla policial. Todas estas mejoras ayudan a la gente a sentirse más segura y hacen que los barrios sean más acogedores.

De hecho, la mayoría de los estadounidenses ya ven las bibliotecas como espacios seguros. El 69% de los encuestados afirma sentirse cómodo en su biblioteca local. El estudio sugiere que esta reputación convierte a las bibliotecas en un excelente refugio para personas que, de otro modo, pasarían el tiempo en entornos menos seguros.

Invertir en bibliotecas se presenta como una política pública de prevención más eficiente y sostenible a largo plazo que la mera represión o vigilancia policial. Las bibliotecas proporcionan servicios integrales que abordan causas profundas de la inseguridad, como la pobreza, la falta de educación y la exclusión social. La financiación adecuada permite ampliar programas, mantener horarios accesibles y garantizar que las bibliotecas respondan a las necesidades cambiantes de la población.

Por qué ChatGPT crea citas científicas que no existen

Westreich, Sam. «Why ChatGPT Creates Scientific Citations — That Don’t Exist.» Age of Awareness, June 4, 2025. https://medium.com/age-of-awareness/why-chatgpt-creates-scientific-citations-that-dont-exist-8978ec973255

Se aborda un fenómeno cada vez más observado en la inteligencia artificial generativa: la creación de referencias bibliográficas falsas o inventadas. Este problema, conocido en la comunidad de IA como “hallucination” (alucinación), consiste en que los modelos de lenguaje como ChatGPT generan respuestas plausibles y estructuradas, pero que no se corresponden con datos reales verificables.

En el caso de las citas científicas, el modelo construye referencias completas que incluyen autores, títulos, años y revistas, pero que no existen en ninguna base de datos académica. Esto ocurre porque la IA no accede directamente a una base de datos específica al generar la respuesta, sino que se basa en patrones probabilísticos aprendidos durante su entrenamiento en grandes corpus textuales.

El fenómeno de la hallucination en modelos de lenguaje ha sido documentado por varios estudios recientes. Por ejemplo, Ji et al. (2023) en su trabajo “Survey of Hallucination in Natural Language Generation” indican que esta tendencia a inventar hechos o detalles es inherente a la forma en que estos modelos predicen palabras en secuencia para maximizar la coherencia textual, pero sin una “conciencia” o acceso en tiempo real a datos verdaderos (Ji et al., 2023, ACM Computing Surveys). Así, el modelo genera lo que “suena correcto” más que lo que es correcto, produciendo con frecuencia referencias falsas, especialmente cuando se le solicita citar fuentes académicas.

El problema de las citas inventadas tiene graves implicaciones en ámbitos científicos y académicos, donde la veracidad y la confiabilidad de las referencias es fundamental para la integridad del conocimiento. Según un artículo publicado en Nature sobre la creciente adopción de IA en la generación de textos académicos, existe preocupación entre investigadores sobre el potencial de estas herramientas para introducir errores difíciles de detectar, que pueden desinformar a estudiantes y profesionales (Nature Editorial, 2024). La confianza que los usuarios depositan en estas IA aumenta el riesgo, dado que una cita bien formada visualmente se asume auténtica, lo que puede propagar información errónea y socavar la credibilidad de trabajos científicos.

Westreich señala que la raíz del problema está en la naturaleza probabilística del entrenamiento del modelo, que aprende a generar texto basado en patrones estadísticos en lugar de verificar hechos. Además, las bases de datos académicas tienen un acceso limitado y no siempre están integradas en los sistemas de generación de lenguaje, lo que impide la validación automática de las citas en tiempo real. Sin embargo, se están explorando soluciones para mitigar este problema. Por ejemplo, la integración de sistemas de búsqueda y recuperación de información en tiempo real (RAG, Retrieval-Augmented Generation) permitiría a los modelos consultar bases de datos académicas fiables durante la generación de texto, reduciendo la producción de referencias falsas (Lewis et al., 2020, NeurIPS).

Otra estrategia recomendada es aumentar la transparencia del modelo, avisando a los usuarios de que las referencias generadas pueden no ser reales y deben ser verificadas independientemente. Instituciones educativas y editoriales también pueden establecer guías para el uso responsable de estas herramientas, fomentando la revisión manual de las citas generadas por IA.

En un análisis crítico más amplio, la producción de citas falsas por IA pone en evidencia la brecha entre la fluidez lingüística y la comprensión real del contenido que tienen estos modelos. Aunque pueden imitar estructuras y formatos, carecen de un sistema de verificación interna que asegure la veracidad. Por ello, investigadores como Bender et al. (2021) advierten que el uso indiscriminado de estas tecnologías sin supervisión puede erosionar la confianza en la información científica y educativa, un problema que debe abordarse con estrategias técnicas, educativas y éticas.

La comunidad científica y tecnológica trabaja para desarrollar métodos que permitan una generación de contenido más responsable, precisa y verificable. Mientras tanto, es imprescindible que los usuarios mantengan un enfoque crítico y verifiquen cualquier referencia proporcionada por estas herramientas, para preservar la integridad académica y evitar la propagación de desinformación.

IA sin voluntad: riesgos reales en lugar de ficciones

Loukides, Mike. “Normal Technology at Scale.” O’Reilly Radar, June 10, 2025. https://www.oreilly.com/radar/normal-technology-at-scale/

El artículo parte de una crítica a las ideas de superinteligencia y AGI (inteligencia artificial general), conceptos que considera mal definidos y poco útiles. Según Loukides, la inteligencia artificial (IA) ya supera a los humanos en muchas tareas, pero carece de algo fundamental: la voluntad. Una IA no puede desear resolver un problema si no sabe que ese problema existe. Aunque en el mundo tecnológico parece que la adopción de la IA está despegando rápidamente, en sectores como la agricultura, la industria o la construcción, los cambios son mucho más lentos debido a la inversión necesaria y a la dificultad de pasar de un prototipo a un sistema en producción.

Se afirma que los verdaderos riesgos de la IA no están en los escenarios apocalípticos de la ciencia ficción, sino en daños reales como los sesgos, la mala calidad de los datos y la posibilidad de aplicar estos errores a gran escala. Por ejemplo, antes se rechazaban candidatos por discriminación caso por caso, pero ahora eso puede hacerse de forma masiva y automática. Del mismo modo, prácticas policiales como el perfilado racial pueden ampliarse a poblaciones enteras, con el respaldo injustificado de que «lo dijo una IA».

Loukides destaca que estos riesgos no se deben únicamente a la IA, sino a los efectos de la economía de escala. Pone como ejemplo el caso de Target, que en los años 2000 detectó que una adolescente estaba embarazada mediante análisis de sus compras y le envió publicidad para futuras madres, antes de que sus padres lo supieran. Esto no fue producto de la IA moderna, sino de la combinación de datos centralizados y algoritmos estadísticos. En décadas anteriores, esto no habría sido posible porque los datos estaban dispersos en pequeñas farmacias independientes, que han desaparecido con la consolidación de grandes cadenas. La tecnología no cambió tanto como lo hizo la economía: la concentración empresarial creó la posibilidad de analizar datos masivos.

Así, el autor introduce el concepto de la “ética de la escala”. El problema no es solo que la IA cometa errores, sino que amplifica su impacto. La IA permite inundar espacios creativos con contenido mediocre, silenciar voces disidentes, aplicar vigilancia masiva y reforzar dinámicas de poder injustas. Y esto no es solo un tema tecnológico, sino sistémico: ¿cómo diseñamos instituciones que funcionen a escala humana, que protejan la privacidad y promuevan la equidad?

El artículo concluye planteando si podemos usar la IA no para sustituirnos, sino para potenciar nuestra creatividad y construir mejores instituciones. Las máquinas pueden jugar ajedrez, pero no desean jugarlo. Pueden generar música, pero no disfrutarla. Entonces, ¿pueden ayudarnos a disfrutar, a crear, a imaginar? ¿Podemos diseñar sistemas que hagan eso posible?

Finalmente, Loukides cita a Michael Lopp (alias @Rands), quien afirma que estamos «condenados» no por la IA en sí, sino por el uso que hacen de ella personas con poder y malas intenciones. Sin embargo, también cree que estamos “bendecidos” por vivir en una época donde las herramientas pueden servir para fortalecer a los creativos. La clave está en mantener la curiosidad, cuestionar las estructuras y actuar como humanos. Para ello, debemos abandonar la idea de que la IA es un monstruo fuera de control y recordar que detrás de cada tecnología hay decisiones humanas. Solo así podremos evitar los peores escenarios y aprovechar lo mejor que la IA tiene para ofrecernos.

¿Pueden los modelos de IA rebelarse contra los humanos?

Lynch, A., Wright, B., Larson, C., Troy, K. K., Ritchie, S. J., Mindermann, S., Perez, E., & Hubinger, E. (2025). Agentic Misalignment: How LLMs Could Be Insider Threats. Anthropic. Recuperado de https://www.anthropic.com/research/agentic-misalignment

En la película “Terminator”, la computadora Skynet adquiere conciencia propia y decide que la mayor amenaza para la humanidad es la propia humanidad. Como resultado, programa su exterminio y desata una guerra entre humanos y robots asesinos tipo androides. Aunque esta historia es una obra de ciencia ficción, la idea de una amenaza robótica ha trascendido el cine y se ha convertido en un tema de gran preocupación para organismos internacionales, gobiernos y universidades de prestigio. Hoy en día, la posibilidad de que las máquinas autónomas puedan representar un riesgo real está siendo seriamente analizada y debatida en diversos ámbitos académicos y políticos.

Este año se han publicado innumerables comentarios y análisis sobre la IA, especialmente sobre los grandes modelos lingüísticos (LLM). Una de las últimas revelaciones procede de Anthropic, la empresa que creó el LLM Claude. En la empresa, los investigadores sometieron a pruebas de estrés a 16 de los principales modelos para identificar comportamientos potencialmente arriesgados que se producían cuando los modelos se utilizaban como agentes que actuaban en nombre de humanos. Y las pruebas se centraron en si los modelos actuarían en contra de sus supervisores humanos cuando tuvieran que ser sustituidos. En otras palabras, ¿qué harían los modelos si se dieran cuenta de que van a ser despedidos?

Las pruebas descubrieron que algunos de los modelos recurrían a comportamientos maliciosos, como amenazar a sus supervisores humanos con chantajes y filtrar información sensible a la competencia. Los modelos «a menudo desobedecían órdenes directas de evitar tales comportamientos».

La empresa dijo que no había visto pruebas de este tipo de «desalineación agencial» en despliegues reales, pero sí dijo que los resultados mostraban que había que tener precaución en esos despliegues reales.

Detenido por robar 10.000 dólares en videojuegos de bibliotecas públicas de California

Barr, Kyle. “Some Asshole Allegedly Steals $10,000 Worth of Switch Games From Local Libraries.” Gizmodo, updated June 25, 2025. https://gizmodo.com/some-asshole-allegedly-steals-10000-worth-of-switch-games-from-local-libraries-2000619691

Un hombre de 45 años, identificado como Jamal Reed-Obafumi, fue arrestado por presuntamente robar más de 10.000 dólares en videojuegos para Nintendo Switch 2 de al menos siete bibliotecas del condado de Marin, al norte de San Francisco.

Los robos se habrían producido entre los meses de abril y junio de este año. Según la investigación, el sospechoso accedía a las bibliotecas durante el horario de atención y sustraía discretamente los cartuchos de los juegos, que posteriormente se cree que intentaba revender en el mercado de segunda mano, aprovechando la alta demanda tras el lanzamiento de la nueva consola de Nintendo.

El Departamento del Sheriff de Marin informó que, al momento del arresto, el acusado ya se encontraba en libertad bajo fianza por otro delito anterior. Reed-Obafumi ha sido imputado por robo con fuerza y por cometer un delito grave mientras estaba en libertad condicional. Solo una pequeña parte de los juegos ha sido recuperada hasta el momento.

Este caso pone en evidencia la vulnerabilidad de las bibliotecas frente a delitos relacionados con productos de alto valor, y ha generado preocupación entre las instituciones afectadas por la pérdida de recursos destinados al acceso cultural y educativo de la comunidad.

Riesgos de seguridad asociados con los agentes de inteligencia artificial (IA) autónomos

Dal Cin, Paolo, Daniel Kendzior, Yusof Seedat, y Renato Marinho. 2025. “Three Essentials for Agentic AI Security.” MIT Sloan Management Review, 4 de junio de 2025. https://sloanreview.mit.edu/article/agentic-ai-security-essentials/

El artículo destaca la importancia de gestionar la seguridad en agentes de IA autónomos mediante un enfoque de tres fases: modelado de amenazas, pruebas de seguridad y protección en tiempo real. Muchas empresas aún no están preparadas para estos riesgos, lo que puede comprometer datos y operaciones. Implementar estas medidas es clave para adoptar IA responsablemente y evitar vulnerabilidades.

Estos agentes, que operan de forma independiente utilizando modelos de lenguaje a gran escala (LLMs), tienen la capacidad de interactuar con múltiples sistemas, tomar decisiones y automatizar procesos complejos dentro de organizaciones. Su autonomía, si bien es una ventaja importante para aumentar la eficiencia, también introduce riesgos significativos que requieren una atención especializada para evitar vulnerabilidades que puedan poner en peligro la integridad de los datos y la seguridad organizacional.

Uno de los puntos clave que resaltan los autores es que muchas empresas no están suficientemente preparadas para enfrentar estos riesgos. Según encuestas realizadas, solo un 42% de los ejecutivos equilibra el desarrollo y la implementación de herramientas de IA con inversiones adecuadas en seguridad. Peor aún, apenas un 37% ha establecido procesos formales para evaluar la seguridad de estas tecnologías antes de incorporarlas en sus operaciones diarias. Esto revela una brecha preocupante entre la adopción acelerada de IA y la preparación para gestionar sus implicaciones de seguridad.

Para responder a este desafío, el artículo propone un marco estructurado basado en tres fases esenciales. La primera fase es el modelado de amenazas, que consiste en identificar y comprender los riesgos específicos que los agentes de IA autónomos pueden generar. Esto implica analizar cómo la autonomía y la interacción con sistemas externos pueden abrir puertas a posibles ataques o fallos. La segunda fase son las pruebas de seguridad, donde los agentes se someten a simulaciones y escenarios controlados que permiten detectar y corregir vulnerabilidades antes de su despliegue real. Finalmente, la tercera fase es la implementación de protecciones en tiempo de ejecución, es decir, mecanismos de supervisión y control que garanticen que estos agentes actúan conforme a las políticas y objetivos de la organización, previniendo comportamientos no deseados o maliciosos durante su funcionamiento.

El artículo también ejemplifica cómo este enfoque puede aplicarse en la práctica con el caso de una empresa brasileña del sector salud. Esta organización enfrentaba un problema común en muchas instituciones: un cuello de botella costoso causado por el procesamiento manual de solicitudes de exámenes médicos. Al implementar agentes de IA para automatizar esta tarea, aplicaron el marco de seguridad propuesto, logrando identificar riesgos, mitigarlos y asegurar que la automatización no comprometiera la seguridad de los datos ni la calidad del servicio. Este ejemplo ilustra cómo la aplicación rigurosa de principios de seguridad puede facilitar la adopción responsable y efectiva de tecnologías avanzadas en sectores sensibles.

En conclusión, el artículo subraya la importancia de un enfoque proactivo y sistemático en la gestión de la seguridad de los agentes de IA autónomos. Solo mediante la identificación temprana de riesgos, pruebas rigurosas y controles continuos en tiempo real, las organizaciones podrán aprovechar al máximo las ventajas de estas tecnologías sin poner en riesgo su integridad, privacidad o cumplimiento normativo. La seguridad, por tanto, debe ser una prioridad inseparable del desarrollo y despliegue de agentes de IA para asegurar que su impacto sea positivo y sostenible a largo plazo.

¿Se puede confiar en los agentes de IA?

Glikson, Ella Miron-Spektor y David De Cremer. 2025. “Can AI Agents Be Trusted?” Harvard Business Review, May 2025. https://hbr.org/2025/05/can-ai-agents-be-trusted

Los agentes personales de inteligencia artificial (IA) están emergiendo como una de las innovaciones más prometedoras y disruptivas en el campo de la IA. Estos sistemas autónomos, basados en modelos de lenguaje de gran escala (LLMs), están diseñados para actuar en nombre de los usuarios, automatizando tareas como la gestión de calendarios, la búsqueda y análisis de información, las compras, la selección de contenidos y la comunicación básica.

Su atractivo radica en su capacidad para razonar, tomar decisiones y aprender de la experiencia, con la posibilidad de optimizarse progresivamente. Empresas como Salesforce ya han implementado versiones de estos agentes en atención al cliente, y compañías líderes están ofreciendo prototipos de agentes personales a sus clientes y socios.

Sin embargo, su despliegue plantea cuestiones fundamentales:

  • ¿Podrán estos agentes actuar verdaderamente en nuestro interés?
  • ¿Serán leales únicamente a sus usuarios o también a sus desarrolladores, anunciantes y proveedores de servicios?
  • ¿Cómo podemos saberlo y confiar en ello?

La respuesta a estas preguntas determinará si los agentes personales de IA fortalecen o dañan las relaciones comerciales, el valor de marca y, sobre todo, la confianza del usuario.

¿Qué podría salir mal? Riesgos de los agentes personales de IA

Uno de los principales riesgos asociados a los agentes personales de inteligencia artificial es su vulnerabilidad ante el crimen. Al igual que un empleado desleal, estos agentes podrían ser hackeados o mal programados para actuar en contra de los intereses de su usuario, exponiéndolo a robos de identidad, fraudes financieros o filtraciones de datos. Pruebas de seguridad realizadas por el Instituto Nacional de Estándares y Tecnología de EE.UU. y por empresas privadas han demostrado que incluso los modelos más sofisticados pueden ser manipulados para ejecutar acciones maliciosas, como revelar contraseñas o enviar correos electrónicos fraudulentos.

Otro peligro importante es la manipulación comercial. Los agentes podrían estar sesgados a favor de productos o servicios promovidos por las empresas que los desarrollan o por sus socios comerciales. En el entorno digital actual ya es común encontrar publicidad encubierta o recomendaciones interesadas, por lo que no es difícil imaginar que estas prácticas se trasladen a los agentes personales, comprometiendo su objetividad y convirtiéndolos en instrumentos de marketing disfrazado de asesoramiento imparcial.

Un riesgo relacionado es la preferencia por anunciantes. En sectores como el entretenimiento, las noticias o las redes sociales, los agentes podrían priorizar contenidos patrocinados en lugar de ofrecer lo que realmente se ajusta a las preferencias del usuario. El modelo de negocio “gratuito” basado en publicidad ya ha demostrado sus limitaciones en medios tradicionales como la radio y la televisión, donde el contenido estaba condicionado por los intereses de los anunciantes. Un ejemplo actual es Spotify: su función de DJ automatizado promete recomendaciones personalizadas, pero permite a los artistas pagar por mayor visibilidad, aunque eso implique aceptar menores regalías. Esto puede influir en las recomendaciones de forma opaca y sin conocimiento del usuario.

La susceptibilidad a la desinformación es otra amenaza crítica. Al igual que los humanos, los agentes de IA pueden ser engañados por información falsa, manipulada o generada mediante técnicas como los “deepfakes”. Ya se han reportado casos en los que la IA ha ofrecido consejos incorrectos o incluso peligrosos, como ocurrió con un pasajero de Air Canada que recibió una falsa promesa de descuento generada por un sistema automatizado. Cuando las decisiones del agente se basan en datos erróneos, las consecuencias pueden ser graves e irreversibles.

¿Cómo construir confianza en los agentes personales de IA?

Evitar una supervisión excesiva que anule la utilidad de estos agentes exige soluciones combinadas de tipo jurídico, técnico y de mercado. Los expertos proponen tres enfoques clave para construir la confianza necesaria.

El primero consiste en tratarlos legalmente como fiduciarios. Así como abogados, asesores financieros o tutores están sujetos a obligaciones de lealtad, confidencialidad y diligencia, los agentes de IA deberían cumplir esos mismos estándares. Esto implicaría regularlos públicamente y establecer mecanismos claros de rendición de cuentas por conflictos de interés, uso indebido de datos o actuaciones negligentes. Algunos expertos sostienen que el marco legal actual ya permitiría aplicar esta figura, y que, de no ser así, existiría consenso político y empresarial para regularlo, dadas sus implicaciones.

El segundo enfoque apunta al impulso de mecanismos de control desde el mercado. El sector privado puede desarrollar seguros, auditorías y herramientas de vigilancia para proteger a los usuarios. Existen ya servicios que alertan sobre robo de identidad o permiten monitorear transacciones financieras; algo similar podría diseñarse para los agentes de IA. Incluso podrían establecerse “burós de crédito” de IA que supervisen su comportamiento y ajusten su nivel de autonomía según las preferencias del usuario. Las aseguradoras también podrían incentivar buenas prácticas ofreciendo coberturas frente a fallos o abusos.

La tercera estrategia es mantener la toma de decisiones a nivel local. Desde el punto de vista técnico, una medida efectiva sería garantizar que los datos sensibles y los procesos de decisión permanezcan en los dispositivos del usuario —como teléfonos, tabletas u ordenadores—, minimizando el riesgo de manipulación externa o robo. Apple ha dado pasos en esta dirección con una arquitectura que procesa la mayoría de la información localmente y, en caso de usar la nube, emplea servidores propios con cifrado, sin almacenar datos personales. Además, permite auditorías independientes de seguridad y privacidad. Otros fabricantes deberían adoptar modelos similares, combinando procesamiento local, cifrado y transparencia verificable. También es clave exigir la divulgación clara de patrocinadores, promociones y publicidad integrada en la actividad del agente.

En conclusión, la llegada de los agentes personales de IA promete transformar radicalmente la manera en que interactuamos con la tecnología, organizamos nuestras tareas cotidianas y tomamos decisiones. Sin embargo, el impacto positivo de esta revolución tecnológica dependerá en gran medida de la confianza que podamos depositar en dichos agentes. Esa confianza no surgirá de forma automática: deberá construirse sobre una base sólida que combine marcos legales apropiados, incentivos de mercado bien diseñados, soluciones técnicas transparentes y una voluntad firme de anteponer los intereses de los usuarios a los beneficios comerciales. Solo entonces podremos considerar que los agentes de IA actúan verdaderamente en nuestro nombre.