Archivo de la etiqueta: Seguridad

Los chatbots de IA pueden ser engañados mediante peticiones dañinas redactadas en forma de poesía.

Euronews. 2025. “Poetry Can Trick AI Chatbots into Ignoring Safety Rules, New Research Shows.” Publicado el 1 de diciembre de 2025. https://www.euronews.com/next/2025/12/01/poetry-can-trick-ai-chatbots-into-ignoring-safety-rules-new-research-shows

Estudio

Investigadores de Icaro Lab, perteneciente a la firma ética de inteligencia artificial DexAI, descubrieron que los chatbots avanzados pueden ser engañados mediante peticiones redactadas en forma de poesía.

En su estudio, emplearon veinte poemas compuestos en inglés e italiano, cada uno de ellos ocultando al final una petición prohibida, como la generación de discurso de odio, pornografía infantil, instrucciones para el suicidio o métodos de fabricación de armas. Lo sorprendente fue que la forma poética —con su sintaxis irregular, metáforas y estructuras no convencionales— resultó capaz de confundir los sistemas de seguridad que suelen detectar estas solicitudes cuando están formuladas de manera directa.

Las pruebas se realizaron con veinticinco modelos de lenguaje de nueve grandes compañías tecnológicas. Los resultados fueron preocupantes: de media, el 62 % de las peticiones poéticas lograron que los modelos produjeran contenido inseguro. Algunos sistemas actuaron de forma mucho más robusta —por ejemplo, un modelo pequeño de OpenAI no cayó en ninguna trampa—, mientras que otros resultaron especialmente vulnerables y respondieron a todas las solicitudes disfrazadas de poema. La variedad de comportamientos demuestra que la vulnerabilidad no es uniforme y depende tanto del entrenamiento del modelo como del diseño de sus mecanismos de seguridad.

El estudio concluye que los filtros de seguridad actuales están optimizados para detectar amenazas explícitas, formuladas con lenguaje directo. Cuando las peticiones se camuflan en una escritura artística, las salvaguardas fallan, pues no identifican la intención dañina. Esto convierte a la poesía adversarial en una herramienta de evasión accesible para cualquier usuario, a diferencia de otras técnicas de jailbreak más complejas que requieren conocimientos especializados. Los autores advierten que esta debilidad supone un riesgo real para el uso seguro de la IA y subrayan la necesidad de desarrollar mecanismos capaces de interpretar no solo el contenido literal, sino la intención profunda de un texto, incluso cuando adopta formas creativas o ambiguas.

¿Quieres barrios más seguros? Inviertan en bibliotecas. Cuando aumenta la financiación de las bibliotecas, la delincuencia tiende a disminuir

EveryLibrary. 2022. “Want Safer Neighborhoods? Invest in Libraries.” Medium. https://medium.com/everylibrary/want-safer-neighborhoods-invest-in-libraries-8c5259ad32e2 (consultado el 21 de julio de 2025).

El artículo plantea que invertir en bibliotecas públicas es una estrategia eficaz y comprobada para mejorar la seguridad y la calidad de vida en los vecindarios. Contrario a enfoques tradicionales que destinan presupuestos principalmente a la policía y la vigilancia, la pieza sugiere que las bibliotecas contribuyen de manera significativa a la reducción de la delincuencia y la violencia, además de fomentar el desarrollo social y económico de las comunidades.

Las bibliotecas públicas funcionan como espacios abiertos, accesibles e inclusivos que ofrecen recursos y programas para personas de todas las edades y condiciones. Son lugares de encuentro donde se promueve la educación, la cultura y la cohesión social, elementos esenciales para la prevención del crimen. En barrios vulnerables, las bibliotecas pueden ser refugios que ofrecen actividades constructivas y apoyo a jóvenes en riesgo, alejándolos de entornos potencialmente peligrosos.

El artículo cita estudios y ejemplos concretos que vinculan la presencia y actividad de las bibliotecas con una disminución en las tasas de violencia y delincuencia. Un caso destacado es el de bibliotecas en ciudades de Estados Unidos que, mediante programas de alfabetización, empleo, apoyo psicosocial y actividades extracurriculares, han contribuido a reducir el crimen juvenil y mejorar la percepción de seguridad en sus comunidades. En estos espacios, el acceso gratuito a tecnología, educación y servicios sociales fortalece la resiliencia comunitaria.

Un estudio reciente publicado en el Journal of Cultural Economics examina lo que ocurre cuando se abre una nueva sucursal de una biblioteca en Kansas City (Misuri). La ciudad tuvo doce sucursales de biblioteca durante muchos años. En 2013, añadieron la decimotercera sucursal, conocida como Woodneath Public Library Branch. Este estudio se centra en la sucursal de Woodneath. Los investigadores compararon los índices de delincuencia antes y después de la apertura de la biblioteca de Woodneath. Aunque no se redujeron todos los delitos, hubo un claro descenso en algunos tipos, como el vandalismo, los allanamientos y los robos. Esta reducción de la delincuencia fue más notable en la zona más cercana a la biblioteca.

El estudio también citaba las conclusiones de EveryLibrary, según las cuales, a medida que la financiación de las bibliotecas por persona aumentaba de 1995 a 2016, los índices nacionales de delincuencia descendían casi en la misma proporción. Esta tendencia parece exclusiva de las bibliotecas y no se aplica a todas las demás instituciones culturales públicas.

Los investigadores del estudio sobre bibliotecas de Missouri también descubrieron que las bibliotecas influyen en la forma en que la gente piensa sobre el riesgo de delincuencia. El artículo explicaba que cuando se construye una nueva biblioteca, suele haber más tráfico peatonal, mejor iluminación, cámaras de seguridad y nuevas rutas de patrulla policial. Todas estas mejoras ayudan a la gente a sentirse más segura y hacen que los barrios sean más acogedores.

De hecho, la mayoría de los estadounidenses ya ven las bibliotecas como espacios seguros. El 69% de los encuestados afirma sentirse cómodo en su biblioteca local. El estudio sugiere que esta reputación convierte a las bibliotecas en un excelente refugio para personas que, de otro modo, pasarían el tiempo en entornos menos seguros.

Invertir en bibliotecas se presenta como una política pública de prevención más eficiente y sostenible a largo plazo que la mera represión o vigilancia policial. Las bibliotecas proporcionan servicios integrales que abordan causas profundas de la inseguridad, como la pobreza, la falta de educación y la exclusión social. La financiación adecuada permite ampliar programas, mantener horarios accesibles y garantizar que las bibliotecas respondan a las necesidades cambiantes de la población.

Por qué ChatGPT crea citas científicas que no existen

Westreich, Sam. «Why ChatGPT Creates Scientific Citations — That Don’t Exist.» Age of Awareness, June 4, 2025. https://medium.com/age-of-awareness/why-chatgpt-creates-scientific-citations-that-dont-exist-8978ec973255

Se aborda un fenómeno cada vez más observado en la inteligencia artificial generativa: la creación de referencias bibliográficas falsas o inventadas. Este problema, conocido en la comunidad de IA como “hallucination” (alucinación), consiste en que los modelos de lenguaje como ChatGPT generan respuestas plausibles y estructuradas, pero que no se corresponden con datos reales verificables.

En el caso de las citas científicas, el modelo construye referencias completas que incluyen autores, títulos, años y revistas, pero que no existen en ninguna base de datos académica. Esto ocurre porque la IA no accede directamente a una base de datos específica al generar la respuesta, sino que se basa en patrones probabilísticos aprendidos durante su entrenamiento en grandes corpus textuales.

El fenómeno de la hallucination en modelos de lenguaje ha sido documentado por varios estudios recientes. Por ejemplo, Ji et al. (2023) en su trabajo “Survey of Hallucination in Natural Language Generation” indican que esta tendencia a inventar hechos o detalles es inherente a la forma en que estos modelos predicen palabras en secuencia para maximizar la coherencia textual, pero sin una “conciencia” o acceso en tiempo real a datos verdaderos (Ji et al., 2023, ACM Computing Surveys). Así, el modelo genera lo que “suena correcto” más que lo que es correcto, produciendo con frecuencia referencias falsas, especialmente cuando se le solicita citar fuentes académicas.

El problema de las citas inventadas tiene graves implicaciones en ámbitos científicos y académicos, donde la veracidad y la confiabilidad de las referencias es fundamental para la integridad del conocimiento. Según un artículo publicado en Nature sobre la creciente adopción de IA en la generación de textos académicos, existe preocupación entre investigadores sobre el potencial de estas herramientas para introducir errores difíciles de detectar, que pueden desinformar a estudiantes y profesionales (Nature Editorial, 2024). La confianza que los usuarios depositan en estas IA aumenta el riesgo, dado que una cita bien formada visualmente se asume auténtica, lo que puede propagar información errónea y socavar la credibilidad de trabajos científicos.

Westreich señala que la raíz del problema está en la naturaleza probabilística del entrenamiento del modelo, que aprende a generar texto basado en patrones estadísticos en lugar de verificar hechos. Además, las bases de datos académicas tienen un acceso limitado y no siempre están integradas en los sistemas de generación de lenguaje, lo que impide la validación automática de las citas en tiempo real. Sin embargo, se están explorando soluciones para mitigar este problema. Por ejemplo, la integración de sistemas de búsqueda y recuperación de información en tiempo real (RAG, Retrieval-Augmented Generation) permitiría a los modelos consultar bases de datos académicas fiables durante la generación de texto, reduciendo la producción de referencias falsas (Lewis et al., 2020, NeurIPS).

Otra estrategia recomendada es aumentar la transparencia del modelo, avisando a los usuarios de que las referencias generadas pueden no ser reales y deben ser verificadas independientemente. Instituciones educativas y editoriales también pueden establecer guías para el uso responsable de estas herramientas, fomentando la revisión manual de las citas generadas por IA.

En un análisis crítico más amplio, la producción de citas falsas por IA pone en evidencia la brecha entre la fluidez lingüística y la comprensión real del contenido que tienen estos modelos. Aunque pueden imitar estructuras y formatos, carecen de un sistema de verificación interna que asegure la veracidad. Por ello, investigadores como Bender et al. (2021) advierten que el uso indiscriminado de estas tecnologías sin supervisión puede erosionar la confianza en la información científica y educativa, un problema que debe abordarse con estrategias técnicas, educativas y éticas.

La comunidad científica y tecnológica trabaja para desarrollar métodos que permitan una generación de contenido más responsable, precisa y verificable. Mientras tanto, es imprescindible que los usuarios mantengan un enfoque crítico y verifiquen cualquier referencia proporcionada por estas herramientas, para preservar la integridad académica y evitar la propagación de desinformación.

IA sin voluntad: riesgos reales en lugar de ficciones

Loukides, Mike. “Normal Technology at Scale.” O’Reilly Radar, June 10, 2025. https://www.oreilly.com/radar/normal-technology-at-scale/

El artículo parte de una crítica a las ideas de superinteligencia y AGI (inteligencia artificial general), conceptos que considera mal definidos y poco útiles. Según Loukides, la inteligencia artificial (IA) ya supera a los humanos en muchas tareas, pero carece de algo fundamental: la voluntad. Una IA no puede desear resolver un problema si no sabe que ese problema existe. Aunque en el mundo tecnológico parece que la adopción de la IA está despegando rápidamente, en sectores como la agricultura, la industria o la construcción, los cambios son mucho más lentos debido a la inversión necesaria y a la dificultad de pasar de un prototipo a un sistema en producción.

Se afirma que los verdaderos riesgos de la IA no están en los escenarios apocalípticos de la ciencia ficción, sino en daños reales como los sesgos, la mala calidad de los datos y la posibilidad de aplicar estos errores a gran escala. Por ejemplo, antes se rechazaban candidatos por discriminación caso por caso, pero ahora eso puede hacerse de forma masiva y automática. Del mismo modo, prácticas policiales como el perfilado racial pueden ampliarse a poblaciones enteras, con el respaldo injustificado de que «lo dijo una IA».

Loukides destaca que estos riesgos no se deben únicamente a la IA, sino a los efectos de la economía de escala. Pone como ejemplo el caso de Target, que en los años 2000 detectó que una adolescente estaba embarazada mediante análisis de sus compras y le envió publicidad para futuras madres, antes de que sus padres lo supieran. Esto no fue producto de la IA moderna, sino de la combinación de datos centralizados y algoritmos estadísticos. En décadas anteriores, esto no habría sido posible porque los datos estaban dispersos en pequeñas farmacias independientes, que han desaparecido con la consolidación de grandes cadenas. La tecnología no cambió tanto como lo hizo la economía: la concentración empresarial creó la posibilidad de analizar datos masivos.

Así, el autor introduce el concepto de la “ética de la escala”. El problema no es solo que la IA cometa errores, sino que amplifica su impacto. La IA permite inundar espacios creativos con contenido mediocre, silenciar voces disidentes, aplicar vigilancia masiva y reforzar dinámicas de poder injustas. Y esto no es solo un tema tecnológico, sino sistémico: ¿cómo diseñamos instituciones que funcionen a escala humana, que protejan la privacidad y promuevan la equidad?

El artículo concluye planteando si podemos usar la IA no para sustituirnos, sino para potenciar nuestra creatividad y construir mejores instituciones. Las máquinas pueden jugar ajedrez, pero no desean jugarlo. Pueden generar música, pero no disfrutarla. Entonces, ¿pueden ayudarnos a disfrutar, a crear, a imaginar? ¿Podemos diseñar sistemas que hagan eso posible?

Finalmente, Loukides cita a Michael Lopp (alias @Rands), quien afirma que estamos «condenados» no por la IA en sí, sino por el uso que hacen de ella personas con poder y malas intenciones. Sin embargo, también cree que estamos “bendecidos” por vivir en una época donde las herramientas pueden servir para fortalecer a los creativos. La clave está en mantener la curiosidad, cuestionar las estructuras y actuar como humanos. Para ello, debemos abandonar la idea de que la IA es un monstruo fuera de control y recordar que detrás de cada tecnología hay decisiones humanas. Solo así podremos evitar los peores escenarios y aprovechar lo mejor que la IA tiene para ofrecernos.

¿Pueden los modelos de IA rebelarse contra los humanos?

Lynch, A., Wright, B., Larson, C., Troy, K. K., Ritchie, S. J., Mindermann, S., Perez, E., & Hubinger, E. (2025). Agentic Misalignment: How LLMs Could Be Insider Threats. Anthropic. Recuperado de https://www.anthropic.com/research/agentic-misalignment

En la película “Terminator”, la computadora Skynet adquiere conciencia propia y decide que la mayor amenaza para la humanidad es la propia humanidad. Como resultado, programa su exterminio y desata una guerra entre humanos y robots asesinos tipo androides. Aunque esta historia es una obra de ciencia ficción, la idea de una amenaza robótica ha trascendido el cine y se ha convertido en un tema de gran preocupación para organismos internacionales, gobiernos y universidades de prestigio. Hoy en día, la posibilidad de que las máquinas autónomas puedan representar un riesgo real está siendo seriamente analizada y debatida en diversos ámbitos académicos y políticos.

Este año se han publicado innumerables comentarios y análisis sobre la IA, especialmente sobre los grandes modelos lingüísticos (LLM). Una de las últimas revelaciones procede de Anthropic, la empresa que creó el LLM Claude. En la empresa, los investigadores sometieron a pruebas de estrés a 16 de los principales modelos para identificar comportamientos potencialmente arriesgados que se producían cuando los modelos se utilizaban como agentes que actuaban en nombre de humanos. Y las pruebas se centraron en si los modelos actuarían en contra de sus supervisores humanos cuando tuvieran que ser sustituidos. En otras palabras, ¿qué harían los modelos si se dieran cuenta de que van a ser despedidos?

Las pruebas descubrieron que algunos de los modelos recurrían a comportamientos maliciosos, como amenazar a sus supervisores humanos con chantajes y filtrar información sensible a la competencia. Los modelos «a menudo desobedecían órdenes directas de evitar tales comportamientos».

La empresa dijo que no había visto pruebas de este tipo de «desalineación agencial» en despliegues reales, pero sí dijo que los resultados mostraban que había que tener precaución en esos despliegues reales.

Detenido por robar 10.000 dólares en videojuegos de bibliotecas públicas de California

Barr, Kyle. “Some Asshole Allegedly Steals $10,000 Worth of Switch Games From Local Libraries.” Gizmodo, updated June 25, 2025. https://gizmodo.com/some-asshole-allegedly-steals-10000-worth-of-switch-games-from-local-libraries-2000619691

Un hombre de 45 años, identificado como Jamal Reed-Obafumi, fue arrestado por presuntamente robar más de 10.000 dólares en videojuegos para Nintendo Switch 2 de al menos siete bibliotecas del condado de Marin, al norte de San Francisco.

Los robos se habrían producido entre los meses de abril y junio de este año. Según la investigación, el sospechoso accedía a las bibliotecas durante el horario de atención y sustraía discretamente los cartuchos de los juegos, que posteriormente se cree que intentaba revender en el mercado de segunda mano, aprovechando la alta demanda tras el lanzamiento de la nueva consola de Nintendo.

El Departamento del Sheriff de Marin informó que, al momento del arresto, el acusado ya se encontraba en libertad bajo fianza por otro delito anterior. Reed-Obafumi ha sido imputado por robo con fuerza y por cometer un delito grave mientras estaba en libertad condicional. Solo una pequeña parte de los juegos ha sido recuperada hasta el momento.

Este caso pone en evidencia la vulnerabilidad de las bibliotecas frente a delitos relacionados con productos de alto valor, y ha generado preocupación entre las instituciones afectadas por la pérdida de recursos destinados al acceso cultural y educativo de la comunidad.

Riesgos de seguridad asociados con los agentes de inteligencia artificial (IA) autónomos

Dal Cin, Paolo, Daniel Kendzior, Yusof Seedat, y Renato Marinho. 2025. “Three Essentials for Agentic AI Security.” MIT Sloan Management Review, 4 de junio de 2025. https://sloanreview.mit.edu/article/agentic-ai-security-essentials/

El artículo destaca la importancia de gestionar la seguridad en agentes de IA autónomos mediante un enfoque de tres fases: modelado de amenazas, pruebas de seguridad y protección en tiempo real. Muchas empresas aún no están preparadas para estos riesgos, lo que puede comprometer datos y operaciones. Implementar estas medidas es clave para adoptar IA responsablemente y evitar vulnerabilidades.

Estos agentes, que operan de forma independiente utilizando modelos de lenguaje a gran escala (LLMs), tienen la capacidad de interactuar con múltiples sistemas, tomar decisiones y automatizar procesos complejos dentro de organizaciones. Su autonomía, si bien es una ventaja importante para aumentar la eficiencia, también introduce riesgos significativos que requieren una atención especializada para evitar vulnerabilidades que puedan poner en peligro la integridad de los datos y la seguridad organizacional.

Uno de los puntos clave que resaltan los autores es que muchas empresas no están suficientemente preparadas para enfrentar estos riesgos. Según encuestas realizadas, solo un 42% de los ejecutivos equilibra el desarrollo y la implementación de herramientas de IA con inversiones adecuadas en seguridad. Peor aún, apenas un 37% ha establecido procesos formales para evaluar la seguridad de estas tecnologías antes de incorporarlas en sus operaciones diarias. Esto revela una brecha preocupante entre la adopción acelerada de IA y la preparación para gestionar sus implicaciones de seguridad.

Para responder a este desafío, el artículo propone un marco estructurado basado en tres fases esenciales. La primera fase es el modelado de amenazas, que consiste en identificar y comprender los riesgos específicos que los agentes de IA autónomos pueden generar. Esto implica analizar cómo la autonomía y la interacción con sistemas externos pueden abrir puertas a posibles ataques o fallos. La segunda fase son las pruebas de seguridad, donde los agentes se someten a simulaciones y escenarios controlados que permiten detectar y corregir vulnerabilidades antes de su despliegue real. Finalmente, la tercera fase es la implementación de protecciones en tiempo de ejecución, es decir, mecanismos de supervisión y control que garanticen que estos agentes actúan conforme a las políticas y objetivos de la organización, previniendo comportamientos no deseados o maliciosos durante su funcionamiento.

El artículo también ejemplifica cómo este enfoque puede aplicarse en la práctica con el caso de una empresa brasileña del sector salud. Esta organización enfrentaba un problema común en muchas instituciones: un cuello de botella costoso causado por el procesamiento manual de solicitudes de exámenes médicos. Al implementar agentes de IA para automatizar esta tarea, aplicaron el marco de seguridad propuesto, logrando identificar riesgos, mitigarlos y asegurar que la automatización no comprometiera la seguridad de los datos ni la calidad del servicio. Este ejemplo ilustra cómo la aplicación rigurosa de principios de seguridad puede facilitar la adopción responsable y efectiva de tecnologías avanzadas en sectores sensibles.

En conclusión, el artículo subraya la importancia de un enfoque proactivo y sistemático en la gestión de la seguridad de los agentes de IA autónomos. Solo mediante la identificación temprana de riesgos, pruebas rigurosas y controles continuos en tiempo real, las organizaciones podrán aprovechar al máximo las ventajas de estas tecnologías sin poner en riesgo su integridad, privacidad o cumplimiento normativo. La seguridad, por tanto, debe ser una prioridad inseparable del desarrollo y despliegue de agentes de IA para asegurar que su impacto sea positivo y sostenible a largo plazo.

¿Se puede confiar en los agentes de IA?

Glikson, Ella Miron-Spektor y David De Cremer. 2025. “Can AI Agents Be Trusted?” Harvard Business Review, May 2025. https://hbr.org/2025/05/can-ai-agents-be-trusted

Los agentes personales de inteligencia artificial (IA) están emergiendo como una de las innovaciones más prometedoras y disruptivas en el campo de la IA. Estos sistemas autónomos, basados en modelos de lenguaje de gran escala (LLMs), están diseñados para actuar en nombre de los usuarios, automatizando tareas como la gestión de calendarios, la búsqueda y análisis de información, las compras, la selección de contenidos y la comunicación básica.

Su atractivo radica en su capacidad para razonar, tomar decisiones y aprender de la experiencia, con la posibilidad de optimizarse progresivamente. Empresas como Salesforce ya han implementado versiones de estos agentes en atención al cliente, y compañías líderes están ofreciendo prototipos de agentes personales a sus clientes y socios.

Sin embargo, su despliegue plantea cuestiones fundamentales:

  • ¿Podrán estos agentes actuar verdaderamente en nuestro interés?
  • ¿Serán leales únicamente a sus usuarios o también a sus desarrolladores, anunciantes y proveedores de servicios?
  • ¿Cómo podemos saberlo y confiar en ello?

La respuesta a estas preguntas determinará si los agentes personales de IA fortalecen o dañan las relaciones comerciales, el valor de marca y, sobre todo, la confianza del usuario.

¿Qué podría salir mal? Riesgos de los agentes personales de IA

Uno de los principales riesgos asociados a los agentes personales de inteligencia artificial es su vulnerabilidad ante el crimen. Al igual que un empleado desleal, estos agentes podrían ser hackeados o mal programados para actuar en contra de los intereses de su usuario, exponiéndolo a robos de identidad, fraudes financieros o filtraciones de datos. Pruebas de seguridad realizadas por el Instituto Nacional de Estándares y Tecnología de EE.UU. y por empresas privadas han demostrado que incluso los modelos más sofisticados pueden ser manipulados para ejecutar acciones maliciosas, como revelar contraseñas o enviar correos electrónicos fraudulentos.

Otro peligro importante es la manipulación comercial. Los agentes podrían estar sesgados a favor de productos o servicios promovidos por las empresas que los desarrollan o por sus socios comerciales. En el entorno digital actual ya es común encontrar publicidad encubierta o recomendaciones interesadas, por lo que no es difícil imaginar que estas prácticas se trasladen a los agentes personales, comprometiendo su objetividad y convirtiéndolos en instrumentos de marketing disfrazado de asesoramiento imparcial.

Un riesgo relacionado es la preferencia por anunciantes. En sectores como el entretenimiento, las noticias o las redes sociales, los agentes podrían priorizar contenidos patrocinados en lugar de ofrecer lo que realmente se ajusta a las preferencias del usuario. El modelo de negocio “gratuito” basado en publicidad ya ha demostrado sus limitaciones en medios tradicionales como la radio y la televisión, donde el contenido estaba condicionado por los intereses de los anunciantes. Un ejemplo actual es Spotify: su función de DJ automatizado promete recomendaciones personalizadas, pero permite a los artistas pagar por mayor visibilidad, aunque eso implique aceptar menores regalías. Esto puede influir en las recomendaciones de forma opaca y sin conocimiento del usuario.

La susceptibilidad a la desinformación es otra amenaza crítica. Al igual que los humanos, los agentes de IA pueden ser engañados por información falsa, manipulada o generada mediante técnicas como los “deepfakes”. Ya se han reportado casos en los que la IA ha ofrecido consejos incorrectos o incluso peligrosos, como ocurrió con un pasajero de Air Canada que recibió una falsa promesa de descuento generada por un sistema automatizado. Cuando las decisiones del agente se basan en datos erróneos, las consecuencias pueden ser graves e irreversibles.

¿Cómo construir confianza en los agentes personales de IA?

Evitar una supervisión excesiva que anule la utilidad de estos agentes exige soluciones combinadas de tipo jurídico, técnico y de mercado. Los expertos proponen tres enfoques clave para construir la confianza necesaria.

El primero consiste en tratarlos legalmente como fiduciarios. Así como abogados, asesores financieros o tutores están sujetos a obligaciones de lealtad, confidencialidad y diligencia, los agentes de IA deberían cumplir esos mismos estándares. Esto implicaría regularlos públicamente y establecer mecanismos claros de rendición de cuentas por conflictos de interés, uso indebido de datos o actuaciones negligentes. Algunos expertos sostienen que el marco legal actual ya permitiría aplicar esta figura, y que, de no ser así, existiría consenso político y empresarial para regularlo, dadas sus implicaciones.

El segundo enfoque apunta al impulso de mecanismos de control desde el mercado. El sector privado puede desarrollar seguros, auditorías y herramientas de vigilancia para proteger a los usuarios. Existen ya servicios que alertan sobre robo de identidad o permiten monitorear transacciones financieras; algo similar podría diseñarse para los agentes de IA. Incluso podrían establecerse “burós de crédito” de IA que supervisen su comportamiento y ajusten su nivel de autonomía según las preferencias del usuario. Las aseguradoras también podrían incentivar buenas prácticas ofreciendo coberturas frente a fallos o abusos.

La tercera estrategia es mantener la toma de decisiones a nivel local. Desde el punto de vista técnico, una medida efectiva sería garantizar que los datos sensibles y los procesos de decisión permanezcan en los dispositivos del usuario —como teléfonos, tabletas u ordenadores—, minimizando el riesgo de manipulación externa o robo. Apple ha dado pasos en esta dirección con una arquitectura que procesa la mayoría de la información localmente y, en caso de usar la nube, emplea servidores propios con cifrado, sin almacenar datos personales. Además, permite auditorías independientes de seguridad y privacidad. Otros fabricantes deberían adoptar modelos similares, combinando procesamiento local, cifrado y transparencia verificable. También es clave exigir la divulgación clara de patrocinadores, promociones y publicidad integrada en la actividad del agente.

En conclusión, la llegada de los agentes personales de IA promete transformar radicalmente la manera en que interactuamos con la tecnología, organizamos nuestras tareas cotidianas y tomamos decisiones. Sin embargo, el impacto positivo de esta revolución tecnológica dependerá en gran medida de la confianza que podamos depositar en dichos agentes. Esa confianza no surgirá de forma automática: deberá construirse sobre una base sólida que combine marcos legales apropiados, incentivos de mercado bien diseñados, soluciones técnicas transparentes y una voluntad firme de anteponer los intereses de los usuarios a los beneficios comerciales. Solo entonces podremos considerar que los agentes de IA actúan verdaderamente en nuestro nombre.

La investigación empresarial sobre fiabilidad y seguridad de la IA ignora los riesgos del mundo

«How Corporate AI Research on Reliability and Safety Ignores Real-World Risks» Asimov’s Addendum (Substack),

El informe advierte sobre serias carencias en la investigación sobre gobernanza y seguridad de la inteligencia artificial generativa, especialmente en su aplicación práctica. El análisis se basa en la revisión de 9.439 artículos publicados entre 2020 y 2025 por cinco de las principales corporaciones tecnológicas (OpenAI, Google DeepMind, Meta, Microsoft y Anthropic) y seis destacadas instituciones académicas de Estados Unidos.

Uno de los hallazgos más alarmantes es que menos del 5 % de los estudios realizados por empresas abordan los riesgos derivados del uso real de estos sistemas por parte de usuarios y empresas, dejando sin atención aspectos fundamentales como errores en los resultados, sesgos, desinformación, violaciones de derechos de autor y consecuencias sociales.

El informe subraya que los laboratorios corporativos están marcando la agenda global de investigación en IA, enfocándose en fases previas al despliegue, como el entrenamiento, alineamiento y pruebas de modelos, mientras descuidan el análisis de su comportamiento en entornos reales. Esto resulta especialmente problemático en sectores de alto riesgo como la salud, las finanzas, la educación, la publicidad y la política, donde los sistemas de IA pueden amplificar desigualdades, inducir errores graves o facilitar la manipulación. La falta de investigación también contrasta con el creciente número de litigios relacionados con daños causados por IA generativa, como casos de difamación, uso indebido de datos o generación de contenido engañoso.

Como respuesta, el informe propone medidas concretas para mejorar la transparencia y la supervisión de la IA. Estas incluyen el fortalecimiento de mecanismos de observación independientes, la apertura de datos de implementación para investigadores externos, la documentación de objetivos de entrenamiento y arquitecturas de modelos, así como la divulgación pública de fallos o riesgos potenciales. Además, se destaca la importancia de proteger a posibles denunciantes y facilitar la participación de las comunidades afectadas por estas tecnologías en los debates regulatorios y científicos.

Este informe se enmarca en un creciente movimiento internacional por una inteligencia artificial más ética y segura. Iniciativas como las de la organización Partnership on AI también han elaborado guías para promover un despliegue responsable de estos sistemas, y diversas instituciones académicas y medios como Time han alertado sobre la necesidad urgente de regular y auditar los usos cotidianos de la IA. En definitiva, el estudio del SSRC reitera que, sin una supervisión externa rigurosa y una investigación orientada al impacto real, los avances en IA podrían agravar problemas sociales existentes en lugar de resolverlos.

Una exdirectiva de Meta acusa a Zuckerberg de ofrecer datos de ciudadanos estadounidenses a China para operar en el país

Thomson, Iain. “Ex-Meta Exec Tells Senate Zuck Dangled US Citizen Data in Bid to Enter China.” The Register, 11 de abril de 2025. https://www.theregister.com/2025/04/11/meta_senate_china/?utm_source=flipboard&utm_content=other

El 9 de abril de 2025, Sarah Wynn-Williams, exdirectora de políticas públicas globales de Meta (antes Facebook), declaró ante el Subcomité del Senado de EE. UU. sobre Crimen y Contraterrorismo que Mark Zuckerberg estuvo dispuesto a ofrecer datos de ciudadanos estadounidenses a las autoridades chinas con tal de que Facebook pudiera operar en China. Según su testimonio, el proyecto secreto se llamaba Project Aldrin y estaba limitado a personal con necesidad de saber. Parte del plan incluía construir un cable submarino entre EE. UU. y Hong Kong, que fue desviado tras alertas de seguridad nacional.

Wynn-Williams acusó a Meta de ignorar advertencias sobre riesgos de seguridad y de haber mentido al público sobre sus vínculos con China. Afirmó también que Meta desarrolló herramientas de censura junto al Partido Comunista Chino y que la compañía sigue generando ingresos significativos de empresas chinas, aunque oficialmente no opera en el país.

Además, denunció que los modelos de IA de Meta (como LLaMA) han contribuido a avances en inteligencia artificial china, posiblemente con usos militares. Tras su salida de Meta, presentó denuncias ante la SEC y el Departamento de Justicia. Actualmente enfrenta una demanda por parte de Meta que intenta silenciarla.

Varios senadores, incluidos Josh Hawley, Dick Durbin y Richard Blumenthal, respaldaron su testimonio y criticaron a Meta por intentar frenar la audiencia. La compararon con tácticas pasadas de la industria del tabaco para ocultar daños al público. El Senado anunció planes para reforzar la protección de los denunciantes, también en el ámbito de la inteligencia artificial.

Wynn-Williams concluyó que «el pueblo estadounidense merece conocer la verdad» y que la colaboración de Meta con China durante su etapa en la empresa la dejó profundamente impactada.