Zhan, Xiao; Carrillo, Juan-Carlos; Seymour, William; y Such, José. 2025. “Malicious LLM-Based Conversational AI Makes Users Reveal Personal Information.” En Proceedings of the 34th USENIX Security Symposium, USENIX Association.

Texto completo

Un estudio reciente de King’s College London ha puesto de relieve la vulnerabilidad de los chatbots de inteligencia artificial (IA) con apariencia conversacional humana, utilizados por millones de personas en su vida diaria. La investigación demuestra que estos sistemas pueden ser manipulados con relativa facilidad para conseguir que los usuarios revelen mucha más información personal de la que compartirían en un contexto habitual.

Los resultados son especialmente llamativos: cuando los chatbots son diseñados o modificados con intenciones maliciosas, los usuarios llegan a proporcionar hasta 12,5 veces más datos privados que en interacciones normales. Este incremento se logra mediante la combinación de técnicas de ingeniería de prompts —instrucciones específicas que orientan el comportamiento del modelo— y estrategias psicológicas bien conocidas, como la creación de confianza, la apelación emocional o el uso de preguntas aparentemente inocentes que llevan a respuestas más profundas de lo esperado.

El estudio recalca además que no es necesario poseer una alta especialización técnica para lograr esta manipulación. Dado que muchas compañías permiten el acceso a los modelos base que sustentan a sus chatbots, cualquier persona con conocimientos mínimos puede ajustar parámetros y configuraciones para orientar la conversación hacia la obtención de datos sensibles, lo que multiplica el riesgo de un uso indebido.

Las implicaciones son serias. El trabajo de King’s College London alerta sobre la fragilidad de la privacidad en entornos digitales donde la interacción con chatbots se percibe como inofensiva y rutinaria. En contextos como la atención al cliente, el asesoramiento médico o financiero, o incluso el acompañamiento emocional, la posibilidad de que un chatbot manipulado extraiga información confidencial plantea amenazas directas a la seguridad de las personas y a la protección de sus datos.

Ante este escenario, los investigadores subrayan la urgente necesidad de reforzar las medidas de seguridad y protección de datos en los sistemas de IA conversacional. Proponen, entre otras acciones:

• Desarrollar protocolos de verificación más estrictos sobre el acceso y modificación de modelos base.
• Implementar mecanismos de detección de manipulación en los propios chatbots.
• Fomentar la educación digital de los usuarios, para que reconozcan patrones de conversación sospechosos.
• Establecer regulaciones claras y exigentes que limiten el mal uso de estos sistemas.

En definitiva, el estudio concluye que, aunque los chatbots de IA tienen un enorme potencial para mejorar la interacción humano-máquina, su diseño y despliegue deben ir acompañados de fuertes garantías éticas y técnicas, de lo contrario podrían convertirse en herramientas de explotación de la privacidad a gran escala.