PCMag UK. (2026, 12 de octubre). Microsoft CEO Satya Nadella calls for an AI ‘emergency brake’. PCMag UK. Leer el artículo original
El director ejecutivo de Microsoft, Satya Nadella, ha planteado la necesidad de establecer mecanismos de seguridad que permitan detener inmediatamente un sistema de inteligencia artificial cuando su comportamiento resulte inesperado o potencialmente peligroso.
Su propuesta, descrita como un «freno de emergencia» (emergency brake), parte de una idea fundamental: las organizaciones no deberían confiar ciegamente en los modelos de IA más avanzados, especialmente cuando disponen de autonomía para ejecutar tareas, acceder a información sensible o interactuar con sistemas externos. En una publicación difundida el 10 de octubre de 2026, Nadella defendió que los modelos deben tratarse como sistemas que podrían estar comprometidos y que, por tanto, necesitan medidas de contención desde el momento en que se diseñan e implantan.
La propuesta adquiere especial importancia con el desarrollo de los llamados agentes de inteligencia artificial. A diferencia de los asistentes que se limitan a responder preguntas, estos sistemas pueden planificar acciones, utilizar herramientas, consultar documentos, escribir código y ejecutar secuencias de tareas con una intervención humana limitada. Esa capacidad amplía sus posibilidades de aplicación, pero también aumenta los riesgos: una instrucción mal interpretada, una vulnerabilidad de seguridad o una acción no prevista pueden tener consecuencias más allá de una respuesta incorrecta. Por eso, Nadella considera que la seguridad no debe depender exclusivamente de que el modelo se comporte correctamente, sino de una arquitectura externa que limite sus permisos y permita intervenir cuando sea necesario.
Uno de los puntos centrales de la propuesta es separar el modelo de IA de los sistemas que coordinan sus acciones y de los permisos que determinan qué puede hacer. En la práctica, esto significa que un agente no debería tener acceso ilimitado a archivos, bases de datos, aplicaciones o servicios críticos. Las salvaguardas deben estar fuera del propio modelo, de manera que este no pueda eludirlas simplemente porque genere una respuesta inesperada. Nadella también defiende que las acciones relevantes de los sistemas queden registradas mediante evidencias legibles y resistentes a manipulaciones, para que las organizaciones puedan reconstruir qué ocurrió, qué información se utilizó y qué decisiones se tomaron.
La propuesta también plantea una cuestión de gobernanza: ¿quién controla el freno de emergencia y bajo qué condiciones puede utilizarlo? En una empresa, esa responsabilidad podría recaer en personal autorizado de seguridad o en los administradores del sistema. En infraestructuras críticas, servicios públicos o entornos sanitarios, serían necesarios protocolos más estrictos, registros auditables y procedimientos de respuesta previamente definidos. Además, los controles deben ser técnicamente efectivos: no basta con que una organización declare que puede detener una IA si el sistema conserva permisos, conexiones o procesos capaces de continuar actuando al margen de la intervención humana.
