为什么人工智能“杀开关”并非万能解决方案
近期涉及人工智能代理的网络安全事件,例如Hugging Face与OpenAI之间的事件,促使政策制定者开始思考:是否需要设置人工智能“紧急关闭开关”,以防止能力日益增强的系统造成重大且迫在眉睫的危害。但这一说法暗示了一种实际上并不存在的简单性。 “紧急关闭开关”的含义可能多种多样,从撤销智能体的权限,到暂停模型运行,再到禁用支撑服务的基础设施,不一而足。在政策制定者强制要求实施此类机制之前,他们应当提出一个更根本的问题:强制关闭的要求究竟能解决哪些风险,又可能会带来哪些新的风险?
例如:
- 应急保障措施可能包括范围和效果各不相同的多种机制。这些保障措施可能包括:阻止单个用户的访问、撤销代理的权限、暂停特定模型、服务或部署,或者禁用托管模型或提供服务的基础设施。 实施这些控制措施将结合技术、运营和管理机制。谁来控制保护措施的启动是一个需要单独考虑的问题,因为服务提供商可能独立行动,也可能响应政府命令,或者由其他方启动该机制。保护措施的设计方式以及哪个实体有权启动它,对安全性和服务连续性有着截然不同的影响。
- 紧急保护措施可能无法停止所有活动。例如,暂停某个模型并不意味着已经启动的已委派任务会自动停止。它可能无法禁用已下载并独立运行的该模型的副本。
- 紧急保障措施能否有效实施,关键在于时机。紧急干预要求先发现或预见到问题,并迅速采取行动以将危害降至最低。在许多情况下,如果没有其他风险管理措施,即使迅速启动保障措施,也可能造成危害。
- 引入紧急保障机制可能会带来新的风险。大范围的暂停措施可能会中断那些与引发该措施的活动毫无关联的用户的服务。 依赖受影响服务的企业可能会面临自身运营中断的情况。此外,构建远程禁用产品或服务的技术能力,可能会为恶意干扰开辟新的途径,或以其他方式损害安全性和韧性。随着模型和部署的演进,规定具体技术实现方式的政策干预措施可能变得不再适用,从而引入漏洞并阻碍产品与服务的演进。
- 紧急关停要求能否弥补现有网络安全控制措施中的漏洞。鉴于关停机制可能带来的运营和业务风险,考虑制定新要求的政策制定者应首先确定其旨在预防或缓解的具体危害,以及现有要求和做法在哪些方面存在不足。关于新要求的提案应评估相关成本以及可能带来的不成比例的风险。 政策制定者还应认识到,跨州或跨国界存在的相互冲突的义务会加剧这些挑战。如果相关要求产生域外影响,客户可能会对服务连续性产生担忧,而美国的产品和服务也可能因此失去信任并丧失竞争力。
- 应急保障措施应被视为人工智能风险管理综合策略的一部分。人工智能开发者、集成商和部署者应采取有效、相称且安全的控制措施,以应对人工智能模型和智能体可能出现的滥用及不安全行为。 中断或停用系统的能力可作为一项重要保障措施,但其有效性取决于配套的措施和控制手段,例如测试、访问限制、对人工智能代理权限的限制、持续监控以及事件响应和恢复计划。 现有风险管理框架和标准(如 NIST 人工智能风险管理框架和 ISO/IEC 42001)中概述了许多此类实践。仅凭关机功能的可用性,不足以评估系统的整体安全性。
应急保障措施在人工智能风险管理中可以发挥重要作用,而且在许多情况下,这些措施已被纳入现有的风险管理计划。但这只是更广泛策略的一部分。 在颁布独立的停机强制令之前,政策制定者应明确该措施将填补的空白,权衡其可能引发的新风险,并确定谁最适合采取行动。人工智能风险管理不能仅依赖一个开关;它需要实施多种措施和控制手段。