第1部分说明,AI法律和框架表面上看起来零散,但始终回到相同的安全主题。这些主题可归结为两个技术风险。
第一个是盗窃:因未经授权的访问或数据外泄而丢失AI资产。第二个是篡改:因未经授权的数据引入、投毒或修改而丧失模型完整性。
各项法规的措辞并不完全相同,但足够一致,安全负责人可以围绕这两个风险进行规划。
风险1:模型盗窃与数据外泄
模型权重是使模型运转的已学习参数。它们可能代表多年的研究和巨额的算力投入。一旦失去对它们的控制,竞争对手或攻击者就能不花分文获得这一产品。
对于大型前沿开发者而言,保护权重已不再只是良好实践。California SB 53、纽约RAISE Act和伊利诺伊AISMA都涉及保护未发布模型权重免遇未经授权修改或转移的网络安全措施。NIST AI RMF也将防止对模型、训练数据和知识产权的未经授权访问和数据外泄,列为AI安全与韧性的一部分。
这些法律涵盖“内部或外部各方”进行的转移或修改,因此拥有长期访问权限的内部人员,以及看起来像内部人员的被入侵账户,都在适用范围内。
应对方法:
- 了解模型权重和相关AI制品存放在哪里。
- 了解哪些用户、服务账户和特权身份可以访问它们。
- 移除过度或陈旧的访问权限。
- 将特权访问限制在所需的最短时间窗口内。
- 通过端点和其他渠道检测并阻止未经授权的传输。
- 保留调查和报告事件所需的证据。
风险2:模型与数据投毒
投毒比盗窃更隐蔽,因为没有任何东西离开大楼。攻击者、恶意内部人员或被入侵的身份会篡改训练数据、模型检查点、配置文件或其他制品,使系统的行为偏离预期。
其结果可能从细微的偏差到在特定输入下触发的隐藏后门不等。而且由于模型看起来仍在正常运行,投毒可能长期不被发现。
监管机构已经注意到这一点。欧盟《人工智能法案》在针对高风险AI系统的网络安全韧性要求中明确提到了数据投毒和模型投毒。OWASP和MITRE ATLAS也都将投毒和模型操纵列为具体的AI攻击技术。
应对方法:
- 限制对训练数据集和模型存储库的写入访问。
- 限制并监控可以更改AI资产的特权身份。
- 检测对模型文件、检查点、数据及相关配置的未经授权更改。
- 保留审计历史,以便团队确定更改了什么、何时更改以及由谁更改。
- 在出现异常更改或访问模式时迅速响应。
为什么这两个风险应放在一起考虑
数据外泄主要是机密性问题,而投毒主要是完整性问题,因此它们往往由不同的团队和不同的工具负责。
把两份“应对方法”清单并排放在一起,就会发现两者出现了相同的基础要素,只是各自发挥不同的作用:
基础要素 | 如何防止盗窃 | 如何防止篡改 |
|---|---|---|
|
了解AI资产和数据的存放位置 |
找出存放着值得窃取的模型权重的存储库 |
找出需要完整性基线的数据集和检查点 |
|
控制谁可以读取或写入它们 |
限制谁可以打开和复制模型文件 |
限制谁可以写入训练数据和模型存储库 |
|
限制长期特权访问 |
减少可能将权重转移出网络的常开账户 |
减少可能悄悄篡改流水线的常开账户 |
|
控制进出的数据 |
阻止权重和知识产权通过USB、云上传或电子邮件外流 |
阻止未经审核的文件进入训练工作流 |
|
检测未经授权的更改 |
辅助作用:有助于发现模型文件周围的可疑活动 |
对照已知的良好状态,发现被修改的数据、检查点和配置 |
|
保留审计追踪 |
显示谁访问或移动了哪些文件,以及何时发生 |
显示更改了什么、何时更改以及由谁更改 |
这两个风险都依赖于身份、访问、数据可见性和监控,因此一套强大的安全基础可以同时应对。
这一基础还有一个重要含义。如果AI安全归根结底是身份和数据安全,那么您的身份和数据环境中已经存在的弱点,也会成为AI的弱点。这正是第3部分要讨论的内容。
系列的下一篇: 第3部分,AI如何放大您已有的安全弱点。
分享到
了解更多
关于作者
Istvan Molnar
IT 安全合规专家与产品市场经理
Istvan Molnar 是 Netwrix 的资深 IT 安全合规专家和产品市场经理,拥有十多年在国际标准、法规和网络安全框架方面的专业经验。他专注于连接复杂的合规要求与 Netwrix 产品组合之间的差距,为合规驱动的举措和市场进入策略提供战略指导、有吸引力的内容以及支持。