AI-SPM会成为安全采用AI的标准安全层吗?

新闻

作者：微信文章
人工智能的安全态势管理如何防止模型中毒、过度代理、越狱和其他 LLM 风险。

AI 安全态势管理 (AI-SPM) 是一个相对较新的安全层，可以帮助组织识别并降低与使用 AI（尤其是大型语言模型）相关的风险。它能够持续发现、评估并修复组织整个 AI 覆盖范围内的安全和合规风险。

通过使不透明的 AI 交互变得透明且易于管理，AI-SPM 使企业能够充满信心地进行创新，因为他们知道他们的 AI 系统是安全的、受管理的并且符合政策。



AI-SPM 是安全采用 AI 的关键

为了确保安全可靠地采用 AI，AI-SPM 的功能类似于安全堆栈，可以检查和控制相关流量，以防止未经授权的访问、不安全的输出和策略违规。它能够清晰地洞察整个企业的模型、代理和 AI 活动；进行实时安全性和合规性检查，以确保 AI 的使用在设定的限度内，并遵循 OWASP、NIST 和 MITRE 等公认的框架。最终，我们将看到 AI-SPM 集成到现有的安全控制中，旨在更好地检测和响应与 AI 相关的操作和事件。

使用 AI-SPM 将 OWASP 中 LLM 面临的主要风险映射到实际防御措施

开源非营利组织OWASP发布了一份由 LLM 应用程序带来的威胁清单，其中包括与生成式 AI 相关的风险。这些威胁包括即时注入、数据泄露、代理滥用和错误配置。AI 安全态势管理提供了具体、实用的防御措施，将这些复杂的风险转化为可执行的保护措施。让我们来看看 AI-SPM 如何应对 LLM 的关键安全风险：

即时注入和越狱：恶意输入可以操纵 LLM 行为，绕过安全协议并导致模型生成有害或未经授权的输出。

AI-SPM 旨在检测注入尝试、清理风险输入，并阻止任何不安全的内容到达用户或外部平台。本质上，它可以防止越狱，并确保模型在定义的安全边界内运行。对于开发者来说，AI-SPM 可以监控代码助手和 IDE 插件，以检测不安全的提示和未经授权的输出，从而确保 AI 工具的安全使用。

敏感数据泄露： LLM 可能会通过其输出泄露个人、财务或专有数据，从而导致隐私侵犯和知识产权损失。

AI-SPM 通过在传输前阻止或匿名化输入，防止敏感数据与公共模型共享（或用于外部模型训练）。它隔离不同的 AI 应用方案，并根据用户身份、使用情境和模型能力强制执行规则。

数据和模型中毒：操纵训练数据以嵌入漏洞、偏见或后门，从而损害模型完整性、性能和下游系统安全。

通过持续监控 AI 资产，AI-SPM 有助于确保在模型开发过程中仅使用可信数据源。运行时安全测试和红队演习可以检测恶意数据导致的漏洞。该系统主动识别异常的模型行为，例如有偏差、有害或被操纵的输出，并在生产发布之前提出修复建议。

过度代理：自主代理和插件可以执行未经授权的操作、提升权限或与敏感系统交互。

AI-SPM 可对代理工作流程进行分类，并对其操作和推理路径实施详细的运行时控制。它锁定敏感 API 的访问权限，并确保代理遵循最低权限原则运行。对于自主开发的代理，它通过提供实时可见性和主动治理功能，增加了一层额外的保护，有助于及早发现滥用行为，同时仍支持更复杂、更动态的工作流程。

供应链和模型来源风险：第三方模型或组件可能会将漏洞、中毒数据或合规性差距引入 AI 管道。

AI-SPM 集中管理 AI 模型及其版本历史记录。内置扫描工具可检查常见问题，例如错误配置或存在风险的依赖关系。如果模型不符合某些准则，例如合规性或验证标准，则会在投入生产之前被标记。

系统提示泄露：暴露提示中嵌入的敏感数据或逻辑，使攻击者能够绕过控制并利用应用程序行为。

AI-SPM 持续检查系统请求和用户输入，以便在危险模式导致安全问题（例如试图删除或更改内置指令）之前发现它们。它还能够防御提示注入和越狱攻击，这些攻击是访问或更改系统级命令的常见方式。通过查找未经批准的 AI 工具和服务，它可以阻止使用可能泄露系统提示的不安全或设置不当的 LLM。这降低了通过不受控制的环境泄露敏感信息的风险。


即时注入/越狱是指通过精心设计的输入来滥用模型。攻击者甚至普通用户都会输入一些恶意内容，导致模型出现非预期的行为。

系统提示泄漏是指暴露或改变指导模型行为的模型内部指令（系统提示）。

影子人工智能：看不见的风险

影子人工智能 (Shadow AI)开始受到越来越多的关注，这是有原因的。与影子 IT 类似，员工在未经授权的情况下使用公共 AI 工具。这可能意味着上传敏感数据或规避治理规则，而他们往往没有意识到其中的风险。问题不仅在于工具本身，还在于缺乏对工具使用方式和地点的可见性。

AI-SPM 应该致力于识别网络中所有正在运行的 AI 工具（无论是否得到官方批准），

终端、云平台和开发环境，映射数据在它们之间的移动方式，这通常是了解暴露风险时缺失的部分。在此基础上，它设置了防护措施，例如阻止有风险的上传、隔离未知代理、通过安全网关路由活动以及设置基于角色的审批。

端到端的人工智能交互可视性

如果组织缺乏对 AI 使用方式的了解，可能会阻碍检测和响应工作。AI-SPM 可帮助他们整合提示、响应和代理操作等关键数据，并将其发送到现有的 SIEM 和可观察性工具，使安全团队能够更轻松地对 AI 相关事件进行分类并进行取证分析。

人工智能的快速发展速度远超以往任何技术浪潮。它带来了新的威胁，并扩大了旧工具无法管理的攻击面。AI-SPM 旨在保护这一新领域，使人工智能成为一项显而易见的资产，而非隐形风险。无论是作为SASE等融合平台的一部分，还是单独部署，AI-SPM 都是实现安全、可扩展且合规的人工智能应用的关键工具。