AI 安全⻛险评估和控制指南

我爱免费

作者：微信文章


0.1 ⼿册核⼼⽬标：

本⼿册旨在提供⼀个简洁、全⾯、结构化、可操作的 AI 安全⻛险评估和控制框架，帮助各相关⽅概要性的识别、理解、评估和缓解在 AI 系统（包括⼤模型、智能应⽤、智能体、⽆⼈机/机器⼈等具⾝智能）建设的全⽣命周期中可能出现的安全⻛险，并建⽴相应的治理、伦理、安全和合规体系，以及建⽴系统化的的 AI 安全控制过程。

0.2 通⽤阅读建议：

⼀级分类概览： 快速浏览六个⼀级分类的标题，对 AI 安全的整体⻛险领域有⼀个宏观认

识。

“概要说明”： 对于每个三级⻛险条⽬，“概要说明”部分提供了该⻛险的核⼼定义和潜在危害，是快速理解⻛险点的关键。

“相关者⻆⾊ (RACI)”： 帮助⽤户理解在特定⻛险点上，对于此问题的主要关注者，及其他团队/⻆⾊的责任和协作关系。

“控制措施”：是从管理机制、技术改进、架构设计等维度，预防和避免⻛险发⽣的参考建议，由于技术改进措施可能分为显性的安全功能设计与⾮功能性安全设计，为简化描述不做细分。

“验证措施”：是从评估者、设计者、验证者⻆度，检查验证当前设计是否存在⻛险缺陷，或控制机制是否有效的动作和措施，包括但不限于⽂档审阅、技术研制、渗透测试、抽样审计等等。

“参考⽂献”： 对于希望深⼊研究特定⻛险或控制措施的⽤户，可以查阅列出的参考⽂献。

0.3 针对不同⽤户的阅读指南及重点章节：

0.3.a. AI 模型训练⽅ (Model Trainers & Developers)

核⼼关注：

数据的质量与安全、模型的健壮性与⾏为可控性、训练过程的合规性。

重点阅读章节/条⽬：

1. 数据安全与隐私⻛险：

1.1 训练数据安全⻛险 (全部⼦项)： 这是模型训练的基础，数据污染、隐私泄露、来源合

规、偏⻅歧视都是核⼼关注点。

1.2.4 个⼈隐私泄露（通过⽣成内容）：理解模型可能如何“记忆”和泄露训练数据中的隐私。

1.4 RAG 相关数据⻛险 (全部⼦项)：如果模型涉及 RAG，知识库的安全⾄关重要。

2. 模型安全与鲁棒性⻛险：

2.1 模型窃取与泄露⻛险 (全部⼦项)： 保护核⼼模型资产。

2.2 模型完整性与篡改⻛险 (全部⼦项)：防⽌模型在训练后或部署前被恶意修改或植⼊后

⻔。

2.3 模型可⽤性与鲁棒性⻛险 (全部⼦项，特别是 2.3.1 对抗性攻击, 2.3.2 模型规避)： 确

保模型在⾯对恶意输⼊时的稳定性和可靠性。

2.4 模型⾏为⻛险 (全部⼦项)： 控制幻觉、偏⻅、漂移和过度⾃信问题。

5. AI 运⾏环境与基础设施安全⻛险：

5.3 计算环境安全⻛险 (特别是训练集群的安全)。

5.4 运⾏时依赖与库安全⻛险 (AI 框架漏洞、第三⽅库漏洞)。

6. AI 治理、伦理与合规⻛险：

6.1.2 AI 伦理与偏⻅放⼤。

6.1.3 模型可解释性不⾜。

6.2.3 知识产权侵权⻛险。

阅读建议：

深⼊理解“控制措施”和“验证措施”，将其融⼊到数据处理、模型设计、训练和评估的各个环节。

0.3.b. ⼤模型服务提供者 (Large Model Service Providers - e.g., Cloud

Platform and API Providers)

核⼼关注：

API 接⼝安全、多租户隔离、服务可⽤性、模型本⾝安全、合规性。

重点阅读章节/条⽬：

1. 数据安全与隐私⻛险：

1.2 输⼊/输出数据安全⻛险 (特别是 1.2.1 提示词注⼊, 1.2.2 敏感信息泄露, 1.2.3 输出内容

违规)。

1.3.1 数据泄露（存储/传输）（API ⽇志、⽤户数据存储）。

2. 模型安全与鲁棒性⻛险：

2.1.1 模型参数/架构泄露。

2.3.1 对抗性攻击/模型推理劫持。

2.3.3 模型拒绝服务。

2.4.1 AI 幻觉（影响服务质量）。

3. AI 应⽤与集成安全⻛险：

3.2.1 API 安全⻛险 (全部⼦项)： 这是核⼼。

3.3.3 多租户 AI 应⽤中的⾝份与权限隔离⻛险。

5. AI 运⾏环境与基础设施安全⻛险：

5.1.1 数据中⼼/服务器物理安全。

5.2 ⽹络环境安全⻛险 (全部⼦项，特别是 5.2.1 暴露⾯, 5.2.4DDoS, 5.2.6API ⽹关与 WAF)。

5.3 计算环境安全⻛险 (全部⼦项)。

5.5 资源管理与隔离⻛险（多租户环境）(全部⼦项)。

5.7 ⽇志与监控安全⻛险 (全部⼦项)。

6. AI 治理、伦理与合规⻛险：

6.1.1 缺乏明确的 AI 安全治理框架。

6.2 法律法规遵从⻛险 (全部⼦项)。

阅读建议：

重点关注 API 安全、基础设施安全、多租户隔离以及服务等级协议（SLA）相关的⻛险控制。

0.3.c. 智能应⽤开发者 (Intelligent Application Developers - Building apps on

top of models)

核⼼关注：

应⽤⾃⾝安全、与模型/服务集成的安全、⽤户数据保护、输出内容处理。

重点阅读章节/条⽬：

1. 数据安全与隐私⻛险：

1.2 输⼊/输出数据安全⻛险 (全部⼦项)： 如何安全处理⽤户输⼊和模型输出是核⼼。

1.3 数据存储与传输安全⻛险 (应⽤⾃⾝的数据存储和传输)。

1.4.3 不安全的知识库访问权限 (如果应⽤使⽤ RAG)。

3. AI 应⽤与集成安全⻛险：

3.1 AI 应⽤⾃⾝安全⻛险 (全部⼦项)： 传统应⽤安全⻛险依然存在。

3.2 AI 应⽤与外部组件/服务集成安全⻛险 (全部⼦项)： API 调⽤、插件集成、MCP 使⽤

等。

3.3 AI 应⽤⾝份与权限管理⻛险 (全部⼦项)： ⽤户认证授权、应⽤访问外部资源权限。

4. AI 智能体（Agent）与⾃主系统安全⻛险 (如果应⽤具备 Agent 特性)：

(参考下⼀⽤户类型的重点)

5. AI 运⾏环境与基础设施安全⻛险：

(关注应⽤部署环境相关的⻛险，如容器安全、运⾏时库安全)

6. AI 治理、伦理与合规⻛险：

6.2.3 知识产权侵权⻛险 (⽣成内容的版权)。

6.3.1 深度伪造与信息操纵 (如果应⽤有内容⽣成能⼒)。

阅读建议：

重点关注输⼊验证、输出处理、API 安全、权限管理以及如何安全地集成 AI 模型和服务。

0.3.d.机器⼈、⻋载、和具⾝智能开发者/提供者 (Robotics, In-Vehicle,

Embodied AI Developers/Providers)

核⼼关注：

物理安全、端侧/边缘计算安全、传感器数据安全、实时性、功能安全、与物理世界的交互

安全。

重点阅读章节/条⽬：

1. 数据安全与隐私⻛险：

1.2.5 端侧/边缘传感器数据投毒/篡改。

1.2.6 端侧/边缘环境中的隐私泄露。

1.3.3 端侧/边缘数据存储安全。

1.3.4 端-边-云通信劫持与窃听。

2. 模型安全与鲁棒性⻛险：

2.1.3 端侧/边缘模型物理提取。

2.2.3 端侧/边缘模型篡改。

2.3.4 端侧/边缘计算资源耗尽攻击。

2.3.5 针对端侧模型的物理对抗攻击。

3. AI 应⽤与集成安全⻛险：

3.2.5 端侧/边缘应⽤与系统接⼝不安全。

4. AI 智能体（Agent）与⾃主系统安全⻛险 (如果系统具备⾼级⾃主性)：

(与下⼀⽤户类型有较多重叠，特别关注与物理世界交互相关的 Agent ⻛险)

4.4.6 端侧/边缘 Agent 的物理操纵与⼲扰。

5. AI 运⾏环境与基础设施安全⻛险：

5.1.2 边缘节点物理安全。

5.1.3 端侧设备物理安全。

5.2.4 端-边-云通信链路安全。

5.3.4 端侧/边缘操作系统与固件安全。

5.6 供应链安全⻛险（与运⾏环境强相关部分）(全部⼦项，硬件供应链尤为重要)。

6. AI 治理、伦理与合规⻛险：

6.1.4 端侧/边缘数据收集的透明度与告知同意。

(关注与物理安全、⼈⾝安全相关的伦理和法规)

阅读建议：

极其关注物理安全、端侧/边缘特有的⻛险、传感器安全、通信安全以及与功能安全(Safety)的交叉点。

0.3.e. Agent 智能体应⽤和 MCP 服务提供者/开发者 (AI Agent & MCP Service

Providers/Developers)

核⼼关注：

Agent ⾃⾝的安全性、⾃主性带来的⻛险、多 Agent 交互安全、MCP 协议安全、⽣态治理。

重点阅读章节/条⽬：

1. 数据安全与隐私⻛险：

1.2.1 提示词注⼊/恶意利⽤ (Agent 作为提示词的执⾏者)。

1.4 RAG 相关数据⻛险 (Agent 可能严重依赖 RAG)。

2. 模型安全与鲁棒性⻛险：

(Agent 依赖的 LLM 模型的安全性)

3. AI 应⽤与集成安全⻛险：

3.2.2 不安全的插件/⼯具集成 (Agent 的核⼼能⼒)。

3.2.3 过度代理权/不安全的函数调⽤ (Agent 的核⼼⻛险)。

3.2.4 模型上下⽂协议（MCP）⻛险 (如果是 MCP 服务提供者或使⽤者)。

3.3 AI 应⽤⾝份与权限管理⻛险 (Agent 的⾝份和权限管理)。

4. AI 智能体（Agent）与⾃主系统安全⻛险 (全部⼦项)：这是该⽤户类型的核⼼关注章节。

5. AI 运⾏环境与基础设施安全⻛险：

(关注 Agent 运⾏环境，特别是如果提供 Agent 平台服务)

6. AI 治理、伦理与合规⻛险：

6.1.1 缺乏明确的 AI 安全治理框架 (针对 Agent ⽣态)。

6.3 恶意利⽤与社会影响⻛险 (Agent 可能被⽤于恶意⽬的)。

6.5 Agent 及 MCP 应⽤⽣态市场治理 (全部⼦项)： 核⼼关注点。

阅读建议：

深⼊理解 Agent 的⾃主性、权限、内存、⼯具调⽤、通信等⽅⾯的特有⻛险，以及 MCP 协议的安全考量和⽣态治理的重要性。特别关注 OWASP Agentic AI 的威胁分类。

这份阅读指南旨在为不同⻆⾊的⽤户提供⼀个快速切⼊点，帮助他们更有效地利⽤这份详

尽的 AI 安全⻛险评估⼿册。实际使⽤中，⽤户仍可根据⾃⾝具体需求和关注点，灵活查阅⼿册的各个部分。
免责声明：以上报告均系通过公开、合法渠道获得，版权归原撰写/发布机构所有，如涉侵权， 请联系及时删除；内容为推荐阅读仅供参考学习，如对内容存疑请与原撰写/发布机构联系。

戳“阅读原文”下载148页完整文档或公众号聊天页获取交流群获取文件。