AI数据安全:保护用于训练和操作AI系统的数据的最佳实践

多客科技

作者：微信文章
AI数据安全

保护用于训练和操作AI系统的数据的最佳实践

摘要

本网络安全信息表 （CSI） 为保护人工智能 （AI） 和机器学习 （ML） 系统中使用的数据提供了基本指导。它还强调了数据安全在确保 AI 结果的准确性和完整性方面的重要性，并概述了在 AI 开发和部署的各个阶段数据完整性问题带来的潜在风险。

此 CSI 简要概述了 AI 系统生命周期和一般最佳实践，以保护基于 AI 的系统在开发、测试和作期间使用的数据。这些最佳实践包括整合数据加密、数字签名、数据来源跟踪、安全存储和信任基础设施等技术。该 CSI 还深入研究了 AI 系统中数据安全风险的三个重要领域：数据供应链、恶意修改（“中毒”）数据和数据漂移。每个部分都提供了风险的详细说明以及缓解这些风险的相应最佳实践。

本指南主要适用于在运营中使用 AI 系统的组织，重点是保护敏感、专有或任务关键型数据。本信息表中概述的原则为保护AI 数据和确保 AI 驱动结果的可靠性和准确性提供了坚实的基础。

本文件由国家安全局人工智能安全中心 （AISC）、网络安全和基础设施安全局 （CISA）、联邦调查局 （FBI）、澳大利亚信号局澳大利亚网络安全中心 （ASD） ACSC、新西兰政府通信安全局国家网络安全中心 （NCSC-NZ） 和英国国家网络安全中心 （NCSC-UK） 撰写。

此信息标记为 TLP：CLEAR。TLP：CLEAR 信息可以不受限制地分发。有关 Traffic Light 协议的更多信息，请参阅cisa.gov/tlp/。



本指南的目标是：

提高对 AI 系统开发、测试和部署中与数据安全相关的潜在风险的认识;

提供在 AI 生命周期的各个阶段保护AI 数据的指导和最佳实践，并深入描述上述三个重要的数据安全风险领域;和

通过促进采用强大的数据安全措施并鼓励主动的风险缓解策略，为 AI 系统中的数据安全奠定坚实的基础。

介绍

AI1 系统的开发、测试和运行过程中使用的数据资源是 AI[1]供应链的关键组成部分;因此，必须保护数据资源。在其数据管理词典中，[1] 情报界 （IC） 将数据安全定义为“保护数据资源免遭未经授权的发现、访问、使用、修改和/或销毁的能力......数据安全是数据保护的一个组成部分。

数据安全在 AI系统的开发和部署中至关重要。因此，它是为保护和管理基于 AI 的系统的整体安全性而制定的策略的关键组成部分。成功的数据管理策略必须确保数据在整个 AI 系统生命周期的任何时候都未被篡改;没有恶意、不需要和未经授权的内容;并且没有无意的重复或异常信息。请注意，AI 数据安全取决于对设计、开发、部署、作和维护 AI 系统以及支持这些系统的 ML 模型使用的所有数据集的强大、基本的网络安全保护。
受众和范围

此 CSI 概述了 AI 系统中由 AI 部署不同阶段出现的数据安全问题引起的潜在风险，并介绍了缓解这些风险的推荐协议。本指南建立在 NSA 关于安全部署 AI 系统的联合指南[2]  的基础上，并更深入地探讨了如何保护用于训练和作基于 AI 的系统的数据。本指南主要针对在日常运营中使用 AI 系统的组织制定，包括国防工业基地 （DIB）、国家安全系统 （NSS） 所有者、联邦文职行政部门 （FCEB） 机构以及关键基础设施所有者和运营商。

实施这些缓解措施有助于保护支持 AI 的系统，并保护专有、敏感和/或任务关键型数据。

在整个 AI 系统生命周期中保护数据

数据安全是跨越AI 系统生命周期所有阶段的关键推动因素。ML 模型从数据中学习其决策逻辑，因此可以纵数据的攻击者也可以纵基于 AI 的系统的逻辑。在人工智能风险管理框架（RMF）[3]中，国家标准与技术研究院（NIST）定义了人工智能系统生命周期的六个主要阶段，从规划和设计开始，一直发展到作和监控。下表突出显示了 AI 生命周期每个阶段的相关数据安全因素：

表 1：人工智能系统生命周期，包括关键维度、必要的持续评估、数据安全的重点领域以及本 CSI 涵盖的特定数据安全风险。 [3]

AI 生命周期阶段	关键维度	测试、评估、验证和确认 （TEVV）	数据安全的潜在重点领域	本 CSI 涵盖的特定数据安全风险
1）规划与设计	应用程序上下文	审计和影响评估	从一开始就纳入数据安全措施，设计强大的安全协议、威胁建模，并通过设计来考虑隐私	数据供应链
2） 收集和处理数据	数据 & 输入	内部和外部验证	确保数据完整性、真实性、加密、访问控制、数据最小化、匿名化和安全数据传输	数据供应链，恶意修改数据
3） 构建和使用模型	AI 模型	模型测试	保护数据不被篡改，确保数据质量和隐私（包括在适当和可能的情况下进行差分隐私和安全多方计算），保护模型训练和作环境	数据供应链，恶意修改数据
4） 验证和确认	AI 模型	模型测试	在适当和可能的情况下执行全面的安全测试、识别和降低风险、验证数据完整性、对抗性测试和形式验证	数据供应链，恶意修改数据
5） 部署和使用	任务和产出	集成、一致性测试、验证	实施严格的访问控制、零信任基础设施、安全的数据传输和存储、安全的 API 端点以及异常行为监控	数据供应链、恶意修改数据、数据漂移
6）操作和监控	应用程序上下文	审计和影响评估	进行持续的风险评估、监控数据泄露、安全删除数据、遵守法规、事件响应计划和定期安全审计	数据供应链、恶意修改数据、数据漂移

在整个 AI 系统生命周期中，保护数据对于维护信息完整性和系统可靠性至关重要。从初始的规划和设计阶段开始，仔细规划数据保护措施，以提供潜在风险的主动缓解。在收集和处理数据阶段，必须仔细分析、标记、净化数据，并防止泄露和篡改。在构建和使用模型阶段保护数据有助于确保模型在可靠来源、准确和代表性的信息上进行训练。在验证和验证阶段，对AI模型进行全面彻底的测试，这些模型源自训练数据，可以识别安全漏洞并实现其缓解。

请注意，每次将新数据或用户反馈引入模型时，都需要进行验证和确认;因此，这些数据也需要按照与AI训练数据相同的安全标准进行处理。实施严格的访问控制可以保护数据免受未经授权的访问，尤其是在部署和使用阶段。最后，在作和监控阶段进行持续的数据风险评估对于适应不断变化的威胁是必要的。忽视这些做法可能会导致数据损坏、模型泄露、数据泄露和不合规，这凸显了强大数据安全性在每个阶段的至关重要性。

保护基于 AI 的系统数据的最佳实践

以下列表包含系统所有者可以采取的推荐实用步骤，以更好地保护用于构建和运行基于 AI 的系统的数据，无论是在本地还是在云中运行。有关一般网络安全最佳实践的更多详细信息，另请参阅 NIST SP 800-53，“信息系统和组织的安全和隐私控制”。 [33]
1.   获取可靠数据并跟踪数据来源

Verify 数据源使用可信、可靠和准确的数据来训练和作 AI 系统。尽可能仅使用来自权威来源的数据。实施来源跟踪以启用数据来源的跟踪，并记录数据通过 AI 系统所遵循的路径。 [7] [8] [9] 合并一个安全的来源数据库，该数据库经过加密签名，并维护一个不可变的、仅附加的数据更改分类账。这有助于跟踪数据来源，帮助识别恶意修改数据的来源，并有助于确保没有单个实体可以无法检测到地纵数据。
2.   在存储和传输过程中验证和维护数据完整性

维护数据完整性[2]是保持 AI 数据的准确性、可靠性和可信度的重要组成部分。 [4] 使用校验和和加密哈希来验证数据在存储或传输过程中是否未被更改或篡改。为 AI 数据集生成此类唯一代码可以检测未经授权的更改或损坏，从而保护信息的真实性。
3.   使用数字签名来验证受信任的数据修订

数字签名有助于确保数据完整性并防止第三方篡改。采用抗量子数字签名标准[5] [6] 来验证和验证 AI 模型训练、微调、对齐、从人类反馈进行强化学习 （RLHF） 和/或其他影响模型参数的训练后过程中使用的数据集。数据的原始版本应进行加密签名，并且任何后续数据修订都应由进行更改的人员签名。

建议组织使用受信任的证书颁发机构来验证此过程。
4.   利用可信的基础设施

使用利用Zero Trust 架构的可信计算环境。 [10]为数据处理提供安全区域，并在计算过程中保护敏感信息且不被更改。这种方法通过隔离敏感作和降低篡改风险，为 AI 数据工作流中的数据隐私和安全奠定了安全的基础。可信计算基础设施支持数据流程的完整性，降低与未经验证或更改的数据相关的风险，并最终创建一个更强大、更透明的 AI 生态系统。可信环境对于 AI 应用程序至关重要，因为数据准确性直接影响其决策过程。
5.   对数据进行分类并使用访问控制

使用基于敏感度和所需保护措施的分类系统对数据进行分类。[11] 此过程使组织能够对不同的数据类型应用适当的安全控制。对数据进行分类可以实施强大的保护措施，例如严格的加密和访问控制。 [33] 一般来说，AI 系统的输出应与输入数据归类为同一级别（而不是创建一组单独的护栏）。
6.   加密数据

采用与组织数据保护级别成比例的高级加密协议。这包括保护静态、传输中和处理过程中的数据。AES-256 加密是事实上的行业标准，被认为可以抵抗量子计算威胁。 [12] [13][13] 对传输中的数据使用协议，例如带有 AES-256 或后量子加密的 TLS。请参阅 NIST SP 800-52r2，“传输层安全性 （TLS） 实施的选择、配置和使用指南”
7.   安全地存储数据

将数据存储在符合NIST FIPS 140-3 [15]  标准的认证存储设备中，确保用于加密数据的加密模块提供高级安全性，防止高级入侵尝试。请注意，安全级别 3（在 NIST FIPS 140-2 [16]中定义）提供强大的数据保护;但是，请根据组织需求和风险评估评估并确定适当的安全级别。
8.   利用隐私保护技术

有几种隐私保护技术 [17] 可用于提高数据安全性。请注意，由于计算成本，它们的实现可能存在实际限制。

·数据去个性化技术 （例如，数据掩码 [18]）涉及用不真实但真实的信息替换敏感数据，以维护 整个数据集中的值分布。这使 AI 系统能够在不暴露敏感信息的情况下利用数据集，减少数据泄露的影响，并支持安全的数据共享和协作。如果可能，请使用数据掩码来促进 AI 模型的训练和开发，而不会泄露敏感信息（例如个人身份信息 [PII]）。

·差分隐私是一个框架，它提供数学保证来量化数据集或查询的隐私级别。它需要针对添加到数据中的噪声级别预先指定的隐私预算，但在保护训练数据免受成员推理技术和目标任务准确性之间需要权衡。有关详细信息，请参阅 [17]。

·去中心化学习技术 （例如联邦学习 [19]）允许在多个本地数据集上进行 AI 系统训练，并在本地实例之间有限地共享数据。聚合器模型合并了分布式模型的结果，从而限制了对本地实例的访问，以访问更大的训练数据集。建议将安全的多方计算用于训练和推理过程。
9.   安全地删除数据

在重新利用或停用用于 AI 数据存储和处理的任何功能驱动器之前，请使用安全删除方法（如加密擦除、块擦除或数据覆盖）擦除它们。有关适当删除方法的指导，请参阅 NIST SP 800-88，“介质清理指南”[20]。
10.      进行持续的数据安全风险评估

使用行业标准框架进行持续的风险评估，例如 NIST SP 800-3r2、风险管理框架 （RMF） [4] [21]和 NIST AI 100-1、人工智能 RMF [3]。这些评估应评估AI 数据安全形势，识别风险，并确定行动的优先级，以最大限度地减少安全事件。

不断改进数据安全措施，以跟上不断变化的威胁和漏洞，从安全事件中学习，跟上新兴技术，并保持强大的安全态势。

数据供应链 – 风险和缓解措施

相关的AI生命周期阶段：1）规划与设计;2） 收集和处理数据;3） 构建和使用模型;4） 验证和确认;5） 部署和使用;6）作和监控

开发和部署安全可靠的 AI 系统需要了解潜在风险以及将不准确或恶意修改（又名“中毒”）数据引入系统的方法。简而言之，AI 系统的安全性取决于对训练数据的全面验证以及检测和防止引入不准确材料的主动措施。

威胁可能来自第三方收集和策划的大规模数据，以及摄取后未得到充分保护的数据。由第三方收集和/或策划的数据可能包含不准确的信息，可能是无意的，也可能是出于恶意的。不准确的材料不仅会损害使用该数据训练的模型，还会损害依赖受损模型作为基础的任何其他模型。

因此，验证构建AI 系统时使用的训练数据的完整性至关重要。使用第三方数据的组织必须采取适当的措施来确保：1） 数据在摄取时不会受到损害;2） 数据在整合到 AI 系统后不会受到损害。因此，数据管理者和数据使用者都应遵循上文详细介绍的数字签名、数据完整性和数据来源的最佳实践。
数据使用者面临的一般风险[3]

使用 Web 规模的数据库包括前面概述的所有风险，不能简单地假设这些数据集是干净、准确且没有恶意内容的。使用用于训练下游任务模型的 Web 抓取数据训练的第三方模型也可能影响模型的学习过程，并导致 AI 系统设计人员无意的行为。

从摄取数据以供AI 系统使用的那一刻起，数据获取者就必须保护数据免受内部威胁和恶意网络活动，以防止未经授权的修改。

缓解策略：

·数据集验证： 在摄取之前，使用者或策展人应尽可能验证要摄取的数据集是否不含恶意或不准确的材料。应解决检测到的任何异常情况，并且不应存储可疑数据。数据集验证过程应包括摄取时数据集的数字签名。

·内容凭据：使用内容凭据跟踪媒体和其他数据的来源。内容凭据是“以加密方式保护的元数据，允许创作者能够将有关他们自己或他们的创作过程的信息，或两者兼而有之，直接添加到媒体内容中......内容凭据将基本元数据安全地绑定到媒体文件，该媒体文件可以跟踪其来源、所做的任何编辑和/或用于创建或修改内容的内容。仅凭这些元数据并不能让消费者确定一段内容是否'真实'，而是提供有助于确定 内容真实性的上下文信息。[24]

·基础模型保证： 如果使用者提取的不是数据集，而是另一方训练的基础模型，则基础模型的开发人员需要能够就所使用的数据和来源提供保证，并证明其训练数据不包含任何已知的受损数据。注意跟踪各种模型沿袭中使用的训练数据。在使用没有此类保证的模型之前，请谨慎行事。

·需要认证： 数据使用者应强烈考虑要求数据集和模型提供商提供正式认证，证明其系统在使用第三方数据和/或基础模型之前没有已知的受损数据。

·安全存储： 摄取后，数据需要存储在数据库中，该数据库应符合上文详细描述的数字签名、数据完整性和数据来源的最佳实践。请注意，在可行的情况下，应使用仅附加加密签名的数据库，但可能需要删除不再相关的旧材料。每次以非临时方式更新数据元素（例如，调整大小、裁剪、翻转等）以进行扩充时，更新的数据应存储为新条目，并记录更改。在访问数据库进行训练运行时，应验证数据库的证书。如果数据库未通过证书检查，请中止训练并执行全面的数据库审核以发现任何数据修改。

2023 年，由各种行业专业人士进行的调查探讨了将恶意或不准确材料引入 Web 规模数据集的低资源方法，以及降低这种风险的潜在策略。 [29] 这些漏洞取决于策展人或收藏家无法控制数据的事实，如第三方策展的数据集（例如 LAION）或不断更新和发布的数据集（例如维基百科）的情况。
风险：精选的 Web 规模数据集

精选的 AI 数据集（例如 LAION-2B 或 COYO-700M）容易受到一种称为分视图中毒的技术的影响。之所以存在这种风险，是因为这些数据集通常包含托管在可能已过期或不再由其原始所有者积极维护的域上的数据。在这种情况下，购买这些过期域的任何人都可以获得对托管在其上的内容的控制权。这种情况为恶意行为者创造了修改或替换精选列表指向的数据的机会，从而可能会将不准确或误导性的信息引入数据集。在许多情况下，可以以大约 1000 美元的价格购买足够的数据集控制权来进行有效中毒。在某些情况下，有效的技术成本可能低至 60 美元（例如 COYO-700M），使其成为来自低资源威胁行为者的可行威胁。

缓解策略：

·原始数据哈希： 数据管理者应将加密哈希附加到数据集中引用的所有原始数据。这将使后续数据使用者能够验证数据自添加到列表以来是否未更改。

·哈希验证： 数据使用者应在下载时进行哈希检查，以便检测对其所做的任何更改，并且下载程序应丢弃任何未通过哈希检查的数据。

·定期检查： 策展人应定期自行抓取数据，以验证数据是否未被修改。如果检测到任何更改，策展人应采取适当措施来确保数据的完整性。

·验证数据： 策展人应验证任何更改的数据是否干净，并且没有不准确或恶意的材料。如果数据内容以任何方式被更改，则 curator 应将其从列表中删除或标记以供进一步审查。

·策展人认证： 由于数据供应链始于策展人，因此认证过程也必须从那里开始。策展人应尽其所能证明， 在发布时，数据集不包含恶意或不准确的材料。
风险：收集了 Web 规模的数据集

收集的网络规模数据集（例如，维基百科）容易受到抢跑中毒技术的影响。当行为者在具有众包内容的网站收集其数据快照之前在短时间内注入恶意示例时，就会发生抢先投毒。特别是 Wikipedia 每月两次对其数据进行快照，并发布这些快照供人们下载。由于快照发生在已知时间，因此恶意行为者可能会编辑足够接近快照时间的页面，以便在发现和更正恶意编辑之前捕获并发布恶意编辑。行业分析表明，潜在的恶意行为者将能够成功毒害多达 6.5% 的维基百科。[29]

缓解策略：

·测试和验证网络规模的数据集：使用容易受到抢跑中毒的网络规模数据集时要小心。检查数据是否未纵，并且仅使用由受信任方验证的快照。

·（适用于Web规模的数据收集器）随机化或延长快照： Wikipedia 等收集器应通过以下方式防止行为者在计划快照之前进行恶意编辑：

1. 随机化快照顺序。

2. 将对内容的编辑冻结足够长的时间，以便在发布快照之前对编辑进行审核。

这些缓解措施侧重于增加恶意行为者必须保持对数据的控制才能将其包含在已发布的快照中的时间。还建议使用任何增加恶意行为者必须控制数据时间的合理方法。

请注意，这些缓解措施是有限的，因为它们依赖于可以检测恶意编辑的受信任的策展人。更难防范对人工审阅者来说似乎有效但影响机器理解的细微编辑（例如，尝试插入隐藏的水印）。
风险：Web 爬网数据集

Web 爬虫数据集呈现了上述风险的独特交集。由于 Web 爬虫数据集的精选范围比其他 Web 规模的数据集要少得多，因此它们会带来更高的风险。没有受信任的 curator 来检测恶意编辑。没有可以附加加密哈希的原始精选视图。不幸的是，“网页的更新对版本之间的差异没有现实的界限，这可能作为附加信任的信号。[29]

缓解策略：

·       共识方法： 使用网络爬虫数据集的数据使用者应该依赖基于共识的方法，因为对哪些域的名义决定是临时的，而且是不充分的。例如，AI 开发人员可以选择仅在图像-标题对出现在许多不同的网站上时才信任它，以降低对中毒技术的敏感性，因为恶意行为者必须毒害足够多的网站才能成功。

·数据管理： 归根结底，组织有责任确保他们使用的数据中不存在恶意或不准确的材料。如果组织没有资源进行必要的尽职调查，那么在可以实施某种信任基础设施之前，不建议使用 Web 爬虫数据集。
关于 Web 规模数据集和数据中毒的最终说明

对于恶意行为者来说，拆分视图和抢先投毒都相当简单，因为它们不需要特别复杂的方法。任何希望将 Web 规模数据整合到其 AI 系统中的任何人都应该将这些中毒技术视为可行的威胁。这里的危险不仅来自直接使用泄露的数据，还来自使用本身可能已经在泄露数据上进行训练的模型。

最终，训练和微调AI 模型的人员必须从供应链的角度解决数据中毒问题。适当的供应链完整性和安全管理（即选择可靠的模型提供商并验证所用模型的合法性）可以降低数据中毒和系统泄露的风险。最可靠的提供商是那些确保他们尽一切可能防止中毒数据和模型的影响和分发的提供商。[34]

构建基础模型的人员必须尽一切努力过滤掉恶意和不准确的数据。Foundation 模型正在迅速发展，过滤掉不准确、未经授权和恶意的训练数据是一个活跃的研究领域，尤其是在 Web 规模上。因此，目前规定精确的方法来做到这一点是不切实际的;这是一项尽力而为的努力。理想情况下，数据管理者和基础模型提供商应该能够证明他们的过滤方法并提供其有效性的证据（例如测试结果）。同样，如果可能，下游模型使用者在接受使用基础模型之前，应将安全声明的审查作为其安全流程的一部分。

恶意修改的数据 – 风险和缓解措施

相关的AI生命周期阶段：2）收集和处理数据;3） 构建和使用模型;4） 验证和确认;5） 部署和使用;6）操作和监控

恶意修改的数据对AI 系统的准确性和完整性构成了重大威胁。故意纵数据可能会导致结果不准确、决策错误和安全受损。请注意，还存在与意外数据错误和重复相关的风险，这些风险可能会影响 AI 系统的安全性和性能。对抗性机器学习威胁、统计偏差和不准确信息等挑战可能会影响AI 驱动结果的整体安全性。
风险：对抗性机器学习威胁

对抗性机器学习 （AML） 威胁涉及故意、恶意地欺骗、纵或破坏 AI 系统。 [7] [17] [22] 恶意行为者利用数据中毒来破坏学习过程，损害训练数据集的完整性，并导致不可靠或恶意的模型行为。此外，恶意行为者可能会在数据集中引入对抗性示例，这些示例虽然很微妙，但可以逃避正确的分类，从而破坏模型的性能。此外， 训练数据集中的敏感信息可以通过模型反转[4]等技术间接提取，带来重大的数据安全风险。

缓解策略：

·异常检测：在数据预处理期间整合异常检测算法，以便在训练之前识别和删除恶意或可疑数据点。这些算法可以识别数据中的统计偏差模式，从而可以隔离和消除中毒的输入。

·数据清理：通过应用数据筛选、采样和规范化等技术来清理训练数据。这有助于减少异常值、嘈杂数据和其他可能中毒的输入的影响，确保模型从高质量、有代表性的数据集中学习。定期执行清理，尤其是在每次训练、微调或任何其他调整模型参数的过程之前。

·安全的训练管道：保护数据收集、预处理和训练管道，以防止恶意行为者篡改数据集或模型参数。

·集成方法/协作学习：实施协作学习框架，将多个不同的 AI 模型集成相结合，以就输出预测达成共识。这种方法可以帮助抵消数据中毒的影响，因为恶意输入可能只影响协作模型的子集，从而使大多数协作模型能够保持准确性和可靠性。

·数据匿名化：实施匿名化技术来保护敏感数据属性，确保其机密性，同时允许 AI 模型学习模式并生成准确的预测。
风险：错误的数据声明

错误的数据陈述[5][7] [23]，例如缺少元数据，会引入数据完整性问题，从而导致模型性能错误，从而显著影响 AI 数据安全。无差错元数据提供有关数据的有价值的上下文信息，包括其结构、用途和收集方法。当元数据缺失时，就很难准确解释数据并得出有意义的结论。这种情况可能会导致数据表示不完整或不准确，从而损害 AI 系统的性能和可靠性。如果元数据被恶意行为者修改，则 AI 系统的安全性也会面临风险。

缓解策略：

·元数据管理：实施强大的数据管理实践，以帮助确保元数据记录完好、完整、准确且安全。

·元数据验证：建立数据验证流程，以便在数据用于 AI 训练之前检查元数据的完整性和一致性。

·数据丰富：使用可用资源（例如参考数据和受信任的第三方数据）来补充缺失的元数据并提高训练数据的整体质量。
风险：统计偏倚[6]

强大的数据安全和收集实践是减少统计偏差的关键。第 14179 号行政命令 （EO） 要求美国政府实体“开发没有意识形态偏见或人为社会议程的 AI 系统”。 [25] 请注意，“当 AI 系统表现出系统性的不准确行为时，它被称为有偏见的。 [26] AI 系统中的统计偏差可能源于训练数据中存在的伪影，这可能导致人为倾斜或不准确的结果。抽样偏差或数据收集中的偏差会影响 AI 的整体结果和性能。如果不加以解决，统计偏差会降低 AI 系统的准确性和有效性。

缓解策略：

·定期训练数据审计：定期审计训练数据，以检测、评估和解决可能导致系统性 AI 系统不准确的潜在问题。

·代表性训练数据：确保训练数据代表与任何给定主题相关的全部信息，以降低统计偏差的风险。此外，请确保将 AI 数据正确划分为训练集、开发和评估集，而不会重叠，以正确衡量统计偏差和其他性能衡量标准。

·边缘情况：识别并缓解可能导致模型故障的边缘情况。

·测试并校正统计偏差：创建包含观察到的模型输出偏差实例的存储库。利用这些信息来改进训练数据审计，并通过强化学习来 “消除” 一些测量的偏差。
风险：信息不准确导致数据中毒

一种形式的数据中毒（有时称为“虚假信息” [27]）涉及在 AI 训练数据集中故意插入不准确或误导性的信息，这可能会对 AI 系统的性能、结果和决策过程产生负面影响。

缓解策略：

·从训练数据中删除不准确的信息：在可行的情况下，从 AI 数据集中识别并删除不准确或误导性的信息。

·数据来源和验证：在数据收集期间实施来源验证机制，以帮助确保仅使用准确可靠的数据。此过程可以包括交叉验证、事实核查、来源分析、数据来源跟踪和内容凭证等方法。

·添加更多训练数据：增加非恶意数据的数量可以使针对中毒示例的训练更加稳健 - 前提是这些中毒示例的数量很少。一种方法是通过数据增强，即创建人工训练集样本，这些样本是现有样本的微小变化。目标是“数量超过”中毒样本，以便模型“忘记”它们。请注意，此缓解措施只能在训练期间应用，因此不适用于已训练的模型。 [28]

·数据质量控制：对数据进行质量控制，包括通过完整性检查、统计偏差或模式识别来检测中毒样品。在训练阶段主动实施数据质量控制，以防止问题在生产中出现。
风险：数据重复

训练数据集中意外的重复数据元素 [7] 可能会扭曲模型性能并导致过度拟合，从而降低 AI 模型在各种实际应用中泛化的能力。重复并不总是精确的;近乎重复的 Cookie 可能包含细微的差异，如格式、缩写或错误，这使得检测它们更加复杂。重复数据通常会导致不准确的预测，从而使 AI 系统在实际应用中的效率降低。

缓解策略：

·       重复数据删除：实施重复数据删除技术（例如模糊匹配、哈希、聚类等）以仔细识别和处理数据中的重复项和接近重复项。

数据漂移 – 风险和缓解措施

相关的AI生命周期阶段：5）部署和使用;6）操作和监控

数据漂移或分布偏移是指可作的 AI 系统的输入数据的基础统计属性的变化。随着时间的推移，输入数据可能会与最初用于训练模型的数据明显不同。 [7] [8] 数据漂移导致的降级是自然和预期的事件，AI 系统开发人员和作员需要定期更新模型以保持准确性和性能。数据漂移通常从模型性能的小规模、看似微不足道的下降开始。如果不加以控制，数据漂移造成的降级可能会滚雪球般地导致 AI 系统准确性和完整性的大幅降低，并且越来越难以纠正。

区分旨在影响AI 模型的数据漂移和数据中毒攻击至关重要。对系统准确性和性能的持续监控可根据观察到的变化的性质提供重要指标。如果更改是缓慢且随时间推移而逐渐的，则模型更有可能遇到数据漂移。如果更改在一个或多个维度中是突然和戏剧性的，则 Actor 更有可能试图破坏模型。网络入侵通常旨在快速、显著地纵模型的性能，从而导致输入数据或模型输出的突然变化。

AI 系统作员和开发人员应采用各种技术来检测和缓解数据漂移，包括数据预处理、增加实际场景的数据集覆盖率以及采用强大的训练和适应策略。[30] 自动数据集加载的软件包可帮助 AI 系统开发人员创建特定于应用程序的数据漂移检测和缓解技术。

数据偏移的潜在原因有很多，包括：

模型训练数据中未表示的上游数据管道的变化（例如，特定数据元素的单位从英里变为公里）引入了模型以前从未见过的全新数据元素（例如，在防病毒产品的 ML 层中未识别的新型恶意软件）

输入和输出相关方式的上下文发生变化（例如，由于合并或收购而导致的组织结构变化可能会导致新的数据访问模式，这些模式可能会被 AI 系统误解为安全威胁）

应定期检查与给定AI 模型关联的数据是否有任何更新，以帮助确保模型仍按预期进行预测。 [7] [8] [9] 此更新和检查的间隔将取决于特定的 AI 系统和应用程序。例如，在医疗保健等高风险应用中，在患者影响之前及早检测和缓解数据漂移至关重要。因此，在此类应用中，通过对输入数据的额外直接分析来持续监控模型性能非常重要。[30]

缓解策略：

·数据管理： 采用符合此 CSI 中最佳实践的数据管理策略，以帮助确保轻松添加和跟踪新的数据元素以进行模型训练和适应。此管理策略可以识别导致偏差的数据元素，以便采取适当的缓解措施或措施。

·数据质量测试： AI 系统开发人员应使用数据质量评估工具来协助选择和筛选用于模型训练或适应的数据。了解当前数据集及其对模型行为的影响对于检测数据漂移至关重要。

·输入和输出监控： 监控 AI 系统的输入和输出，以验证模型是否按预期执行。 [9] 使用当前数据定期更新您的模型。利用有意义的统计方法来测量预期的数据集指标，并将训练数据的分布与测试数据进行比较，以帮助确定是否发生数据漂移。[7]

数据管理工具和方法目前是一个活跃的研究领域。但是，可以通过整合特定于应用程序的数据管理协议来缓解数据漂移，这些协议包括：持续监控、再训练（定期将最新数据纳入模型）、数据清理（纠正数据中的错误或不一致）以及使用集成模型（结合多个模型的预测）。从一开始就将数据管理框架纳入 AI 系统的设计中，对于改善整体完整性和安全性状况至关重要。 [31]

结论

在开发和运营AI 系统时，数据安全至关重要。随着各行各业的组织越来越依赖 AI 驱动的成果，数据安全对于保持准确性、可靠性和完整性变得至关重要。本 CSI 中提供的指南概述了一种保护 AI 数据和解决与数据供应链、恶意数据和数据漂移相关的风险的强大方法。

数据安全是一个不断发展的领域，持续的警惕和适应是领先于新出现的威胁和漏洞的关键。此处介绍的最佳实践鼓励 AI 中数据安全的最高标准，同时帮助确保 AI 驱动结果的准确性和完整性。通过采用这些最佳实践和风险缓解策略，组织可以强化其 AI 系统以应对潜在威胁，并保护其 AI 系统开发和运营中使用的敏感、专有和任务关键型数据。

引用作品

[1]Officeof theDirectorof NationalIntelligence.TheIntelligenceCommunityData ManagementLexicon.2024.https://dni.gov/files/ODNI/documents/IC_Data_Management_Lexicon.pdf

[2]        National Security Agency et al. Deploying AI Systems Securely: Best Practices for DeployingSecure and Resilient AI Systems. 2024.https://media.defense.gov/2024/Apr/15/2003439257/-1/-1/0/CSI-DEPLOYING-AI-SYSTEMS-SECURELY.PDF

[3]        NationalInstituteofStandardsandTechnology(NIST).NIST AI 100-1:ArtificialIntelligenceRiskManagementFramework(AIRMF1.0). 2023.https://doi.org/10.6028/NIST.AI.100-1

[4]        NIST. NIST Special Publication 800-37 Rev. 2: Guide for Applying the Risk ManagementFrameworktoFederalInformationSystems.2018.https://doi.org/10.6028/NIST.SP.800-37r2

[5]        NIST.FederalInformationProcessingStandardsPublication(FIPS)204:Module-Lattice-BasedDigitalSignatureStandard. 2024.https://doi.org/10.6028/NIST.FIPS.204

[6]        NIST.FIPS205:StatelessHash-BasedDigitalSignatureStandard.2024.https://doi.org/10.6028/NIST.FIPS.205

[7]        Bommasani,R.etal.OntheOpportunitiesandRisksofFoundationModels.arXiv:2108.07258v3.2022.https://arxiv.org/abs/2108.07258v3

[8]        Securing Artificial Intelligence (SAI); Data Supply Chain Security. ESTI GR SAI 002 V1.1.1. 2021.https://etsi.org/deliver/etsi_gr/SAI/001_099/002/01.01.01_60/gr_SAI002v010101p.pdf

[9]        NationalCyber SecurityCentreetal.GuidelinesforSecureAISystemDevelopment.2023.https://www.ncsc.gov.uk/files/Guidelines-for-secure-AI-system-development.pdf

[10]      NIST. NIST Special Publication 800-207: Zero Trust Architecture. 2020.https://doi.org/10.6028/NIST.SP.800-207

[11]      NIST.NIST IR8496ipd:DataClassificationConceptsandConsiderationsforImprovingDataProtection. 2023.https://doi.org/10.6028/NIST.IR.8496.ipd

[12]      CybersecurityandInfrastructureSecurityAgency(CISA),NSA,and NIST.Quantum-Readiness:Migrationto Post-QuantumCryptography.2023.https://www.cisa.gov/resources-tools/resources/quantum-readiness-migration-post-quantum-cryptography

[13]      NIST.FIPS203:Module-Lattice-BasedKey-EncapsulationMechanism Standard.2024.https://doi.org/10.6028/NIST.FIPS.203

[14]      NIST.NIST SP800-52Rev.2:GuidelinesfortheSelection,Configuration,andUseofTransportLayer Security(TLS)Implementations.2019.https://doi.org/10.6028/NIST.SP.800-52r2

[15]      NIST.FIPS140-3,SecurityRequirementsforCryptographicModules.2019.https://doi.org/10.6028/NIST.FIPS.140-3

[16]      NIST.FIPS140-2,SecurityRequirementsforCryptographicModules.2001.https://doi.org/10.6028/NIST.FIPS.140-2

[17]      NIST.NISTAI100-2e2023:TrustworthyandResponsibleAI,AdversarialMachineLearning:ATaxonomy and Terminology of Attacks and Mitigations. 2024.https://doi.org/10.6028/NIST.AI.100-2e2023

[18]      Adak, M. F., Kose, Z. N., & Akpinar, M. Dynamic Data Masking by Two-Step Encryption. In 2023Innovations in Intelligent Systems and Applications Conference (ASYU) (pp. 1-5). IEEE.2023https://doi.org/10.1109/ASYU58738.2023.10296545

[19]      Kairouz， P. 等人。联邦学习的进步和开放问题。机器学习的基础和趋势 14 （1-2）：1-210。arXiv：1912.04977.2021.https://arxiv.org/abs/1912.04977

[20]      NIST.NIST SP800-88Rev.1:GuidelinesforMediaSanitization.2014.https://doi.org/10.6028/NIST.SP.800-88r1

[21]      NIST.NIST SpecialPublication800-3Rev.2:Risk ManagementFramework forInformationSystems and Organizations: A System Life Cycle Approach for Security and Privacy. 2018.https://doi.org/10.6028/NIST.SP.800-37r2

[22]      U.S.DepartmentofHomelandSecurity.PreparednessSeriesJune2023:RisksandMitigationStrategies for Adversarial Artificial Intelligence Threats: A DHS S&T Study. 2023.https://www.dhs.gov/sites/default/files/2023-12/23_1222_st_risks_mitigation_strategies.pdf

[23]      Bender,E.M.,&Friedman,B.DataStatementsforNaturalLanguageProcessing:TowardMitigating System Bias and Enabling Better Science. Transactions of the Association forComputationalLinguistics(TACL)6,587–604.2018.https://doi.org/10.1162/tacl_a_00041

[24]NSAetal.ContentCredentials:StrengtheningMultimediaIntegrityintheGenerativeAIEra.2025.https://media.defense.gov/2025/Jan/29/2003634788/-1/-1/0/CSI-CONTENT-CREDENTIALS.PDF

[25]      ExecutiveOrder(EO)14179:“RemovingBarrierstoAmericanLeadershipinArtificialIntelligence”https://www.federalregister.gov/executive-order/14179

[26]      NIST.NIST SpecialPublication1270:FrameworkforIdentifyingandManagingBiasinArtificialIntelligence.2023.https://doi.org/10.6028/NIST.SP.1270

[27]      NIST.NIST AI600-1:ArtificialIntelligenceRisk ManagementFramework:GenerativeArtificialIntelligenceProfile.2023.https://doi.org/10.6028/NIST.AI.600-1

[28]      OpenWebApplicationSecurityProject (OWASP).AI Exchange.#Moretraindata.https://owaspai.org/goto/moretraindata/

[29]      Carlini,N.etal.PoisoningWeb-ScaleTrainingDatasetsisPractical.arXiv:2302.10149.2023.https://arxiv.org/abs/2302.10149

[30]      Kore, A., Abbasi Bavil, E., Subasri, V., Abdalla, M., Fine, B., Dolatabadi, E., & Abdalla, M.Empirical Data Drift Detection Experiments on Real-World Medical Image Data. NatureCommunications15,1887.2024.https://doi.org/10.1038/s41467-024-46142-w

[31]      NIST.NIST SpecialPublication800-208:RecommendationforStatefulHash-BasedSignatureSchemes.2020.https://doi.org/10.6028/NIST.SP.800-208

[32]      TheOrganisationforEconomicCooperationandDevelopment(OECD).Glossaryofstatisticalterms.2008.https://doi.org/10.1787/9789264055087-en

[33]      NIST.NISTSP800-53Rev.5:SecurityandPrivacyControlsforInformationSystemsandOrganizations.2020.https://doi.org/10.6028/NIST.SP.800-53r5

[34]      OWASP. AI Exchange. How to select relevant threats and controls? risk analysis.https://owaspai.org/goto/riskanalysis/

[1]在本文件中，人工智能（AI）具有15 U.S.C. 9401（3）中规定的含义：

“…一种基于机器的系统，对于一组给定的人类定义目标，可以做出影响真实或虚拟环境的预测、建议或决策。AI 系统使用基于机器和人工的输入来：

1.感知真实和虚拟环境;

2. 获取这些感知，并通过自动化方式的分析将它们转化为模型;和

3. 使用模型推理来制定信息或行动的选项。

[2]数据完整性由 IC Data Management 词典[1]  定义为“由于数据的来源、谱系、世系以及是否符合有关其与其他数据关系的所有业务规则，数据可以被信任的程度。在数据移动的背景下，这是数据未被个人或 NPE 意外更改的程度。

[3]术语数据使用者被定义为使用他们自己未生成或注释的数据来构建和/或作 AI 系统的技术人员（例如数据科学家、工程师）。

[4]模型反转是指攻击者分析 AI 系统的输出模式，以对训练数据集进行逆向工程并发现有关训练数据集的详细信息（例如单个数据点或模式）的过程。此过程可能会暴露用于训练 AI 模型的数据中的机密或专有信息。

[5]“ 数据声明是对数据集的描述，它提供上下文，使开发人员和用户能够更好地了解实验结果如何推广，如何适当部署软件，以及基于软件构建的系统中可能反映出哪些偏差。” [23]

[6]“在技术系统中，偏差通常被理解并视为一种统计现象。偏差是一种通过系统性地扭曲统计结果来剥夺统计结果代表性的效果，这与随机误差不同，随机误差可能在任何一种情况下扭曲，但在平均值上会平衡。[26] [32]