AI 在医疗中的合规挑战与滥用问题 (2)

新闻

作者：微信文章
前景提要：本期系列文章旨在从临床、患者及法规的角度，理性审视 AI 技术是否真能推动医疗的变革，还是仅仅依赖于数据的堆砌与技术炒作。我们将深入探讨当前医疗 AI 在伦理、法律和隐私方面面临的合规挑战，尤其是在数据采集、处理、存储以及监管审批的过程中可能存在的潜在风险。上一期文章已经围绕了前两部分的核心问题展开深刻分析：第一，数据采集的隐私安全隐患，非合规数据源、患者知情权缺失、隐私泄露的风险来源；第二，数据清洗与整合的隐性操控，算法偏见、数据篡改、不可复现性的潜在法律风险；紧接着这篇文章将更加详细地阐述以下两个问题：第三，数据分析与临床试验的灰色地带，模型训练的伦理风险，AI 预测的科学性和临床可行性存疑；第四，医疗数据的黑客攻击，癌症治疗数据共享的利弊，人类隐私换取 AI 发展的伦理争议。下周新更的文章将继续深入展开阐述 FDA 和 EMA 等监管部门对于 “AI 幻觉” 及 AI 可信度的严格审查建议和 AI 在新药研发各流程的态度。
通过系列文章的分析，我们将不仅帮助读者理清商业化 AI 医疗变革背后的真实面貌，同时也为政策制定者提供前瞻性的合规框架，确保医疗行业能够在科技迅速发展的同时，仍能保障患者的权益与信任。

---

1.3 数据分析阶段的问题


AI 生成的分析模型常被视为 “黑箱” (Black Box)，即输入数据与输出结果之间的决策过程不可解释。如何有效解决黑箱问题在医疗领域尤为重要，比如医生会经常面临如何向病人解释 AI 为何会推荐某种药物，监管机构也由于无法评判该临床建议的公平性与准确性，进而限制了 AI 在临床医疗和新药开发中的应用。

增加 AI 的可解释性，虽然有助于拓展应用范围，并能协助技术团队识别和修复模型中的错误，但与此同时也带来其他挑战。首先，AI模型的复杂度与可解释性通常是负相关的。比如线性模型的深度神经网络可以简单通过权重即可了解特征的重要性，相比多个决策树组合的模型具有更强的可解释性，但后者在解决复杂问题的能力和模型结果的准确度更具有优势，为了打造复杂模型的可解释性通常需要付出更大的时间和经济成本。其次，AI 公司在提供可解释性的同时，需要牺牲一部分商业机密，这在商业竞争中出于技术核心的保护和专利所有权归属问题的角度可能难以接受。此外，AI 的可解释性涉及多个专业领域的知识，如数据科学、药物研发和临床医学，且需要高水平的跨学科人才，才能确保 AI 模型的专业性、正确性与透明性。

因此我们回归到可解释性问题的本身：AI 模型是否有必要解释和如何解决。欧洲工商管理学院（INSEAD）决策科学与技术管理学院教授 Theodoros Evenious 埃夫根尼奥和助理教授 Boris Babic 巴比奇关于第一个问题的回复是需要充分考虑解释的对象与目的，埃夫根尼奥表示，是否需要解释AI决策及其具体内容，应根据不同利益相关方的需求和认知水平来决定，因此 “在某种程度上把可解释性作为一个笼统的概念来讲是非常危险的”。这个问题涉及到多方的利益相关者，包括临床医生、患者及其亲属、医学与计算机科学的研究人员甚至保险经纪，当中的利益相关者也因为对于 AI 的认知水平不同，与对于临床和药物知识的专业方向不同，导致对于解释 AI 医疗系统的重要性以及解释的内容完全不一样。

比如如果解释对象是系统开发工程师以及临床医生等与模型深度互动的人群，解释内容需要尽可能从其专业的角度上解释 AI 和 ML 的作用机理。一方面为了能够提高工程师对于该 AI 模型能解决的问题和临床医生如何通过 AI 解决有清晰的认知，另外一方面双方充分的交流还能帮忙提出新的想法改进 AI 模型的逻辑和结果输出。

巴比奇提到，与之相反的是如果对象是患者，则需要把控解释的尺度。对于患者的可解释性应当更加简明，且聚焦于药物的适应症、有效性与安全性，而无需过多讨论AI的内部决策机制。过多枯燥且实用性较弱的技术细节可能反而引起患者的误解和抵触，影响他们对医生诊断的信任。

针对第二个问题，埃夫根尼奥和巴比奇都认为如何解决 AI 的可解释性归根结底是如何解决信任的问题。这个问题从两个方面考虑，第一是如何令临床和医药行业的专业人士理解和信任 AI 系统？如果监管机构对于 AI 系统的开发和审批过程非常严格，以及对 AI 功能的评判标准足够标准化，所有的新兴 AI 医疗技术和平台经过多年审查和试验才能上市，以及上市后得到长期有效的监管和评判，后续有足够多的专家使用并编写指南，那么对于 AI 的怀疑将会被有效的监管机制和后续的风险处理逐渐瓦解；另一方面是如何提高患者对于 AI 医疗系统的信任和认知是基于患者对于医生的信任，是可以有多种方式（比如增加医患互动程度，增加对患者心理层面的关怀等）进行解决而不需要通过寻求 AI 决策过程的因果关系来取得患者对于新技术的信任。

因此总结起来，从监管者的角度来看，可解释性的关键在于建立明确的监管框架，明确 AI 模型的可解释性在专业层面上必须回答的框架，并提供清晰的决策依据，才能建立临床医生以及监管者对于 AI 医疗系统的信任；与此同时，对于涉及患者筛选和个性化治疗等与患者直接相关的 AI 应用应采用更加严格的审查标准，在技术层面上提供更公平透明的解释以确保算法模型和结果的公平性，甚至采取公开的技术标准流程，比如明确责任担责框架，确保出现问题的时候可以快速追责补充漏洞，来提高 AI 医疗系统的责罚成本。

1.4 黑客攻击和数据安全的问题


随着AI医疗模型的普及，网络安全成为日益严峻的挑战。AI 医疗系统，尤其是涉及高净值患者的个人信息和财务数据的大型数据库，可能成为有组织黑客攻击的目标。如果系统在安全性方面缺乏充分的认知和保护措施，数据传输过程中未加密，或系统漏洞未得到及时修复，黑客不仅可通过操控数据或设备访问权限窃取信息在暗网售卖，或者要挟大型 AI 医疗机构支付高昂赎金以维持业务不得终端，甚至还能改变医疗决策系统或输入错误信息，从而引发严重的医疗事故。

根据 IBM 发布的《2024 年数据泄露成本报告》，全球数据泄露事件的经济影响持续上升，揭示了全球网络安全形势的严峻性，尤其是在凭据泄露、社交工程攻击及恶意内部人员威胁等方面，企业正面临前所未有的挑战。单次数据泄露的平均成本已从 2023 年的 445 万美元增至 488 万美元，增幅达 10%。这一趋势表明，企业在数字化转型加速的背景下，面临的网络安全挑战愈发严峻。其中，网络安全专业人才短缺问题尤为突出，超过半数遭遇数据泄露的组织均面临网络安全专员短缺，而这一缺口比 2023 年进一步扩大了 26.2%，导致泄露事件的平均成本增加 176 万美元。

尽管 20% 的组织已引入某种形式的生成式 AI 安全工具，以期提升网络防御能力并弥补技能缺口，但当前的 AI 安全方案仍难以完全取代人类专家的决策能力。企业亟需采取更为综合的安全策略，以降低数据泄露的经济损失。

在各类攻击媒介中，凭据被盗或泄露事件的识别和遏制耗时最长，平均需要 292 天才能完成。此类攻击通常涉及内部员工的凭据泄露，或黑客通过网络钓鱼等方式窃取账户信息，进而获取系统访问权限并实施攻击。此外，其他社交工程类攻击方式同样难以被迅速察觉并有效遏制。例如网络钓鱼攻击平均持续 261 天，以及社交工程攻击平均持续 257 天。上述攻击方式往往利用人类认知漏洞，通过伪装成合法电子邮件、短信或电话，诱骗目标泄露敏感信息。近年来，生成式 AI 的普及进一步加剧了这一问题，使攻击者能够以更高的精准度生成语法正确、极具欺骗性的网络钓鱼邮件，甚至绕过传统的安全过滤系统。

数据泄露事件中，涉及客户个人身份信息（PII，Personally Identifiable Information）的比例接近半数（45%），其中包括税务识别号（ID）、电子邮件地址、电话号码及家庭住址等关键数据。这类信息一旦泄露，极易被用于身份盗窃、欺诈交易或其他恶意行为，导致受害者长期处于风险之中。

与此同时，企业的知识产权（IP）安全问题亦愈发严峻。2024 年，涉及知识产权泄露的事件占比达 43%，较 2023 年显著增加。值得关注的是，与 PII 数据泄露相比，知识产权泄露的经济损失增长更为显著，平均每条 IP 记录的泄露成本从去年的 156 美元上升至 173 美元，增幅超过 10%。对于依赖核心技术和研发成果的企业而言，这种损失不仅影响短期财务状况，更可能削弱长期市场竞争力。

在所有攻击媒介中，由恶意内部人员所导致的攻击造成的损失最为严重，平均损失高达 499 万美元。这类攻击通常涉及企业内部员工或合作伙伴滥用访问权限，非法获取或泄露敏感信息。相比外部攻击，内部威胁的隐蔽性更强，且难以通过传统安全防护措施有效防范。

其他造成严重经济损失的攻击媒介包括商业电子邮件诈骗（BEC，Business Email Compromise），网络钓鱼攻击，社交工程攻击，凭据被盗或泄露攻击。生成式 AI 的发展在一定程度上助长了这些攻击手法的精准性。例如，过去因语言障碍而难以实施精准欺诈的攻击者，如今可利用 AI 工具生成符合目标语言规范的诈骗邮件，从而显著提升攻击成功率。

针对勒索软件攻击，报告强调了执法部门介入的重要性。数据显示，选择向执法机构寻求支持的勒索软件受害者，最终泄露成本平均减少了近 100 万美元。这一成本削减并未计算赎金支付情况，仅考虑了事件响应、恢复及后续安全加固等方面的支出。此外，执法部门的介入还能有效缩短攻击识别和遏制的时间。在有执法机构介入的情况下，企业平均用时 281 天识别并遏制勒索软件攻击，而未寻求执法协助的企业平均需要 297 天，足足多出 16 天。这一差距虽看似不大，但在勒索软件攻击造成系统瘫痪的情况下，任何额外的停机时间都可能带来巨额经济损失。

为了应对 AI 重塑的网络攻击，医疗机构需要加强与专业数据安全科技公司的合作，进行 AI 医疗模型的安全评估，并实施个性化的安全策略。这些措施将确保患者隐私和医疗系统基础设施免受黑客的侵害和篡改，同时保障医疗数据的完整性与安全。

下周本公众号将会详细阐述 FDA 和 EMA 等监管机构如何应对 AI 医疗当前的不合规情况，以及具体分析以上两个监管部门的核心目标及思考方向，敬请留意。

免责声明：本文不代表任何官方立场，仅供学术探讨。所有分析基于公开数据，具体政策解读请参考官方文件。