AI正在失控吗?

新闻

作者：微信文章


关注我们丨文末赠书

如今，AI已为人类的生活带来巨大的改变，我们在享受着AI带来便利的同时，却很少想过：如果它失控怎么办？

诺贝尔物理学奖、图灵奖得主，“AI教父”杰弗里·辛顿（Geoffrey Hinton）教授近日接受采访时抛出惊人观点：人类需立即行动应对AI风险，否则生存将受到威胁。他甚至用“外星舰队抵达地球”来类比，而不同的是，这个外星人是由人类自己创造的。

对于如何让AI安全议题引起重视，辛顿教授悲观地认为，也许要发生一次“切尔诺贝利”式的灾难事件，才能推动业界真正行动起来。



幸运的是，不用等到灾难发生。

用大白话写的《白话AI安全：32个故事带你读懂AI的攻防博弈》，就能让你透彻了解AI安全的重大议题，包括AI是否会失控、如何防御黑客利用AI发起的攻击、伦理制度的建设如何跟上AI技术的发展等。



无论如何，安全地使用AI技术需要我们理性地思考，去洞察、防护、引导，让AI更好地服务人类。现在，我们就从32个故事中学习与AI的安全共存之道。

Part.1

清楚五件事，AI安全尽在掌握

本书以虚拟角色“安教授”与“小翼”“小白”等学生之间的教学对话展开，将AI安全知识系统性融入32个精彩的故事中。

这些故事可以分为五个部分，即我们要知道的最核心的五件事：AI安全基本知识、AI安全的挑战、AI安全攻防、AI赋能安全、AI安全的未来。

第一件事：AI安全基本知识

开篇部分以4个故事帮助读者建立基础认知，理解AI能力边界，唤醒风险意识，明确为何要重视AI安全，搭建起AI安全的全局框架。



首先，从图灵测试开始辨析人工智能、机器学习和深度学习之间的关系，讲述AI技术发展过程中3种不同的学派及其思想差异，并介绍AI程序和AI模型。

然后，从技术风险、管理与伦理问题、法律与合规问题3个方面讲解当前AI应用面临的主要安全风险，并辨析运营者、用户和监管者在防范AI安全风险中各自应该承担的责任。



接着，借助多个实际案例探讨AI在社会服务、智能驾驶、科学研究方面的应用成果。从AI生命周期的整体上阐述攻击面的技术和手段，并列举对应的防御措施，使读者对AI安全有整体认识。

第二件事：AI安全的挑战

本部分通过9个故事拆解AI面临的核心风险挑战，覆盖技术漏洞、伦理困境与法律合规等方面。

从技术上说，如果AI模型不够健壮，则容易输出错误结果，书中结合图像识别、自动驾驶等场景案例，系统分析了模型健壮性不足的原因，并介绍了提升健壮性的关键方法。还剖析AI成为“黑箱”的可解释性问题，结合医疗诊断等案例，介绍拆解黑箱的有效方法。

AI模型面临的数据风险可能来自数据投毒，书中辨析了数据质量对模型的重要影响，介绍了数据质量评估指标。还介绍了AI算法可能存在的漏洞及其被攻击和滥用的风险，并给出了官方漏洞数据库、信息获取渠道以及基本防护建议。



▲特殊标记导致智能辅助驾驶系统被欺骗

从伦理上说，AI产生的偏见是一种算法歧视，书中通过外卖订单分配、贷款审核、简历筛选等案例进行了说明，并给出降低偏见的方法。

在法律层面，书中通过交通事故、医疗事故等案例，讲解AI安全中的责任归属与法律挑战问题，还给出了法律适应AI时代的三步走建议。



若AI被用于战争会怎样？书中揭示了AI武器化会对平民造成的潜在危害，探讨了应对策略。数据已成为重要资源，书中解析了数据采集、存储、使用全流程的隐私泄露风险，介绍了联邦学习、同态加密等隐私增强技术。

书中对欧盟、美国、中国之间的AI应用合规进行了探讨，并指出合规是贯穿AI系统设计、开发、部署到运维的全链条机制。

第三件事：AI安全攻防

本部分通过11个故事系统讲述了针对AI安全的攻击手段与防护方案，这部分也是本书的核心内容。

先来看攻击手段：

扰动输入样本：介绍了对抗攻击、白盒攻击、黑盒攻击，讲述了大模型越狱攻击相关的知识和经典案例。

数据投毒攻击：介绍了常见的数据投毒攻击方式，以及数据投毒攻击的原理。



模型窃取攻击：深入讲解代数方法攻击、机器学习方法攻击和旁路攻击。

后门攻击：介绍了常见的后门植入手段，以及一些大模型后门攻击案例。

再来看AI安全的具体防护方案：

提升AI模型健壮性：详细讲解了内生安全防御、指令防御、辅助模型和安全围栏。



AI数据安全防护：详解数据投毒的防御策略，并基于AI的全生命周期阶段进行了总结与归纳。

AI模型知识产权保护：介绍了应对代数方法攻击、机器学习方法攻击、旁路攻击的防护手段。

AI系统安全加固：讲述了检测和防御后门攻击的方法，包括数据防护、离线防护和在线防护。



虚假信息识别：介绍了多模态分析拆解复杂诈骗场景，依靠声纹水印识别伪造音频，利用计算机隐写术检测隐蔽的恶意信息。

AI周边安全防护：介绍了硬件随机数发生器、物理不可克隆函数、差分隐私技术、同态加密技术、量子密钥分发等防护方法。

AI安全管理体系：从安全制度到安全机制，再到作为守卫的人员能力建设，剖析了AI安全管理体系。

第四件事：AI赋能安全

我们将AI保护好了，接下来就可以将它打造成超强的安全守护者。本部分通过6个故事深度解析AI在安全领域的应用。

首先以“安全智能助手”为例，介绍智能体的概念及主流架构，并阐述安全大模型和RAG两项关键技术。还介绍AI在漏洞挖掘与代码审计中的应用，帮助读者从技术角度全面认识AI在安全测试中的利与弊。

对于AI赋能安全防御，书中从“入侵检测系统”案例出发，系统解析了AI在网络安全五大核心环节（IPDRR）中的赋能路径。

AI也正在成为安全产业的“变革者”，书中从技术演进、产品升级到服务模式重构，阐明AI技术正引发网络安全产业全链条的深刻变革。



AI还能提升设备安全能力，让每个安全组件具备智能感知、智能联动和预测能力，不仅能识别复杂攻击链，还能实现智能响应与主动布防，形成动态、自适应的整体防线。



介绍电信运营商的AI安全实践，分享国内运营商在网络流量防护、AI 换脸与变声反诈、复杂攻击防御等关键任务中充分应用AI技术，并取得了良好的实战成效。

第五件事：AI安全的未来

最后，本部分通过2个故事探讨了AI安全的标准、规范作用，并展望AI安全的最新研究方向。

先是介绍国际和国内AI安全标准化组织及其工作领域，如数据隐私保护、风险管理、社会伦理等，并强调标准化对AI安全的重要性。

然后讲解AI安全风险、AI自身安全攻防、AI防护体系挑战、AI法律和标准这4个方面的研究热点和最新进展。



Part.2

作者介绍

本书创作团队实力强大，均为来自中国电信研究院及安全运营一线的专家：

主编马洁，高级工程师、网络与信息安全管理师（高级）、CISE、CISP-DSG、CCRC-DSO（数据安全官），中国信息通信研究院“数据安全共同体计划专家库”入库专家，广东省通信行业协会数据安全专业委员会委员。

“2024数字中国创新大赛数据安全产业讲师选拔赛”银奖、最佳风采奖、优秀课件奖，第二届“数信杯”数据安全讲师赛银奖，中国计算机行业协会网络和数据安全专业委员会授予网络和数据安全人才培养“金牌讲师”。

中国电信集团公司“优秀集团级内训师”“金牌讲师”，出版译著1本，获得国家发明专利授权3项，发表相关专业论文9篇。

副主编王帅，正高级工程师、CISSP、CISP、CCIE，中国电信网络与信息安全高级专家、中国移动通信联合会产业互联网智库专家。负责AI攻防、网络空间安全仿真、网络内生安全等技术研发，具有20余年网络安全工作经验。

荣获省部级科技进步一等奖 1 项、二等奖 1 项，主导发布国际标准 4 项，主导行标9项，获得国家发明专利授权 20余项，发表专著2部、专业学术论文20余篇。

副主编张昊迪，工程师，中山大学硕士，主要研究方向有网络安全、AI驱动安全，具有9年工作经验。主导制定并发布多项ITU-T安全领域国际标准及CCSA TC8行业标准，在IEEE TDSC等顶级网络安全期刊发表研究成果，申请并获得授权多项网络安全领域PCT专利及国内专利。

创作团队力图通过本书在技术与通识之间、前沿与现实之间搭起一座桥梁，让已经在使用AI的人群透彻了解AI安全的本质，做好防护工作，为应用保驾护航。

Part.3

结语

在AI应用已经普及的今天，安全是一个不容忽视的问题。《白话AI安全：32个故事带你读懂AI的攻防博弈》聚焦AI模型的安全议题，包括模型可能存在的漏洞、黑客攻击的手段、防御措施、伦理与法律问题等，帮助读者整体了解并实践应用。

本书最大特点是“白话”，通过人物对话展开技术话题探讨，内容通俗易懂且兼具专业深度，零基础读者也可以轻松看明白。创作团队还专门录制了音频，读者在相应章节扫码即可收听，以获得最优学习体验。



▲精彩书摘

从内容上看，本书体系全面，覆盖AI安全的关键议题，从AI面临的安全挑战，到攻防技术与应用、AI赋能安全、业界动态与未来趋势。读完本书，读者能理解攻防原理，并学会打造安全防护体系。

本书注重实战，以丰富的案例讲述了对抗攻击、数据投毒、模型窃取、后门攻击等手段，又提供了数据安全防护、知识产权保护、虚拟信息识别等防护措施。读者面临实际问题时，可以从书中获得借鉴，快速实施，保卫自己的信息安全。



▲精彩书摘

对于AI工程师、网络安全工程师，本书提供了大量可操作的技术方案；对于企业管理者，则可以关注AI合规、风险管控等话题；对于高校相关专业的师生，可以全景式探索AI安全。

所有在使用AI改善工作与生活的人，都应该认真看一看《白话AI安全：32个故事带你读懂AI的攻防博弈》，真正做到知己知彼，为企业组织、个人建立AI时代的安全护城河！



—END—

原创

初审：栾传龙

复审：刘鑫

终审：孙英



说说你对AI安全的看法？

在留言区参与互动，并点击在看和转发活动到朋友圈，我们将选1名读者获得赠书1本，截止时间12月15日。