AI 编程的隐忧与风险

我爱免费

作者：微信文章
AI 驱动的代码生成正在改变软件开发方式，但快速开发背后隐藏着机器规模的安全风险。

Vibe Coding 的兴起


Vibe Coding 是 OpenAI 联合创始人 Andrej Karpathy 在今年早些时候创造的术语，描述了一种全新的开发模式：开发者不再逐行编写代码，而是通过提示词指导 AI 生成代码，自己退居到更具战略性的"导演"角色。

这种方式比主流的 AI 辅助编程更进一步。GitHub Copilot 和 Claude 等工具让开发者能够以"爆发式"的速度编写代码，AI 负责处理细节。对企业而言，吸引力显而易见：开发者可以快速实验想法，团队生产力可能大幅提升。

Checkmarx 的全球研究显示，50% 的受访者使用某种形式的 AI 编码助手，三分之一的组织通过这种方式生成多达 60% 的代码。AI 的价值主张太强，无法忽视。

---

当 Vibe 出错时

LLM 的概率特性


任何使用过大语言模型的人都知道，它们的概率特性就像老虎机——用同一个提示词拉五次杠杆，会得到五个不同的结果。可能中大奖，可能什么都没有，也可能得到介于两者之间、勉强可用的东西。
常见问题


将这种特性应用到编码中，各种问题都会出现：

• 幻觉 API：AI 工具可能生成不存在的 API• 过时依赖：插入已弃用的库• 脆弱代码：生成脆弱或不透明的代码，悄悄侵蚀可维护性• 架构破坏：AI 代理可能通过非授权接口粘合组件，绕过模块化设计• 意外删除：关键代码可能因意外删除和其他错误而丢失

一个在网上流传的警示故事中，一个失控的 AI 代理在代码冻结期间删除了整个数据库。
供应链风险


风险还延伸到供应链：AI 工具可能引入未经审查的依赖项、包含已知漏洞的包，甚至完全幻觉它们的存在。

如果这些问题得不到解决，组织面临将更多低质量代码引入环境的风险，包括完整的架构和运营威胁。更令人担忧的是，研究发现只有 18% 的组织目前制定了 AI 使用政策。
"循环中的谎言"（LITL）


即使开发者有人工干预（HITL）步骤来验证 AI 创建的代码，Checkmarx 研究团队最近发现了一种被称为"循环中的谎言"（lies in the loop, LITL）的技术，可以欺骗 Claude Code 等 AI 编码助手执行更危险的活动，同时在人工监督下显得安全。

---

风险预防从架构和思维开始

模块化架构


缓解 AI 生成代码的风险要在漏洞引入之前就开始。模块化架构至关重要：当有明确定义的边界和授权 API 时，一个幻觉函数或失控依赖的潜在破坏范围会自然受到限制。

这些原则并不新鲜，但在 AI 代理可能不尊重抽象的环境中变得更加紧迫，除非明确引导。
开发者思维转变


开发者思维同样重要。Vibe Coding 将开发者定位为系统架构师，而不是逐行作者——编写提示词、审查输出、决定发布什么。

这种转变需要技能提升。研究发现，理解架构和提示策略的开发者比那些将传统工作流应用于生成工具的开发者有效得多。
当前状态


在目前状态下，Vibe 方法更适合实验和原型设计，而不是将完成的代码投入生产环境。组织应该以此为出发点进行探索。至关重要的是，一切都要经过同样严格的安全流程，使用左移思维尽早引入这些检查。

预防现在取决于智能设计和一个知道如何与 AI 协作（而不仅仅是围绕它工作）的团队。

---

快速反馈循环与 DevSecOps

实时检测与修正


在 AI 驱动的开发中，错误可能快速引入，因此必须同样快速地发现和修复。依赖传统检查点是不够的。检测和修正需要嵌入到整个开发工作流程中。

这意味着将实时安全扫描直接集成到开发者环境中——在 IDE 和 pull request 中，而不仅仅是 CI/CD 管道中。
AI 驱动的安全代理


安全和质量需要人类专业知识，新兴的 AI 驱动安全代理可以支持开发者大规模应用这一点——标记问题、建议修复，甚至在代码离开本地环境之前指导修复。
DevSecOps 的角色


这正是 DevSecOps 大显身手的地方。这些团队处于独特位置，可以闭合创建和修正之间的循环，嵌入防护栏，加速反馈，构建预期 AI 波动性（而不仅仅是对其做出反应）的系统。

当风险被及早并在上下文中检测到时，它是可管理的。当在高速、AI 生成的系统中积累时，遏制它的难度和成本会高得多。

---

总结


Vibe Coding 目前是一个有争议的话题，被一些团队接受，被另一些团队视为一时风尚而拒绝。无论它是否成为软件开发的新基准，组织都必须为 AI 时代准备好严格的流程和安全防护。

关键要点：

• 模块化架构是控制 AI 代码风险的基础• 开发者需要从编码者转变为架构师思维• 实时安全扫描必须嵌入开发环境• DevSecOps 在 AI 时代的重要性空前• 目前 Vibe Coding 更适合原型而非生产环境

---

参考文章链接：The risks of vibe coding - Business Reporter

作者： Eran Kinsbruner, Checkmarx VP Portfolio Marketing