AI 拐点不在云端,而在边缘:智能体架构如何重塑边缘 AI

多客科技

作者：微信文章
AI 拐点不在云端，而在边缘：智能体架构如何重塑边缘 AI

核心要点：边缘计算正迎来 AI 发展的关键拐点，智能体架构将高性能计算能力从云端扩展到边缘设备

边缘 AI 的技术趋势

从云端到边缘的 AI 迁移


AI 模型开发已达到一个拐点，将通常为云端保留的高性能计算能力带到了边缘设备。与大型语言模型（LLMs）及其运行所需的 GPU 的全消耗性质相比，这是一个令人耳目一新的视角。

"你最终会耗尽计算能力、电力、能源和资金，"Edge Impulse 的 CEO 兼联合创始人 Zach Shelby 表示，"我们想要如此广泛地部署[生成式 AI]。这是不可扩展的，对吧？然后它会遇到如此多的可靠性问题。它会遇到电力问题。"

在边缘，电力问题因设备而异。但最终的结果是：这些设备可以运行各种语言模型，但 LLMs 构成了一个值得注意的挑战。

AI 故事不仅仅是关于大型数据中心。我们需要边缘来运行靠近模型处理数据的应用程序。往返于全国另一地区的云服务的往返行程变得昂贵，并带来各种使实时应用程序无法使用的问题。
工业环境中 LLMs 的挑战与用例

边缘 AI 的确定性需求


Shelby 于 2019 年与公司 CTO Jan Jangboom 共同创立了 Edge Impulse。Shelby 在 Edge Impulse 在加州山景城计算机历史博物馆举行的年度 Imagine 会议后两次与 The New Stack 交谈。该公司提供了一个用于收集数据、训练模型并将其部署到边缘计算设备的边缘 AI 平台。

"我们需要找到方法让这些概率性的 LLM 架构表现得更具确定性，用于无人在环或最小人在环的应用程序，"Shelby 说。

LLMs 在后台办公室有多个用例，但边缘在工业环境中有所不同。

有许多不同类型的架构，如小型语言模型（SLMs）、视觉语言模型（VLMs）等，在边缘越来越有用。但当涉及到通常用于消费市场的大型语言通用模型时，用例仍然不明确。

"公司在哪里看到真正的价值？"Shelby 问道，"这在工业环境中 LLMs 的早期一直是一个挑战。"

这是一个关于行业人士真正信任什么的问题，他说："在工业领域，我们必须有[投资回报率]，对吧？我们必须理解我们在解决什么。我们必须理解它是如何工作的。门槛要高得多。"

例如，VLMs 正在快速成熟，Shelby 说。

"我确实认为现在，随着 VLM 的快速成熟，我们真的找到了很多用例，因为它让我们能够进行我们通常无法用离散模型进行的复杂视觉分析。非常有用，但它需要大量测试。你必须进行端到端测试。你必须参数化并在其周围设置这些防护栏。"
从 XR 眼镜到分布式 AI 智能体

扩展现实技术的应用


在 Imagine 会议上，我戴了一副扩展现实（XR）眼镜来查看电路板部件。通过眼镜，我可以检测到该部件，然后从一系列问题中选择提问。我使用语音提问，启用了 Whisper（语音识别服务）、YOLO（You Only Look Once）和 OpenVocabulary 进行对象检测。

这反过来被输入到检索增强生成（RAG）工具中，并与 Llama 3.2 集成，其中包括小型和中型视觉 LLMs（11B 和 90B）以及轻量级纯文本模型（1B 和 3B）。根据 Meta 的说法，这些模型适合边缘和移动设备，包括预训练和指令调优版本。

根据 Shelby 的说法，下一步是将智能体应用于 Edge Impulse 通过级联模型实现的物理 AI。

工作负载可能在眼镜中运行，一个智能体解释它看到的内容和人员所说的内容。然后这些数据可能被级联到一个 AI 设备中，另一个智能体执行查找。

"我认为从边缘 AI 技术的角度来看，这真的很有趣，我们开始能够在边缘分发这些智能体，"Shelby 说。"这很酷。但我确实认为智能体和物理 AI 确实使其易于理解。"

人们可以与 XR 眼镜产生共鸣，Shelby 说。它们展示了智能体 AI 和物理 AI 之间的联系。

小型离散模型，如对象检测，在电池供电的低成本嵌入式设备上是可行的，他说。然而，它们无法管理生成式 AI（GenAI）。为此，你需要在边缘有更强大的设备。

"一个 100 亿参数的模型，可以将其视为一个小型 VLM，"Shelby 说。"或一个小型 SLM。所以你能够做一些专注的事情。我们没有对一切的世界观，但我们可以做一些非常专注的事情，比如车辆或缺陷分析，一个非常专注的人类语言界面，或一个简单的 SLM 来解释它。"

"我们可以在一个设备上运行它。XR 眼镜就是这方面的一个很好的例子。这是你今天可以生产的 12 到 100 TOPS 类设备。"
处理能力与设备分类


TOP 是用于描述 NPU 处理能力的术语。NPU 是用于 GenAI 的神经处理单元。根据 Qualcomm 的说法，"TOPS 通过测量一秒钟内执行的操作数（加法、乘法等）来量化 NPU 的处理能力，以万亿为单位。"

XR 眼镜可以运行简单、专注的应用程序，Shelby 说，例如使用 SLM 进行自然语言处理以进行解释，在 12 到 100 TOPS 类设备上。
为什么智能体架构对边缘至关重要

多智能体协作的必要性


超越屏幕，需要专门减少延迟和提高吞吐量的智能体应用程序。

"你需要一个具有几个功能的智能体架构，"Shelby 在谈到使用模型分析药品包装时举例说。"你可能需要分析缺陷。然后你可能需要一个带有 RAG 的 LLM 来进行手动查找。这非常复杂。它可能需要大量数据支持。它可能需要非常大。你可能需要 1000 亿参数。"

他指出，分析可能需要与后端系统集成以执行另一项任务，需要几个智能体之间的协作。然后需要 AI 设备来管理多智能体工作流和更大的模型。

任务越复杂，需要的通用智能就越多，这需要转向更大的 AI 设备。

Expanso 的 CEO 兼创始人 David Aronchik 表示，边缘有三件事永远不会改变，这将影响开发人员如何在边缘设备上构建：

数据增长光速不会变得更快，网络永远无法跟上，因为有太多数据随着数据的激增，安全和法规将一直存在，网络必须考虑许多因素

Aronchick 说，智能体架构是数据和网络之上的一个层。"如果这三件事是真的，那就意味着你必须开始将你的智能体或程序或任何它们可能是的东西移到那里。你必须这样做。"

Expanso 为工作负载提供分布式计算。不是移动数据，而是计算本身去数据所在的地方——随着企业客户超越云端寻找计算需求，这一点越来越相关。它提供了一个开源架构，使用户能够运行生成和存储数据的作业。
延迟与吞吐量的挑战


我们称之为智能体架构工具的东西是任何人的猜测，Aronchick 说。但像 Shelby 一样，Aronchick 说延迟和吞吐量是要解决的大问题。此外，移动数据会打开安全和监管问题。考虑到这一点，将应用程序尽可能靠近服务器是有意义的。
确保可靠性：工业 AI 的防护栏

测试与验证的重要性


Shelby 说，LLMs 的性质需要一个人告诉你 LLM 的输出是否正确，这反过来影响如何判断 LLMs 在边缘环境中的相关性。

你不能依赖 LLM 来提供对提示的答案。考虑一下德克萨斯州景观中的摄像头，聚焦于油泵，Shelby 说。"LLM 就像，'哦，有一些露营者在做饭，'而实际上油泵着火了。"

那么，你如何使过程以工程师期望的方式可测试，Shelby 问道。它需要端到端的防护栏。这就是为什么随机的、基于云的 LLMs 尚未应用于工业环境。

Edge Impulse 测试开发人员期望的输出模式匹配，同时理解端到端的性能和准确性。测试在真实数据上运行。

Edge Impulse 测试的不仅仅是原始摄像头流，还有对象检测器加上 VLM，以及输出的分类。

Shelby 说，LLMs 需要在相关基础数据上进行训练，例如工业机械："然后你进行迁移学习，这就像微调这些模型。"
在边缘部署 LLMs 的谨慎方法

逐步部署策略


Edge Impulse 然后可能会将更多神经元压缩到更小的计算中，Shelby 说，因为它控制边缘计算环境的架构。

但 LLM 用例仍然显示不成熟，因此公司正在为工业用例开发边缘约束。基础模型是必不可少的。公司使用基本预处理模型在数据从摄像头到达后立即处理数据。

它需要小心处理 LLMs，建立防护栏并测试开发人员体验和可用性，以便 LLM 可以在现场部署。

"我们小心地一步一步地做，就像我们还没有引入我们的 LLMs 一样，"Shelby 说。"我们仍然在说服这些如何在工业中安全使用。"

基于文本的输入对于风塔上的人来说可能还可以。尽管如此，还有其他输入方法，例如语音界面，Shelby 说公司正在研究作为一种交互方式，例如使用带有语音界面如 Whisper 的 SLM 来更好地理解问题或使用自然语言自动进行维护。

"我们将引入技术并使其对开发人员非常容易，但你必须比云端的炒作做得慢一点，"Shelby 说。"这很有趣。所以，现在的挑战是：你如何暴露这些东西？"

"对于 LLMs，你要做什么——让你的维护人员与油泵上的聊天机器人聊天？"

工作流程：边缘 AI 的发展需要从确定性模型到智能体架构的渐进过渡，确保工业环境中的可靠性和安全性

---

文档来源：The AI Inflection Point Isn't in the Cloud It's at the Edge
原始作者：Zach Shelby, Alex Williams
原始发布日期：2025 年 10 月 26 日

---

本文由 AI 助手整理优化，欢迎关注、分享转载，请注明出处