AI Agent 定义、分类、技术架构和应用路径

多客科技

作者：微信文章



随着大模型的不断发展与普及，很多人已经明显体会到，大模型LLM在简单的办公场景应用已经非常成熟，但在一些复杂的业务场景，却很难落地应用。要想实现这一目标，需要很多专业的技术支持。由此，催生了大量AI Agent的需求。作为今年特别重要的一个风口，躺在风口上也能稍你一程。那么什么是Agent呢，可能每个人对Agent的理解都不一样。今天给大家重新梳理一下Agent的知识，其中主要包括Agent组成、技术架构、技术前沿、应用场景、部署落地等，其中穿插了一些个人思考，有错误地方还请批评指正。本文所有资料都已上传至“智能计算芯知识”星球。如“《60+份AI Agent技术报告合集》”，“《清华大学：DeepSeek报告13部曲合集》”，“浙江大学：DeepSeek技术20篇（合集）”，“《280+份DeepSeek技术报告合集》”，“《100+份AI芯片技术修炼合集》”，“800+份重磅ChatGPT专业报告”，“《12+份Manus技术报告合集》”，加入星球获取严选精华技术报告。


1、智能体的定义与分类1.1 什么是智能体智能体（Agent）是一种能够感知环境、制定决策并采取行动以实现特定目标的AI系统，一般具有记忆、规划、采取行为、使用工具等基本能力，如下图所示，其中规划中有思维链、能进行反思、目标分解。与传统AI系统不同，智能体具有自主性、持续性和适应性，能够在复杂环境中持续学习和优化自身行为。


1.2 OS Agent：操作系统智能体OS Agent（操作系统智能体）是一类特殊的智能体，它们通过操作计算设备（如计算机和移动手机）的图形用户界面(GUI)来完成各种任务。根据最新的OS Agent综述，这类智能体有三个关键组成部分：

环境：OS Agent所处的操作系统环境，如Windows、macOS、Android等观察空间：智能体获取信息的方式，如界面截图、DOM结构等行动空间：智能体可执行的操作集合，如点击、输入、滑动等

（来源于论文：OS Agents：A Survey on MLLM-based Agents for General Computing Devices Use）
1.3 智能体的主要分类根据输入模态和技术实现，GUI智能体可分为三类：

基于语言的智能体：仅使用HTML/XML等文本描述作为输入基于视觉的智能体：仅使用屏幕截图作为输入视觉-语言混合智能体：同时使用屏幕截图和文本描述作为输入

其中，基于视觉的智能体（如SpiritSight）和视觉-语言混合智能体（如MobileFlow）因其跨平台兼容性和丰富的感知能力，正成为研究热点。


（来源于论文：OS Agents：A Survey on MLLM-based Agents for General Computing Devices Use）

2. 智能体的核心能力现代智能体，特别是OS/GUI智能体，需要具备以下核心能力：2.1 理解能力理解能力是指智能体解读用户指令、理解任务目标的能力。最新研究如MobileFlow引入了GUI Chain-of-Thought（CoT）技术，使模型能够像人类一样进行推理，从而更好地理解复杂任务。2.2 感知与定位能力感知能力是智能体理解环境的基础。对GUI智能体而言，关键的感知挑战是元素定位（Element Grounding）：

SpiritSight提出的Universal Block Parsing（UBP）方法解决了动态高分辨率输入中的歧义问题MobileFlow的混合视觉编码器支持可变分辨率输入，提高了对细节的感知能力OpenAI的ComputerUse则通过闭环视觉-操作系统直接分析整个屏幕并执行精确操作

2.3 规划能力规划能力是智能体将复杂任务分解为步骤序列的能力。根据OS Agent综述，规划方法分为两类：

全局规划：在任务开始前规划完整的操作序列迭代规划：根据环境反馈动态调整操作计划

如MobileFlow采用的四步法（观察、推理、行动、总结）就是一种有效的迭代规划框架。3.4 操作能力操作能力是智能体执行具体行动的能力，典型的GUI操作包括：

鼠标/触摸操作：点击、长按、拖拽键盘操作：文本输入、快捷键导航操作：滚动、翻页、切换标签等。

3. 当前智能体技术前沿3.1 OpenAI的ComputerUseOpenAI的ComputerUse是一项革命性技术，它使AI代理能够直接操作计算机界面：

技术原理：基于Computer-Using Agent (CUA)模型，结合GPT-4o的视觉能力和推理能力工作流程：指令理解→动作生成→执行与反馈→状态理解→迭代改进支持环境：浏览器、macOS、Windows、Ubuntu（暂不支持移动平台）应用场景：自动化测试、探索式测试、回归测试、跨平台一致性测试等。

（有视觉能力的智能体）

3.2 SpiritSight：视觉导向的GUI智能体SpiritSight代表了基于视觉的GUI智能体的最新进展：

核心创新：提出GUI-Lasagne多级大规模GUI数据集和Universal Block Parsing方法技术特点：端到端、纯视觉感知，无需HTML/XML辅助性能表现：在Multimodal-Mind2Web等多个基准测试中超越现有方法跨语言能力：通过小规模目标语言数据微调，可实现跨语言（如中文）GUI操作

（来源论文：SpiritSight Agent：Advanced GUI Agent with One Look。SpiritSight智能体概述：借助一个大规模、多层次、高质量的预训练数据集，使 SpiritSight具备三个层次的全面GUI知识。此外引入了一种通用模块解析方法，以增强 SpiritSight的基础能力）

3.3 MobileFlow：移动设备专用智能体MobileFlow专注于移动设备场景的智能体设计：

模型架构：基于Qwen-VL-Chat，采用混合视觉编码器，支持21B参数规模技术特点：支持可变分辨率输入、良好的多语言支持、采用MoE结构训练策略：GUI对齐（定位、引用、问答、描述）和GUI Chain-of-Thought实际应用：已在软件测试和广告预览审核等场景成功部署

（来源论文：MobileFlow- A Multimodal LLM for Mobile GUI Agent）

下载链接：

「重磅合集」1、《70+篇半导体行业“研究框架”合集》2、《56+份智能网卡和DPU合集》3、《14份半导体“AI的iPhone时刻”系列合集》4、《21份走进“芯”时代系列深度报告合集》5、《800+份重磅ChatGPT专业报告》6、《92份GPU技术及白皮书汇总》7、《11+份AI的裂变时刻系列报告》

8、《3+份技术系列基础知识详解（星球版）》

9、《12+份Manus技术报告合集》

10、《100+份AI芯片修炼合集》

11、《60+份AI Agent技术报告合集》
《100+份AI芯片技术修炼合集》
《270+份DeepSeek技术报告合集》

《42篇半导体行业深度报告&图谱（合集）

亚太芯谷科技研究院：2024年AI大算力芯片技术发展与产业趋势
SSD闪存技术基础知识全解（知识星球版）服务器基础知识全解（知识星球版）存储系统基础知识全解（知识星球版）2025新技术前瞻专题系列合集《科技龙头巡礼专题：华为技术合集》1、科技龙头巡礼专题（一）：如何看待华为盘古大模型5.0？ 2、科技龙头巡礼专题（二）：华为欧拉五问五答 3、科技龙头巡礼专题（三）：国产算力AI芯片专题，一文读懂华为昇腾310芯片

本号资料全部上传至知识星球，更多内容请登录智能计算芯知识（知识星球）星球下载全部资料。



免责申明：本号聚焦相关技术分享，内容观点不代表本号立场，可追溯内容均注明来源，发布文章若存在版权等问题，请留言联系删除，谢谢。

温馨提示：

请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享，点击“阅读原文”获取更多原创技术干货。