AI助力质效双提升--群核质量效能AIGC探索进展分享

多客科技 · 发表于 2025-8-10 04:03

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要登录才可以下载或查看，没有账号？注册

×

作者：微信文章
背景

基于25H1我们团队的目标方向，经过一段时间的实践探索，我们逐步看到了AI在测试效能领域的巨大潜力。在之前分享中杭州六小龙之群核科技--AI助力测试提效与大模型落地应用实践我们介绍了不少AI辅助测试的基础能力建设，包括FastQA平台建设。本篇重点介绍我们近期基于这些基建的最新进展，欢迎大家沟通讨论与使用。
一、质量效能AI Agent工具--助力测试提效

测试AI Agent建设，近期累计新增测试Agent 10+。

1.1 【AI测试分析】

Agent功能简介：

通过多轮自然语言对话实现全流程自动化测试分析，支持CF（Confluence，下同）链接识别、文档解析、报告优化等功能。

Agent应用提效：

1.2 【AI用例生成】

Agent功能简介：

根据需求文档/测试描述一键生成功能测试用例，支持在线编辑。

Agent应用提效：

1.3 【AI用例评审】

Agent功能简介：

基于规则库对用例批量评分并提供修改建议，保障用例质量。

Agent应用提效：

1.4 【AI解析报错日志工具】

Agent功能简介：

解析KE渲染引擎报错日志，结合知识库提供故障原因和排查思路。

Agent应用提效：

1.5 【测试右移-AI日志聚合】

Agent功能简介：

聚合服务错误日志并可视化趋势，异常时触发预警。

Agent应用提效：

1.6 【AI查询解析引擎版本信息】

Agent功能简介：

通过自然语言提取环境信息，智能获取渲染引擎KE/Streaming版本数据。

Agent应用提效：

1.7 【AI辅助编写XPath】

Agent功能简介：

自动生成符合规范的xpath路径，支持校验与格式转换。

Agent应用提效：

1.8 【AI测试文档评审/推荐】

Agent功能简介：

自动评审CF文档质量并推荐优质内容供团队学习。

Agent应用提效：

1.9 【AI测试流程报告整合】

Agent功能简介：

聚合发布计划数据，自动生成标准化报告文档。

Agent应用提效：

1.10 【JSON Diff AI助手】

Agent功能简介：

智能分析JSON差异结果，支持规则编写（建设中）。

Agent应用提效：

1.11 【AI接口测试精准分析】

Agent功能简介：

结合CodeDiff数据智能识别测试关注点，自动生成异常case。

Agent应用提效：

1.12 【环境小助手】

Agent功能简介：

解答环境问题、分析调用链日志、查询负责人信息。

Agent应用提效：

1.13 【AI工单分析】

Agent功能简介：

批量分析工单内容，输出共性质量改进建议。

Agent应用提效：

1.14【搜索debug工具AI分析】

Agent功能简介：

基于参数和异常描述智能诊断搜索问题。

Agent应用提效：

1.15 【搜索失败词AI分析】

Agent功能简介：

通过语义分析定位搜索失败原因。

二、测试模型微调与AI编码辅助

2.1 【模型调优提升图片对比能力】

微调目标：优化UI自动化测试中图像比对能力

微调效果：解决了之前误报的问题，基本满足UI自动化中图纸图像比对分析需求

2.2 【UI自动化编码提效】

2.2.1 辅助UI自动化迁移

背景：云图软装业务交接到了新的敏捷组，相应UI自动化也交接过来。需要把对应10个自动化用例 js 文件以及依赖的函数、xpath、配置项，做仓库迁移。

迁移流程步骤：

结果：代码迁移的工作比较繁琐，需要仔细检查依赖、路径引用、迁移对应缺失的函数、xpath，但本身无业务逻辑。理论上是非常适合让 AI 处理。

2.2.2 辅助Hades文档重构

背景：Hades 框架集成了APIDoc能力，发包后会生成一份静态 API 文档资源。文档内容的来源就是代码中函数注释。历史原因，函数的注释都不太标准，缺少很多示例，所以导致 API 文档也饱受吐槽，很多新人看不懂入参。

实现：重构的工作仅仅是改造函数注释，内容简单，但是工作量大，要求细致。也是非常适合 AI 处理，采用 Cursor 的 composer 能力，用两种不同的模式实践。

结果：总耗时约 2.5 小时（如果全程用 agent 模式，应该在 1 小时以内）。人工约8小时的工作量，压缩到2小时左右。

2.2.3 Agent结合 MCP 写自动化脚本的验证
背景：之前实现了AI辅助生成代码能力，核心原理是利用知识库、上下文，让AI把注释翻译成对应的函数调用代码。准确度比较可观，但是缺点也明显：需要编写的注释内容尽量贴合函数的描述，并且每个步骤都需要编写注释。

思路：

结果：

2.3 【接口测试自动生成】

编码场景：接口自动化测试代码类

编码案例：

提效效果

三、AI专项能力落地--助力质量效率提升优化

我们H1组织多个人员针对一些高优领域，进行AI的重点提效建设

3.1【自动化测试编码提效--AI 辅助生成 UI自动化代码】

工具原理：利用 vscode 插件能力 + AI 知识库，让 AI 根据用例步骤描述生成对应的自动化代码。也支持对缺失的包自动导包。

工具进展：目前对接了4 个自动化代码库：定制工具、内参、云图、coohom

存在的问题：有很多组用例规范性不足，不满足对接条件。

工具使用情况：经实际验证，定制、云图业务生成的代码准确率在 50~100%之间

3.2 【多语言错误检测-- AI助力国际化多语言异常检测】

目标：国际化翻译准确的 AI 识别，希望把 coohom 这边常用的网页设计规范让 AI 能够识别出，包括文本规范性、页面布局等等

思路：利用AI知识库能力，预设正确错误国际化翻译及布局情况，通过AI动态检测当前版本多语言情况，

进展：常态化运行中，与pub、引导配置平台、网页插件、vscode 插件进行了打通，实现多端互通。

PUB 平台	引导配置	网页插件：	UI 自动化

3.3【自动化测试bug/issue准确度提升-- AI助力自动化错误分析】

3.3.1【UI自动化报告AI分析】，累计分析287次

3.3.2【接口自动化失败AI分析】，累计分析173次

结合调用链、断言、响应体、状态码等信息，支持对接口自动化case、巡检case的结果进行AI辅助分析

四、MCP Server及应用搭建辅助提效

通过内部统一平台聚合测试效能，简化MCP Server接入成本。为此我们搭建了许多MCP应用。

4.1 【CF MCP Server】

能力介绍：

基于fastapi-mcp实现CF文档的读取、分析与搜索功能。

实现：

典型应用场景/提效：

4.2 【Tools MCP Server】

能力介绍：

提供负责人查询、调用链分析和日志分析能力。

典型应用场景/提效：

4.3 【Kaptain MCP Server】

能力介绍：

敏捷组信息获取与智能分析能力。

典型应用场景/提效：

4.4 【Hades MCP Server】

能力介绍：

提供Hades框架API信息查询能力。

典型应用场景/提效：

4.5 【Apollo UI MCP Server】

能力介绍：

测试计划信息查询与任务执行功能。

典型应用场景/提效：

4.6 【Kuta MCP Server】

能力介绍：

提升业务线工单排查自助能力。

思路：

Kuda平台有非常多的工具，直接将工具列表相关的信息作为一个接口的注释暴露给AI，让AI自己从工具列表中找要调用的方法和构造入参。

典型应用场景/提效：

4.7 【订单MCP Server】

能力介绍：

FastQA Workflow MCP接入能力。

思路：

典型应用场景/提效：

4.8【商业平台MCP Server service】

MCP Server范畴及使用量

4.9 【质量效能MCP Server service】MCP Server范畴及使用量

五、质量效能AI平台使用数据

对于完整的任务工作流，从需求评审、开发设计、测试、发布上线与工单处理，每个阶段质量效能团队均在搭建AI工具介入场景。下图所示为相关AI工具在各个阶段的工作场景：

当前AI探索与应用在团队内如火如荼的展开，搭建了大量的AI工具，并不断赋能运营、商务、产研同学。下图为当前AI测试平台的使用情况，另各个业务线独立AI工具单独统计，不再单独展示：

六、小结

本文内容是我们团队进行了明确的专项和规划后所取得的一些进展，欢迎有类似述求的团队沟通讨论。随着AI的持续发展，我们已然看到了它对于互联网及软件工程领域带来的巨大价值，测试领域也是受用方之一。

AI是一个万花筒，对于我们测试同学来说不仅要持续学习AI、掌握AI，更要结合我们实际业务场景和诉求，合理利用AI能力，与我们现有的系统、流程做深度结合，才能发挥它最大的价值。

推荐阅读

账号		自动登录	找回密码
密码			注册

萍聚头条

AI助力质效双提升--群核质量效能AIGC探索进展分享

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

浏览过的版块