UI自动化测试智能体平台
基于 AI 驱动的下一代 UI 自动化测试解决方案
但问智能UI自动化测试智能体平台是一个革命性的测试解决方案，它将 AI 智能体技术与传统自动化测试工具深度融合， 实现了从测试设计、脚本生成、执行到报告生成的全流程智能化。
为什么选择我们？
手动编写测试脚本，耗时费力
AI 自动生成高质量测试代码
需要深厚的编程基础
自然语言描述即可完成测试
测试报告单调，缺乏洞察
智能分析 + 可视化图表
工具链复杂，学习成本高
一站式解决方案，开箱即用
核心特性
智能化测试执行
- AI 驱动的浏览器控制
- 智能元素定位
- 自适应等待策略
- 自动截图与录屏
Playwright 脚本智能生成
- 自然语言转代码
- 最佳实践内置
- 可维护性优先
- 支持并行执行
专业测试报告生成
- 多维度数据可视化
- 美观的报告界面
- 智能分析建议
- 多格式导出
企业级架构设计
- 模块化设计
- 可扩展性强
- 稳定可靠
- 跨平台支持
技术架构
整体架构图
三层架构设计：智能决策层 → 工具执行层 → 基础设施层
架构分层说明
智能决策层
主智能体
协调者
子智能体1
测试执行
子智能体2
脚本生成
工具执行层
mcp-chrome
浏览器控制
mcp-chart
图表生成
本地工具
脚本/执行
基础设施层
Playwright
测试框架
AntV 引擎
可视化
文件系统
存储
核心技术栈
just-ask-mcp-chrome
Web端语义化自动化引擎 - 浏览器自动化的革命
🚀 核心优势
核心特性
- ✓ 语义化元素定位
- ✓ 智能内容提取
- ✓ 向量化搜索
- ✓ AI驱动的智能交互
- ✓ 自然语言控制浏览器
技术亮点
- ✓ WebAssembly + SIMD (4-8x性能)
- ✓ HNSW向量数据库 (<10ms搜索)
- ✓ Transformers.js (浏览器端AI)
- ✓ Native Messaging (低延迟)
- ✓ Playwright并行测试 (73%提升)
AppVision
移动端纯视觉AI自动化引擎 - Android & iOS专家
🚀 核心优势
Android自动化
- ✓ ADB连接 (Android Debug Bridge)
- ✓ 真机支持 (USB调试)
- ✓ Playground工具 (零代码体验)
- ✓ Vitest集成 (测试框架)
- ✓ 纯视觉识别 (无需应用结构)
iOS自动化
- ✓ WebDriverAgent 7.0+ (iOS服务)
- ✓ 真机+模拟器 (iPhone/iPad)
- ✓ Playground工具 (零代码体验)
- ✓ Vitest集成 (测试框架)
- ✓ 纯视觉识别 (无需UI层级)
统一API：aiAct()aiTap()aiQuery()aiAssert()
just-ask-mcp-chart
专业级数据可视化
基于 AntV 5.x 引擎，支持 25+ 种专业图表类型
DeepAgents 框架
智能体编排引擎
主智能体职责
工作流程
完整测试流程图
从用户需求到最终报告的完整智能化测试流程
需求理解与规划
用户提交测试需求，主智能体分析并制定测试计划
示例：识别测试类型、分解测试场景、确定执行策略
UI 自动化测试执行
调用 mcp-chrome 执行浏览器操作和元素交互
示例：导航页面、填写表单、点击按钮、验证结果
Playwright 脚本生成
自动生成高质量、可维护的测试代码
示例：生成 TypeScript/JavaScript 测试脚本，包含完善注释
测试执行与结果收集
运行 Playwright 测试并收集详细结果
示例：执行测试用例、记录通过/失败状态、收集性能数据
智能报告生成
使用 mcp-chart 生成可视化测试报告
示例：创建图表、分析趋势、提供优化建议
实战案例展示
案例 1：Web - 表单自动注册
测试目标：使用语义化自动化引擎填写注册表单并通过所有验证
测试步骤
- 1.自然语言指令："填写注册表单并通过所有字段验证"
- 2.语义化元素定位，无需手写CSS/XPath选择器
- 3.AI自动识别表单字段（用户名、邮箱、密码）
- 4.智能填写数据并处理验证错误
测试结果
- 总耗时：45 秒
- 所有验证通过
- 成功注册账号
- 向量搜索加速元素定位
案例 2：Android - 小米SU7汽车参数查询
测试目标：在真实Android设备上自动查询小米SU7的详细参数
测试步骤
- 1.自然语言指令："打开DCar应用，查询小米SU7的详细参数"
- 2.AppVision纯视觉AI自动导航应用界面
- 3.搜索车型并进入详情页
- 4.提取续航里程、加速时间、电池容量等参数
测试结果
- 成功提取所有关键参数
- 纯视觉识别，无需分析应用结构
- 自动处理权限弹窗
- 生成可视化HTML报告
案例 3：Android - 圣诞节东京酒店预订
测试目标：在Android设备上自动完成酒店预订流程
测试步骤
- 1.自然语言指令："预订12月25日东京的酒店"
- 2.AppVision AI自动填写日期、地点、筛选条件
- 3.智能处理登录页面、权限请求
- 4.浏览酒店列表并选择合适的酒店
测试结果
- 完整流程自动化
- 无需人工干预
- 智能处理各种弹窗
- 提取酒店价格和评分数据
案例 4：iOS - 美团咖啡自动下单
测试目标：在iPhone上自动完成美团咖啡下单流程
测试步骤
- 1.自然语言指令："在美团上订一杯拿铁咖啡"
- 2.AppVision AI自动打开美团、搜索咖啡
- 3.选择商品、加入购物车
- 4.处理定位权限、用户协议等弹窗
测试结果
- 支持真机和模拟器
- 完整的iOS自动化能力
- 纯视觉识别，无需分析UI层级
- 自动生成测试报告
案例 5：Web - 电商系统测试实战
测试目标：验证从商品浏览到下单支付的完整流程
测试步骤
- 1.自然语言指令："搜索iPhone 15并加入购物车"
- 2.语义化元素定位，自动识别页面关键元素
- 3.搜索商品 → 选择商品 → 加入购物车 → 结算
- 4.自动填写收货地址和支付方式
测试结果
- 总耗时：28.5 秒
- 所有步骤通过
- 页面加载平均 1.2 秒
- 自动识别性能瓶颈并提供优化建议
案例 6：跨平台表单验证测试
测试目标：展示Web和移动端自动化技术的协同优势
测试步骤
- 1.Web端：使用just-ask-mcp-chrome进行浏览器自动化
- 2.移动端：使用AppVision Android/iOS SDK进行移动端自动化
- 3.验证邮箱格式、密码长度、手机号格式等规则
- 4.自动生成参数化测试，覆盖所有边界条件
测试结果
- Web和移动端测试全部通过
- Web端：语义化定位，移动端：纯视觉识别
- 覆盖所有边界条件
- 展示两种技术的互补优势
移动端自动化
Android 自动化
基于 AppVision Android SDK 的纯视觉自动化
环境配置
- 安装 Android Studio 或命令行工具
- 配置 ANDROID_HOME 环境变量
- 启用 USB 调试和 USB 调试安全设置
- 使用 adb devices 验证设备连接
核心能力
- 纯视觉识别，无需分析应用结构
- 支持原生应用、H5、小程序
- 自动处理权限弹窗、用户协议
- Playground 零代码体验工具
代码示例
import { AndroidAgent, AndroidDevice } from '@app-vision/android';
// 连接Android设备
const device = new AndroidDevice();
const agent = new AndroidAgent(device);
// 自然语言驱动的自动化
await agent.aiAct('打开DCar应用，查询小米SU7的详细参数');
// 提取数据
const params = await agent.aiQuery({
续航里程: 'string',
加速时间: 'string',
电池容量: 'string'
});
console.log(params); // { 续航里程: '700km', 加速时间: '2.78s', ... }iOS 自动化
基于 AppVision iOS SDK + WebDriverAgent 的纯视觉自动化
环境配置
- macOS + Xcode + Xcode 命令行工具
- 配置 WebDriverAgent
- 真机：开发者模式 + UI自动化 + 设备信任
- 真机需要 iproxy 进行端口映射（8100）
核心能力
- 支持 iPhone/iPad 真机和模拟器
- 纯视觉识别，无需分析UI层级
- 自动处理系统弹窗和权限请求
- Playground 零代码体验工具
代码示例
import { IOSAgent, IOSDevice } from '@app-vision/ios';
// 连接iOS设备（真机或模拟器）
const device = new IOSDevice();
const agent = new IOSAgent(device);
// 自然语言驱动的自动化
await agent.aiAct('在美团上订一杯拿铁咖啡');
// 智能断言
await agent.aiAssert('购物车中有一杯拿铁咖啡');
// 提取数据
const price = await agent.aiQuery('咖啡的价格');
console.log(price); // "¥28"跨平台统一优势
统一API
Web、Android、iOS 使用相同的 API
纯视觉路线
无需分析DOM、UI层级或应用结构
降低成本
一套代码多端复用，维护成本降低 70%
性能优化
SIMD 加速技术
使用 WebAssembly + SIMD 指令集加速向量计算
向量数据库优化
HNSW 算法实现高效语义搜索
并发执行优化
Playwright 并行测试提升执行效率
多层缓存策略
内存缓存 + IndexedDB + 模型缓存
平台优势总结
| 创新点 | 传统方案 | 本平台 | 优势 |
|---|---|---|---|
| 测试设计 | 手动编写 | AI 自动生成 | 效率提升 10x |
| 元素定位 | CSS/XPath | 语义化理解 | 准确率提升 30% |
| 报告生成 | 静态模板 | 智能可视化 | 洞察力提升 5x |
| 学习成本 | 需要编程基础 | 自然语言即可 | 降低 80% |
| 维护成本 | 高 | 低 | AI 自动适配 |
功能测试
端到端测试
回归测试
性能监控
视觉测试
兼容性测试
🚀 开始你的 UI 自动化测试之旅！
让 AI 成为你的测试助手，释放更多时间专注于创新