核心用法
Nova Act Usability Testing v2.0.0 是一个 AI 编排的可用性测试框架,基于 Amazon Nova Act 浏览器自动化技术,专为验证真实用户工作流(如预订、结账、发帖)而设计。与传统脚本化测试不同,该系统由 AI Agent(即 Claude)全程主导:从智能生成情境化用户画像、拆解任务步骤、动态调用浏览器自动化工具,到解读原始响应并生成最终 HTML 报告。
四阶段执行流程:
1. Setup(设置):Agent 分析目标网站 URL,结合行业特征(.gov/.edu/电商/体育等)生成 2-3 个差异化数字孪生角色(persona),覆盖不同年龄段、技术熟练度与使用动机。
2. Collect(收集):调用 run_adaptive_test.py 脚本,通过 Nova Act 执行浏览器操作(点击、滚动、输入),捕获原始响应与操作痕迹。
3. Interpret(解读):Agent 读取 test_results_adaptive.json,根据 raw_response 内容人工判断 goal_achieved(如 "No" → 失败,"Amazon Nova Act" → 成功),并评估摩擦等级。
4. Report(报告):调用 enhanced_report_generator.py 生成带交互式痕迹链接的专业 HTML 报告。
显著优点
- 真实工作流测试:支持电商结账、航班预订、社交媒体发帖等完整用户旅程,而非仅信息检索。
- 智能角色生成:Agent 基于对话历史与领域知识动态创建角色,避免通用模板的局限性。
- 安全硬隔离:内置 "Safety Guardrails",在支付确认、账户创建、公开发布等关键节点前强制停止,杜绝真实交易或数据变更风险。
- 自适应迭代:单任务失败时自动尝试最多 3 种替代路径,量化 UX 摩擦(低/中/高)。
- 零硬编码推理:Agent 直接解读自然语言响应,无需维护脆弱的正则表达式。
潜在缺点与局限性
- 依赖外部服务:需有效 AWS Nova Act API key 与 Playwright 浏览器环境(~300MB 首次下载)。
- 执行耗时:3 角色 × 3 目标 = 9 组测试,通常需 10-20 分钟,复杂媒体站点可能更久。
- Agent 负担重:Phase 3-4 必须由 AI 人工完成解读与报告生成,无法全自动化。
- Nova Act 能力边界:仅支持浏览器自动化,不具备复杂推理能力,需 Agent 将任务拆解为简单原子操作。
- 成本敏感:每轮测试消耗 Nova Act API 调用次数,高频使用需预算规划。
适合人群
- UX 研究员/设计师:需要验证特定用户群体的真实任务完成率。
- 产品经理:评估新功能上线前的端到端体验流畅度。
- 独立开发者/初创团队:无专职 QA 时快速获取结构化可用性反馈。
- 合规敏感行业(金融、医疗):需安全隔离的 "沙盒式" 用户旅程验证。
常规风险
- API 密钥泄露:
~/.openclaw/config/nova-act.json需妥善保管,避免提交至版本控制。 - 误报风险:Agent 解读
raw_response时可能误判语义(如 "Not found" 在特定语境下实为成功),需人工复核关键节点。 - 局部中断:网络波动或目标网站反爬机制可能导致单条测试失败,虽支持断点续跑,但可能遗漏覆盖场景。
- 法律合规:测试第三方网站前需确认 robots.txt 及服务条款允许自动化访问。