核心用法
human_test() 是一项连接真实人类测试者与AI代理的可用性测试技能。开发者只需提供产品URL或描述,系统即自动生成测试计划,招募真人测试员完成15分钟以内的录屏任务,涵盖首印象、任务流程和NPS评分。测试完成后,AI提取关键视频帧进行视觉分析,并聚合所有反馈生成结构化报告。
部署方式灵活:可选择零配置的托管版本(https://human-test.work),或本地自托管(npm全局安装,自动检测环境AI密钥)。创建任务通过POST请求指定url、focus、maxTesters等参数,支持异步webhook通知和GitHub仓库集成,实现"测试-报告-代码修复"的闭环自动化。
显著优点
1. 真实人类反馈:弥补AI无法感知人类情绪、认知盲区的根本局限
2. 结构化报告:机器可解析的Markdown格式,含CRITICAL/MAJOR/MINOR分级、P0-P3优先级建议,便于代理自动创建issue或PR
3. 视觉AI分析:自动提取录屏关键帧,识别UI可用性问题
4. 闭环自动化:支持repoUrl参数,测试完成后自动生成代码修复建议,甚至直接提PR
5. 双语支持:报告可输出英文或中文
潜在局限
- 依赖第三方真人测试者池,测试完成时间存在不确定性
- 录屏涉及用户隐私数据,需合规处理
- 代码自动修复功能需授权GitHub账号访问仓库,存在权限管理复杂度
- 单次测试成本随
maxTesters数量线性增长(1-50人)
适合人群
- AI产品开发者:验证Agent产出的实际可用性
- 独立开发者/MVP团队:快速获取真实用户反馈,替代昂贵用研
- 自动化工作流构建者:将可用性测试集成到CI/CD流水线
- 跨境产品团队:需要中英双语报告输出
常规风险
- 隐私合规:录屏可能捕获敏感信息,需确保测试环境隔离
- 依赖可用性:托管服务依赖human-test.work持续运营
- 权限安全:GitHub集成需审慎授权,避免过度暴露代码仓库
- 结果质量:测试者水平参差,虽AI聚合但仍可能出现误报或漏报
技术可靠性
项目开源(GitHub可查),托管版本有明确域名背书,支持本地自托管降低供应商锁定风险。API设计遵循RESTful规范,webhook机制支持异步回调,符合现代集成标准。