核心用法
Skill Test 是一个技能测试框架,提供两种主要场景:
1. 试用模式(Trial Mode) — 在安装前试驾技能,通过独立子代理仅加载目标技能,运行 2-3 个代表性任务,评估是否实用、指令是否清晰,再决定保留或放弃。
2. 评估模式(Evaluation Mode) — 在发布前验证技能质量,调用专门的评审代理检查结构完整性、安全性和实用性,并给出改进建议。
隔离机制:使用 sessions_spawn 创建子代理,仅向子代理注入待测技能的 SKILL.md,主会话完全不受影响。推荐使用 anthropic/claude-haiku 等低成本模型降低测试开销。
对比功能:支持 A/B 测试,将同一任务分配给不同技能的独立子代理并行执行,横向对比输出质量后给出选择建议。
显著优点
- 零风险隔离:子代理天然边界,测试失败或异常不会污染主环境
- 成本优化:测试阶段使用轻量级模型(Haiku),正式使用时再切回高性能模型
- 流程标准化:内置试用→评估→决策的完整工作流,降低人工判断成本
- 灵活扩展:支持凭证模拟、多文件引用、边缘异常处理
潜在局限性
- 依赖子代理能力:测试质量受限于子代理对复杂技能的理解深度
- 凭证敏感场景受限:若技能强依赖真实凭证,测试需要用户配合或跳过部分功能
- 无法完全模拟生产负载:沙盒环境难以复现高并发、长会话等真实场景压力
适合人群
- 技能开发者:发布前自检质量
- 平台运营者:批量审核第三方技能
- 终端用户:在引入外部技能前验证安全性和实用性
常规风险
- 子代理逃逸:虽然概率极低,但需确保
sessions_spawn的权限配置正确,防止测试技能通过子代理向主会话泄露数据 - 测试用例覆盖不足:代表性任务选取不当可能导致漏检严重缺陷
- 模型差异偏差:Haiku 测试通过不代表 Sonnet/Opus 环境下表现一致,需分阶段验证