核心用法
SkillBench 是一款面向 AI Agent 生态的技能性能追踪与基准测试 CLI 工具,构建于 Node.js 之上,与 tasktime 时间追踪器和 ClawVault 技能市场深度集成。
核心工作流遵循六步闭环:
1. 版本标记 — skillbench use github@1.0.0 设定当前使用版本
2. 任务执行 — 配合 tasktime 记录实际工作时间
3. 结果录入 — skillbench record "task" --success 自动或手动记录任务结果
4. 性能评分 — skillbench score 基于成功率(40%)、平均耗时(30%)、一致性(20%)、趋势(10%)计算综合评级
5. 迭代优化 — 根据信号更新技能并升级版本
6. 版本对比 — skillbench compare 量化不同版本改进效果
关键能力包括:多格式数据导出(markdown/json/HTML Dashboard)、自动化测试套件、健康监控告警、以及智能改进信号(成功率低于70%标红、7天无数据标 stale、趋势下滑预警)。
显著优点
- 量化驱动决策:A+/A/B/C/D 五级评分体系将模糊的"技能好坏"转化为可追踪指标
- 生态深度整合:与 tasktime 自动同步时长、与 ClawVault 双向同步技能库,降低手动维护成本
- 持续监控机制:
watch --interval支持定时轮询,适合 CI/CD 场景下的技能健康度守护 - 版本化对比:唯一支持跨版本性能 diff 的开源工具,对 Agent 技能迭代至关重要
潜在局限
- Node.js 依赖:需全局安装 npm 包,对纯 Python 生态用户增加环境复杂度
- 生态锁定:核心集成(tasktime/ClawVault)均为同一厂商产品,跨平台扩展性有限
- 评分权重固定:40-30-20-10 的指标权重无法自定义,难以适配不同业务场景的优先级
- 数据本地化:未见提及加密存储或审计日志,企业级合规场景需额外评估
适合人群
- AI Agent 开发者:需要验证 prompt/engineering 改动的实际效果
- 技能市场维护者:管理多版本技能的质量基线
- MLOps/AgentOps 工程师:构建可观测的 Agent 性能体系
常规风险
| 风险类型 | 说明 |
|---------|------|
| 数据完整性 | 依赖 tasktime 自动同步时,若 tasktime 异常会导致 benchmark 数据缺失 |
| 版本漂移 | `use` 命令仅做标记,不强制校验实际运行技能版本,存在记录与实际不符可能 |
| 隐私泄露 | `export --format json` 可能包含敏感任务描述,分享 dashboard 时需注意脱敏 |
来源可信度说明
SkillBench 隶属于 ClawHub/Versatly 商业生态,文档结构完整、功能边界清晰,但安全认证报告为占位符,未提供实际扫描结果。建议生产环境使用前补充依赖审计与 SAST 检测。