SkillBench

📊 AI Agent 技能性能追踪与优化

AI Agent 技能性能追踪与版本对比工具,通过自动化基准测试和评分系统,帮助开发者识别技能瓶颈并持续优化

收藏
5.4k
安装
2.1k
版本
1.4.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

SkillBench 是一款面向 AI Agent 生态的技能性能追踪与基准测试 CLI 工具,构建于 Node.js 之上,与 tasktime 时间追踪器和 ClawVault 技能市场深度集成。

核心工作流遵循六步闭环:
1. 版本标记 — skillbench use github@1.0.0 设定当前使用版本

2. 任务执行 — 配合 tasktime 记录实际工作时间

3. 结果录入 — skillbench record "task" --success 自动或手动记录任务结果

4. 性能评分 — skillbench score 基于成功率(40%)、平均耗时(30%)、一致性(20%)、趋势(10%)计算综合评级

5. 迭代优化 — 根据信号更新技能并升级版本

6. 版本对比 — skillbench compare 量化不同版本改进效果

关键能力包括:多格式数据导出(markdown/json/HTML Dashboard)、自动化测试套件、健康监控告警、以及智能改进信号(成功率低于70%标红、7天无数据标 stale、趋势下滑预警)。

显著优点

  • 量化驱动决策:A+/A/B/C/D 五级评分体系将模糊的"技能好坏"转化为可追踪指标
  • 生态深度整合:与 tasktime 自动同步时长、与 ClawVault 双向同步技能库,降低手动维护成本
  • 持续监控机制:watch --interval 支持定时轮询,适合 CI/CD 场景下的技能健康度守护
  • 版本化对比:唯一支持跨版本性能 diff 的开源工具,对 Agent 技能迭代至关重要

潜在局限

  • Node.js 依赖:需全局安装 npm 包,对纯 Python 生态用户增加环境复杂度
  • 生态锁定:核心集成(tasktime/ClawVault)均为同一厂商产品,跨平台扩展性有限
  • 评分权重固定:40-30-20-10 的指标权重无法自定义,难以适配不同业务场景的优先级
  • 数据本地化:未见提及加密存储或审计日志,企业级合规场景需额外评估

适合人群

  • AI Agent 开发者:需要验证 prompt/engineering 改动的实际效果
  • 技能市场维护者:管理多版本技能的质量基线
  • MLOps/AgentOps 工程师:构建可观测的 Agent 性能体系

常规风险

| 风险类型 | 说明 |
|---------|------|
| 数据完整性 | 依赖 tasktime 自动同步时,若 tasktime 异常会导致 benchmark 数据缺失 |
| 版本漂移 | `use` 命令仅做标记,不强制校验实际运行技能版本,存在记录与实际不符可能 |
| 隐私泄露 | `export --format json` 可能包含敏感任务描述,分享 dashboard 时需注意脱敏 |

来源可信度说明

SkillBench 隶属于 ClawHub/Versatly 商业生态,文档结构完整、功能边界清晰,但安全认证报告为占位符,未提供实际扫描结果。建议生产环境使用前补充依赖审计与 SAST 检测。

SkillBench 内容

手动下载zip · 1.8 kB
SKILL.mdtext/markdown
请选择文件