SkillBench

📊 AI技能性能追踪与自我进化引擎

AI技能性能追踪与迭代优化工具,自动记录成功率、耗时与趋势,生成改进信号,驱动Agent自我进化。

收藏
8.2k
安装
2.1k
版本
1.2.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心功能

skillbench 是面向 AI Agent 的自我改进型技能生态系统,专注于版本化技能管理、性能基准测试与迭代优化。其核心工作流形成闭环:使用技能 → 执行任务 → 记录结果 → 评分诊断 → 改进升级 → 版本对比,实现持续优化。

显著优点

1. 量化评估体系:独创 A+-D 五级评分机制,综合成功率(40%)、平均耗时(30%)、一致性(20%)与趋势(10%)四个维度,告别主观判断。
2. 无缝生态集成:原生对接 tasktime 自动获取任务耗时,同步 ClawVault 实现技能记忆持久化,降低人工记录成本。

3. 智能改进信号:自动识别「needs work」(成功率<70%)、「stale」(7天无数据)、「declining」(趋势恶化)三类风险状态,明确下一步优化方向。

4. 版本对比能力:支持跨版本性能 delta 分析,验证技能升级效果,避免「越改越差」。

潜在局限

  • 依赖外部工具:核心体验需配合 tasktime 与 ClawVault 完整发挥,独立使用价值受限。
  • 手动触发记录:虽支持 --success/--fail 标记,但仍需用户显式执行 record 命令,存在遗忘风险。
  • 评分权重固定:四大指标权重(40/30/20/10)不可调,难以适配特定场景(如高并发任务更关注一致性而非耗时)。
  • 生态锁定风险:深度绑定 Versatly/ClawHub 技术栈,跨平台迁移成本较高。

适合人群

  • 需高频迭代 AI 技能的开发者与 Agent 构建者
  • 运营多版本技能矩阵的团队,需数据驱动版本决策
  • 追求可观测 AI 系统、希望量化 Agent ROI 的技术管理者

常规风险

  • 数据隐私:基准数据同步至 ClawVault 云端,敏感业务场景需评估合规性
  • 评分误导:单一失败可能因外部因素(网络抖动)导致,需结合原始日志交叉验证
  • 版本漂移:skillbench use 切换版本后若忘记切回,可能导致后续任务误用旧版技能

SkillBench 内容

手动下载zip · 1.7 kB
SKILL.mdtext/markdown
请选择文件