核心功能
skillbench 是面向 AI Agent 的自我改进型技能生态系统,专注于版本化技能管理、性能基准测试与迭代优化。其核心工作流形成闭环:使用技能 → 执行任务 → 记录结果 → 评分诊断 → 改进升级 → 版本对比,实现持续优化。
显著优点
1. 量化评估体系:独创 A+-D 五级评分机制,综合成功率(40%)、平均耗时(30%)、一致性(20%)与趋势(10%)四个维度,告别主观判断。
2. 无缝生态集成:原生对接 tasktime 自动获取任务耗时,同步 ClawVault 实现技能记忆持久化,降低人工记录成本。
3. 智能改进信号:自动识别「needs work」(成功率<70%)、「stale」(7天无数据)、「declining」(趋势恶化)三类风险状态,明确下一步优化方向。
4. 版本对比能力:支持跨版本性能 delta 分析,验证技能升级效果,避免「越改越差」。
潜在局限
- 依赖外部工具:核心体验需配合 tasktime 与 ClawVault 完整发挥,独立使用价值受限。
- 手动触发记录:虽支持
--success/--fail标记,但仍需用户显式执行record命令,存在遗忘风险。 - 评分权重固定:四大指标权重(40/30/20/10)不可调,难以适配特定场景(如高并发任务更关注一致性而非耗时)。
- 生态锁定风险:深度绑定 Versatly/ClawHub 技术栈,跨平台迁移成本较高。
适合人群
- 需高频迭代 AI 技能的开发者与 Agent 构建者
- 运营多版本技能矩阵的团队,需数据驱动版本决策
- 追求可观测 AI 系统、希望量化 Agent ROI 的技术管理者
常规风险
- 数据隐私:基准数据同步至 ClawVault 云端,敏感业务场景需评估合规性
- 评分误导:单一失败可能因外部因素(网络抖动)导致,需结合原始日志交叉验证
- 版本漂移:
skillbench use切换版本后若忘记切回,可能导致后续任务误用旧版技能