概述
skillbench 是一套面向 AI Agent 的自我改进型技能生态系统 CLI 工具，核心定位是量化技能表现、驱动持续迭代优化。它通过记录任务执行数据（成功率、耗时、错误类型），生成多维度评分，并提供可视化的改进信号，帮助开发者或 AI 系统识别薄弱技能并针对性优化。
核心用法
基础工作流（The Loop）
1. 声明技能版本：skillbench use github@1.0.0
2. 执行任务（配合 tasktime 计时）
3. 记录结果：skillbench record "Create PR" --success
4. 查看评分：skillbench score github
5. 迭代优化后对比版本差异：skillbench compare github@1.0.0 github@1.1.0
关键功能模块
- 技能追踪：版本化管理，支持
skills列表与信号提示 - 基准测试：自动从 tasktime 拉取耗时，支持手动指定 duration、错误类型标记
- 评分系统：A+ 至 D 六级评分，基于成功率(40%)、平均耗时(30%)、一致性(20%)、趋势(10%)
- 基线与回归检测：
baseline --set/check支持 CI 集成，失败时 exit 1 - 持续监控：
watch --interval定时巡检，schedule生成 cron 配置 - 生态集成：无缝对接 tasktime（计时）、ClawVault（技能仓库同步）
显著优点
- 量化驱动决策：将模糊的"技能好坏"转化为可对比的评分与趋势图
- 自动化闭环：从计时→记录→评分→改进建议，减少人工干预
- CI/CD 友好：基线检查、回归检测、JSON/Markdown 导出便于集成流水线
- 生态协同：与 tasktime、ClawVault 形成工具链，降低使用摩擦
- 多 Agent 支持：leaderboard 功能支持多 Agent 环境下的横向对比
潜在局限
- Node.js 依赖：需全局安装 npm 包，对环境有前置要求
- 数据冷启动：新技能需积累一定样本量后评分才具参考价值
- 评分权重固定：成功率 40%、耗时 30% 等权重不可自定义，可能不适应特殊场景
- 错误类型依赖人工标记：
--error-type需使用者主动分类，自动化程度有限 - 生态锁定倾向：深度集成 ClawVault/tasktime，脱离该生态后部分功能降级
适合人群
- AI Agent 开发者：需要持续迭代 prompt 或 tool 技能的工程师
- MLOps/LLMOps 团队：管理多版本技能、需监控线上表现的团队
- 自动化测试工程师：构建技能回归测试套件，保障升级不降级
- 多 Agent 系统架构师：通过 leaderboard 优化 Agent 分工策略
常规风险
- 数据累积偏差：长期运行后历史数据可能稀释近期变化敏感度，建议定期
baseline或归档 - 评分误导：高成功率但极慢耗时的技能可能获 B 级，需结合业务场景解读
- 监控盲区：
watch为被动轮询，非实时流式监控，关键故障可能延迟发现 - 版本漂移：
use命令仅为本地标记，不强制技能代码版本一致性，需配合 git/ClawVault 管控