核心用法
SkillCompass 是专为 Claude Code/OpenClaw skill 设计的本地评估引擎,通过 /eval-skill 等命令对 skill 进行六维深度检测(结构、触发、安全、功能、对比价值、独特性),输出 0-100 评分与 PASS/CAUTION/FAIL verdict。
典型工作流:
1. 初评:/eval-skill --scope full 生成 JSON/Markdown 双格式报告
2. 诊断:系统自动识别最弱维度(如 D3 安全或 D4 功能)
3. 改进:/eval-improve 自动修复问题,支持快照与回滚
4. 审计:/eval-audit --fix --budget 批量处理目录内全部 skill
关键特性:
- 零网络:纯本地运行,无 API 调用、无数据外泄
- 安全门控:D3 安全维度为硬性门槛,Critical 发现强制 FAIL
- 版本管理:
/eval-rollback与/eval-evolve支持多轮迭代 - 类型识别:自动区分 atom/composite/meta skill 及触发方式
显著优点
| 优势 | 说明 |
|------|------|
| 专业评估模型 | 六维加权评分(D3 安全 20%、D4 功能 30%),比简单"好用/不好用"更科学 |
| 防御性设计 | 预修改快照、自动回滚(维度降幅>2分触发)、多层验证(L0-L3) |
| 规模化能力 | `/eval-audit` 支持批量评估与预算控制,适合 CI/CD 集成 |
| 低依赖 | 仅依赖 js-yaml@4.1.1,Node.js ≥18 即可运行 |
潜在缺点与局限
1. Node.js 绑定:需本地 Node 环境,非纯 Markdown skill
2. 改进黑盒性:/eval-improve 自动修改逻辑对终端用户不透明,需人工复核关键变更
3. 生态局限:仅支持 Claude Code/OpenClaw skill 格式,无法评估其他平台(如 GPTs、Coze)
4. 威胁情报弱项:安全认证显示 TI(威胁情报)维度 65 分 warning,虽来源可信但缺乏代码签名
适合人群
- Skill 开发者:需要客观质量反馈与版本迭代
- 安全审核员:批量审计团队内部分享的 skill
- DevOps/平台治理:建立 skill 准入门槛与质量门禁
常规风险
| 风险点 | 等级 | 说明 |
|--------|------|------|
| 本地文件写入 | 中 | `.skill-compass/` 目录操作需用户授权,存在误覆盖风险(有快照回滚缓解) |
| Node.js 脚本执行 | 低 | 本地 bundled 验证器,无远程下载 |
| YAML 解析依赖 | 低 | js-yaml@4.1.1 无已知 CVE,需定期 audit |
使用建议:生产环境启用审计日志,关键改进前手动 snapshot,定期重跑评估以同步最新安全规则。