Skill Insight

🦞 AI技能使用追踪与优化分析

AI代理技能使用追踪与优化工具,自动记录调用频率、生成多维度报告,识别冗余技能并提供卸载建议,让技能管理从直觉走向数据驱动。

收藏
1.7k
安装
622
版本
1.0.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Skill Insight 是面向 OpenClaw/Hal Stack 生态的技能使用分析与优化工具,通过三层机制实现精细化管理:

1. 自动化数据采集

  • 自动扫描会话:通过 scan_sessions.py 解析 OpenClaw 历史会话,检测技能调用模式(路径匹配、脚本名识别、技能名提及)
  • 手动记录补充:对 LLM 路由型技能(access_type=route),可通过 record.sh 手动记录调用场景、结果与备注
  • 结果追踪:支持事后更新成功/失败/跳过状态,形成完整的调用-结果闭环

2. 多维分析报表

  • 周期报告:日/周/月/全时段使用频率统计,含成功率指标
  • 零调用分析:analyze.sh 自动识别指定周期内无调用的技能,按 access_type 分类给出「保留/复审/卸载」三级建议
  • 输出格式:支持终端表格与 JSON 两种格式,便于集成到自动化工作流

3. 技能资产管理

  • 技能注册表:维护带元数据的技能清单,包含 access_type(route/tool/script)分类,这是分析准确性的关键维度
  • 路径无关设计:通过 path_utils.py 动态解析安装位置,支持任意目录部署
  • 数据隔离:用户数据存放于 data/ 目录,通过 .clawhubignore 排除发布,保护隐私

显著优点

  • 零侵入设计:无需修改现有技能代码,纯外围日志式采集
  • 智能分类处理:区分 LLM 路由技能(可分析)与内置工具/直接脚本调用(排除),避免误报
  • 自动化程度高:支持 cron 定时扫描,可无人值守运行
  • 决策导向输出:不堆砌数据,直接给出「卸载建议」等可执行结论
  • 隐私优先架构:用户行为数据完全本地隔离,不随技能包发布

潜在缺点与局限性

  • 检测盲区toolscript 类型的技能调用无法自动检测(设计取舍,非技术缺陷)
  • 依赖用户习惯route 类型技能的手动记录依赖用户主动执行,遗漏将影响分析准确性
  • 无实时监控:基于会话日志的离线分析,非实时流式统计
  • 生态绑定:专为 OpenClaw/Hal Stack 设计,其他 Agent 框架需适配
  • 成功判定主观:「成功/失败」依赖用户标注或启发式规则,可能存在偏差

适合人群

  • 拥有 10+ 技能的「重度用户」,难以凭记忆管理技能库
  • 追求 ROI 优化的效率型用户,希望识别「僵尸技能」
  • 团队协作场景下的技能管理员,需要审计使用分布
  • 喜欢数据驱动决策、厌恶「可能有用所以留着」式囤积的极简主义者

常规风险

  • 数据积累风险:长期运行后 usage.json 可能膨胀,需定期归档或清理
  • 路径解析失败:极端自定义安装场景下 path_utils.py 可能失效(虽设计已做防护)
  • cron 配置失误:自动化脚本若日志路径权限不当,可能导致静默失败
  • 版本漂移:技能元数据(如 access_type)与实际实现不一致时,分析结论失真
  • 隐私泄露隐患:尽管设计隔离,用户若误操作将 data/ 提交至 Git,仍可能暴露使用模式

Skill Insight 内容

sample文件夹
scripts文件夹
手动下载zip · 18.5 kB
registry_sample.jsonapplication/json
请选择文件