Skill Review Pro

🔍 AI Skill 专业质量评审与评分系统

AI Skill专业质量评审系统,通过静态审查与对抗检查对Skill进行100分制评分,输出专业评审报告与改进建议,采用模块化架构支持类型化策略。

收藏
3.2k
安装
1.3k
版本
1.2.1
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心功能与定位

skill-review-pro 是一款面向 AI Skill 的专业质量评审系统,定位于「Skill 质量评审专家」。其核心使命是通过系统化静态审查与对抗性验证,对目标 Skill 进行量化评分(100 分制),并输出可执行的改进建议。

显著优势

1. 模块化架构设计
采用主控编排 + 类型策略 + 评分模型 + 修复执行器的四层架构。主控 SKILL.md 负责任务路由与流程编排,策略层按域(engineering/cognition/workflow)加载专属规则,评分模型提供维度锚点与 Failure Taxonomy,修复模块支持逐条确认式修复。这种设计实现了高内聚、低耦合,便于策略扩展与版本演进。

2. 类型感知评审
创新性地引入「两级路由」机制:必加载的 base 层(reliability/maintainability/ux)+ 按类型加载的 domain 层。通过「核心动词分析法」识别 Skill 主任务类型(如 teach→cognition/teaching, review→workflow/reviewer),并设置 reviewer 类优先规则,确保关键稳定性需求不被遗漏。

3. 对抗检查清单(A1-A5)
在 reliability.md 中内置结构化对抗检查,覆盖注入风险、边界模糊、权限越界等典型失效模式,弥补纯静态分析的盲区。

4. 多模态执行流程
支持标准评审、直接修复、意见验证、稳定性 benchmark 四种模式,适配不同用户场景:从「想看完整报告」到「直接帮我修」到「验证第三方建议」再到「多轮稳定性测试」,覆盖 Skill 全生命周期质量管控需求。

5. 严谨的降级与继承机制
模块加载失败时自动降级(scoring 失败终止评审,domain 失败降级为 base-only),同时严格约束 domain policy 不得重复 base 规则,确保评审的鲁棒性与一致性。

潜在局限

1. 依赖模块完整性
评分模型(scoring/SKILL.md)为硬性依赖,文件缺失或内容为空将直接终止评审。对于自定义安装环境的用户,模块完整性检查可能成为使用门槛。

2. 超长内容处理复杂度
当 Skill 总内容超过 8000 字符时,需「首次全量读取建立结构索引」,评审时引用章节。这种设计虽平衡了性能与精度,但增加了实现复杂度,且「优先评审核心模块」的优先级判断可能因 Skill 结构差异而产生偏差。

3. 锚定效应提醒
系统明确提示「同一 session 连续评分存在锚定效应,跨 session 波动预计 ±3–4 分」,这反映了评分主观性的固有挑战,但未提供量化校准机制。

4. 类型路由的边缘模糊
「核心动词分析法」虽实用,但面对高度复合的 Skill(如「生成代码并教学讲解」),主任务类型的判定仍可能产生歧义,尽管设置了 reviewer 优先规则,复杂场景下的路由准确性依赖实现细节。

适合人群

  • Skill 开发者:在发布前进行质量自检,获取具体改进建议
  • Skill 平台运营者:建立统一的 Skill 入驻质量门槛
  • 企业 AI 架构师:评估内部 Skill 资产的健壮性与可维护性
  • 开源社区维护者:评审 PR 中的 Skill 贡献,确保合并质量

常规风险

评审权威性风险:100 分制评分依赖锚点定义,不同版本的 scoring/SKILL.md 可能导致分数漂移,建议版本锁定。
修复误操作风险:fix 模块强调「绝不主动修复,逐条确认」,但用户若误用「直接修」模式,可能在未充分理解问题的情况下执行变更。

对抗覆盖不全:A1-A5 清单虽覆盖常见攻击面,但新型注入手法(如跨模态编码攻击)可能未纳入,需定期更新 checklist。

总体评估

skill-review-pro 是当前生态中少有的系统化 Skill 质量基础设施,其模块化设计、类型感知策略与多模态执行流程体现了专业工程思维。对于追求 Skill 生产级质量的场景,是必备工具;但需注意模块依赖管理与评分主观性的边界认知。

Skill Review Pro 内容

fix文件夹
policies文件夹
base文件夹
cognition文件夹
engineering文件夹
workflow文件夹
scoring文件夹
手动下载zip · 27.6 kB
SKILL.mdtext/markdown
请选择文件