HaluCatch / 捕幻

🛡️ AI Skill 可靠性四维审查与修复

AI Skill 执行可靠性四维审查工具,一键检测数据管线、代码、业务规则、解读护栏的潜在风险,输出修复建议。

收藏
4.7k
安装
984
版本
1.7.7
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心功能

HaluCatch(捕幻)是一款面向 AI Skill 的可靠性审查工具,通过四维评估框架系统检测 Skill 在 AI 执行过程中的潜在失效点:

  • 地基:数据管线稳固性(路径参数化、输入验证、依赖声明)
  • 代码:AI 复现代码时的篡改风险(统计函数、条件逻辑、异常处理等高危模式)
  • 规则:业务口径清晰度(渠道定义、边界条件、代际映射等)
  • 护栏:结果解读约束(因果禁令、自检机制、限制性声明等)

显著优点

1. 自动化流程halucatch_core.py 一次性完成 L1 扫描→L2 评估→L3 报告生成,AI 仅需读取展示
2. 三版输出:专业版(技术细节)、标准版(白话摘要)、AI 行动版(修复指令),适配不同受众

3. 智能分类:自动识别「代码工程型」vs「纯方法论型」,动态调整评估维度

4. 闭环修复:评估→确认→修复→验证的完整工作流,降低 Skill 上线风险

5. 稳定防护:大文件截断、编码容错、超时保护,极端场景自动降级不崩溃

潜在局限

  • 不覆盖网络安全审查(SQL 注入、XSS)
  • 不替代业务正确性验证(仅检查规则是否明确,不判断规则本身对错)
  • 依赖脚本执行环境,需 Python3 及相应依赖
  • 离线运行,不验证外部 API 可用性

适合人群

| 角色 | 使用场景 |
|------|---------|
| Skill 开发者 | 发布前自检、迭代回归测试 |
| 数据工程师 | 评估数据管线型 Skill 的可靠性 |
| 业务负责人 | 快速理解第三方 Skill 的风险等级 |
| AI 平台运营 | 建立 Skill 准入审查机制 |

常规风险

  • 过度依赖分数:低分≠不可用,需结合 Skill 类型和业务场景解读
  • 修复方案误执行:AI 行动版需用户确认后再应用,防止误改生产 Skill
  • 版本漂移:Skill 修改后未重新审查,历史报告失效
  • 路径/编码问题:Windows/Linux 路径差异、非 UTF-8 编码导致文件跳过

> 建议将 HaluCatch 纳入 CI/CD 流程,每次 Skill 变更后自动触发审查。

HaluCatch / 捕幻 内容

halucatch文件夹
evaluators文件夹
手动下载zip · 45.7 kB
__init__.pytext/plain
请选择文件