核心功能
HaluCatch(捕幻)是一款面向 AI Skill 的可靠性审查工具,通过四维评估框架系统检测 Skill 在 AI 执行过程中的潜在失效点:
- 地基:数据管线稳固性(路径参数化、输入验证、依赖声明)
- 代码:AI 复现代码时的篡改风险(统计函数、条件逻辑、异常处理等高危模式)
- 规则:业务口径清晰度(渠道定义、边界条件、代际映射等)
- 护栏:结果解读约束(因果禁令、自检机制、限制性声明等)
显著优点
1. 自动化流程:halucatch_core.py 一次性完成 L1 扫描→L2 评估→L3 报告生成,AI 仅需读取展示
2. 三版输出:专业版(技术细节)、标准版(白话摘要)、AI 行动版(修复指令),适配不同受众
3. 智能分类:自动识别「代码工程型」vs「纯方法论型」,动态调整评估维度
4. 闭环修复:评估→确认→修复→验证的完整工作流,降低 Skill 上线风险
5. 稳定防护:大文件截断、编码容错、超时保护,极端场景自动降级不崩溃
潜在局限
- 不覆盖网络安全审查(SQL 注入、XSS)
- 不替代业务正确性验证(仅检查规则是否明确,不判断规则本身对错)
- 依赖脚本执行环境,需 Python3 及相应依赖
- 离线运行,不验证外部 API 可用性
适合人群
| 角色 | 使用场景 |
|------|---------|
| Skill 开发者 | 发布前自检、迭代回归测试 |
| 数据工程师 | 评估数据管线型 Skill 的可靠性 |
| 业务负责人 | 快速理解第三方 Skill 的风险等级 |
| AI 平台运营 | 建立 Skill 准入审查机制 |
常规风险
- 过度依赖分数:低分≠不可用,需结合 Skill 类型和业务场景解读
- 修复方案误执行:AI 行动版需用户确认后再应用,防止误改生产 Skill
- 版本漂移:Skill 修改后未重新审查,历史报告失效
- 路径/编码问题:Windows/Linux 路径差异、非 UTF-8 编码导致文件跳过
> 建议将 HaluCatch 纳入 CI/CD 流程,每次 Skill 变更后自动触发审查。