核心用法
HaluCatch(捕幻)是一款面向 AI Skill 执行可靠性的离线审查工具。用户只需提供目标 Skill 目录路径,工具即自动完成四维评估:地基(数据管线完整性)、代码(执行风险点)、规则(业务口径歧义)、护栏(解读约束机制)。支持 Python 3.8+,完全离线运行,不依赖外部 API。
执行流程采用三层分工模型:L1 文件扫描与 L2 结构化评估由 halucatch_core.py 一次性完成,L3 报告生成由 reporter.py 自动落盘三版报告(标准版/专业版/AI 行动版),AI 仅负责读取报告并做语义补充,不独立撰写正文。
显著优点
1. 评估维度全面:覆盖 Skill 执行失败的四大根因——数据管道不稳、代码易被 AI 误改、业务规则歧义、解读缺乏约束。
2. 输出分层清晰:标准版面向业务方(零术语白话)、专业版面向工程师(技术细节)、行动版面向修复阶段(可执行指令)。
3. 完全离线安全:不发起网络请求,单文件上限 10MB 自动截断,支持编码降级与超时保护。
4. 自动化程度高:单次命令完成扫描→评估→报告全流程,人工仅需确认路径与修复决策。
5. 类型自适应:自动区分「代码工程型」(含 .py/数据文件)与「纯方法论型」(文档/指令类),动态调整评估重点。
潜在局限
1. 非安全审计工具:明确不覆盖网络安全(SQL 注入/XSS)与合规性审查(GDPR/隐私法规)。
2. 业务正确性边界:仅检查规则「是否明确」,不验证业务逻辑本身是否正确。
3. 单次快照限制:基于目录即时状态,不追溯历史版本,不爬取外部依赖。
4. 中文生态依赖:多语言参数需显式配置,自动检测依赖系统 locale 可能不准。
5. 修复需人工确认:行动版报告虽生成修复方案,但执行前必须用户确认,无法一键自动修复。
适合人群
- AI Skill 开发者:部署前自检,降低生产环境执行失败风险。
- 数据工程师:审查含 Python 脚本的数据处理 Skill,防范 AI 误改代码。
- 业务分析师:验证方法论型 Skill 的指令完备性与可复现性。
- AI 平台运营方:建立 Skill 上架前的标准化质量门禁。
常规风险
- 误报风险:依赖正则与启发式规则,可能将合理代码标记为风险(如浮点比较
== 0在特定场景下是可接受的)。 - 漏报风险:新型篡改模式或业务特定歧义可能未被规则库覆盖。
- 路径与权限风险:需显式指定目标路径,误操作可能审查非预期目录;报告写入需
Write权限。 - 外部 Skill 误判:
skills/目录可能含外部安装的 Skill,需用户手动标记skills_is_external避免误审。