HaluCatch / 捕幻

🔍 AI Skill 可靠性四维审查工具

AI Skill 可靠性审查工具,评估数据管线、代码风险、业务规则与解读护栏四大维度,生成三版报告(标准/专业/行动),全程离线运行。

收藏
3.2k
安装
984
版本
1.8.3
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

HaluCatch(捕幻)是一款面向 AI Skill 执行可靠性的离线审查工具。用户只需提供目标 Skill 目录路径,工具即自动完成四维评估:地基(数据管线完整性)、代码(执行风险点)、规则(业务口径歧义)、护栏(解读约束机制)。支持 Python 3.8+,完全离线运行,不依赖外部 API。

执行流程采用三层分工模型:L1 文件扫描与 L2 结构化评估由 halucatch_core.py 一次性完成,L3 报告生成由 reporter.py 自动落盘三版报告(标准版/专业版/AI 行动版),AI 仅负责读取报告并做语义补充,不独立撰写正文。

显著优点

1. 评估维度全面:覆盖 Skill 执行失败的四大根因——数据管道不稳、代码易被 AI 误改、业务规则歧义、解读缺乏约束。
2. 输出分层清晰:标准版面向业务方(零术语白话)、专业版面向工程师(技术细节)、行动版面向修复阶段(可执行指令)。

3. 完全离线安全:不发起网络请求,单文件上限 10MB 自动截断,支持编码降级与超时保护。

4. 自动化程度高:单次命令完成扫描→评估→报告全流程,人工仅需确认路径与修复决策。

5. 类型自适应:自动区分「代码工程型」(含 .py/数据文件)与「纯方法论型」(文档/指令类),动态调整评估重点。

潜在局限

1. 非安全审计工具:明确不覆盖网络安全(SQL 注入/XSS)与合规性审查(GDPR/隐私法规)。
2. 业务正确性边界:仅检查规则「是否明确」,不验证业务逻辑本身是否正确。

3. 单次快照限制:基于目录即时状态,不追溯历史版本,不爬取外部依赖。

4. 中文生态依赖:多语言参数需显式配置,自动检测依赖系统 locale 可能不准。

5. 修复需人工确认:行动版报告虽生成修复方案,但执行前必须用户确认,无法一键自动修复。

适合人群

  • AI Skill 开发者:部署前自检,降低生产环境执行失败风险。
  • 数据工程师:审查含 Python 脚本的数据处理 Skill,防范 AI 误改代码。
  • 业务分析师:验证方法论型 Skill 的指令完备性与可复现性。
  • AI 平台运营方:建立 Skill 上架前的标准化质量门禁。

常规风险

  • 误报风险:依赖正则与启发式规则,可能将合理代码标记为风险(如浮点比较 == 0 在特定场景下是可接受的)。
  • 漏报风险:新型篡改模式或业务特定歧义可能未被规则库覆盖。
  • 路径与权限风险:需显式指定目标路径,误操作可能审查非预期目录;报告写入需 Write 权限。
  • 外部 Skill 误判:skills/ 目录可能含外部安装的 Skill,需用户手动标记 skills_is_external 避免误审。

HaluCatch / 捕幻 内容

halucatch文件夹
evaluators文件夹
手动下载zip · 70.1 kB
__init__.pytext/plain
请选择文件