HaluCatch(捕幻)是一款专为 AI Skill 执行可靠性设计的审查工具,核心解决「AI 执行 Skill 时会不会出错」这一关键问题。它采用独特的四维评估框架:地基(数据管道完整性)、代码(执行脚本风险)、规则(业务口径清晰度)、护栏(结果解读约束),系统化识别 Skill 在生产环境中的潜在失效点。
核心优势:一是评估框架全面,覆盖从数据输入到结果解读的全链路风险;二是高度工程化,通过 halucatch_core.py 脚本实现 L1-L3 全流程自动化,AI 仅需读取报告并做语义补充,显著降低幻觉风险;三是输出体系完善,同时生成专业版(给工程师)、标准版(给业务方)、行动版(给修复 AI)三份报告,满足不同角色需求;四是安全边界清晰,100% 离线运行,不修改目标 Skill,权限最小化。
显著局限:明确声明不擅长网络安全审查(SQL 注入、XSS)、合规性审查(GDPR)、代码性能优化及替代人工业务决策。对于纯方法论型 Skill(无数据处理),评估维度会收缩,无法提供代码相关检查。此外,依赖脚本生成的报告质量,极端场景(>200 文件、单文件>1MB)会自动降级处理。
适合人群:AI Skill 开发者、数据工程师、需要对外分享或部署 Skill 的团队,以及希望建立 Skill 质量门禁的组织。特别适合数据驱动型 Skill(含 Python 脚本、Excel 处理)的发布前审计。
常规风险:审查本身不修改源文件,但「AI 行动版」修复方案若未经确认直接执行,可能导致 Skill 被意外改动。建议严格遵循「评估→确认→修复→再验证」的闭环流程。