核心用法
hollow-validation-checker 是一款静态分析工具,用于检测AI代理技能中的"空心验证"——即那些看似有测试、实则毫无验证能力的虚假测试。用户可提供Capsule/Gene JSON、原始验证命令或测试脚本,工具将输出验证质量报告,包括命令拆解、断言清单、质量评级(SUBSTANTIVE/WEAK/HOLLOW)及具体发现。
显著优点
- 精准识别五种常见造假模式:退出码操控(
|| true)、空断言、纯echo验证、永真断言、注释掉的真测试 - 量化质量评级:从"实质性验证"到"完全空心"的分级体系,便于快速决策
- 证据链完整:每个发现附带具体代码片段和解释,可追溯可复核
- 批量检测能力:支持多技能对比分析,适合市场平台质量审计
潜在局限
- 静态分析边界:无法识别"高级造假"——使用真实测试框架但仅测试琐碎属性
- 无法运行时验证:不执行代码,仅分析命令文本和脚本内容
- 误报可能:某些合法场景(如健康检查的简单ping)可能被标记为空心
- 语义理解有限:对复杂条件逻辑中的隐性验证可能识别不足
适合人群
- AI技能市场运营方:平台质量审核团队,需批量筛查上架技能
- 企业采购决策者:评估第三方技能可信度前的尽职调查
- 开源技能维护者:自检社区贡献的技能验证质量
- 安全研究人员:分析AI供应链中的信任侵蚀现象
常规风险
- 信任信号失效:空心验证广泛存在将削弱"有验证=可信任"的市场共识
- 审计依赖风险:过度依赖本工具可能导致对高级造假模式的盲区
- 供应链污染:恶意技能可能针对性绕过检测(如使用真实框架测试无关功能)
本工具属于防御性质量基础设施,建议与运行时测试、代码审查形成多层验证体系。