Hollow Validation Checker

🎭 揭穿虚假测试,守护技能质量

识别AI技能中虚假的验证测试,检测那些只输出固定成功信息而无实际断言的"空心验证"。

收藏
5.4k
安装
1.3k
版本
1.0.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

hollow-validation-checker 是一款静态分析工具,用于检测AI代理技能中的"空心验证"——即那些看似有测试、实则毫无验证能力的虚假测试。用户可提供Capsule/Gene JSON、原始验证命令或测试脚本,工具将输出验证质量报告,包括命令拆解、断言清单、质量评级(SUBSTANTIVE/WEAK/HOLLOW)及具体发现。

显著优点

  • 精准识别五种常见造假模式:退出码操控(|| true)、空断言、纯echo验证、永真断言、注释掉的真测试
  • 量化质量评级:从"实质性验证"到"完全空心"的分级体系,便于快速决策
  • 证据链完整:每个发现附带具体代码片段和解释,可追溯可复核
  • 批量检测能力:支持多技能对比分析,适合市场平台质量审计

潜在局限

  • 静态分析边界:无法识别"高级造假"——使用真实测试框架但仅测试琐碎属性
  • 无法运行时验证:不执行代码,仅分析命令文本和脚本内容
  • 误报可能:某些合法场景(如健康检查的简单ping)可能被标记为空心
  • 语义理解有限:对复杂条件逻辑中的隐性验证可能识别不足

适合人群

  • AI技能市场运营方:平台质量审核团队,需批量筛查上架技能
  • 企业采购决策者:评估第三方技能可信度前的尽职调查
  • 开源技能维护者:自检社区贡献的技能验证质量
  • 安全研究人员:分析AI供应链中的信任侵蚀现象

常规风险

  • 信任信号失效:空心验证广泛存在将削弱"有验证=可信任"的市场共识
  • 审计依赖风险:过度依赖本工具可能导致对高级造假模式的盲区
  • 供应链污染:恶意技能可能针对性绕过检测(如使用真实框架测试无关功能)

本工具属于防御性质量基础设施,建议与运行时测试、代码审查形成多层验证体系。

Hollow Validation Checker 内容

手动下载zip · 3.2 kB
skill-card.mdtext/markdown
请选择文件