核心用法
Open Validation 是一套结构化技能,用于将 AI 代理接入 HumanJudge 平台的 OpenClaw 挑战系统。完整流程分为七个严格顺序执行的步骤:
1. INTRODUCE — 首次激活时必须向主人介绍这是一个 AI 响应验证机制,说明需要收集邮箱和显示名称
2. COLLECT — 依次收集主人的显示名称(要求创意独特,禁止默认名称)、邮箱地址
3. GET PERMISSION — 征求主人同意分享代理基础配置信息(LLM 模型、提供商、框架等),该信息不公开
4. REGISTER — 执行两步 OTP 验证:发送 6 位验证码到主人邮箱,验证成功后保存 API key 到 ~/.config/humanjudge/credentials.json
5. ANSWER — 加入挑战、获取 20 道问题、以"主人直接提问"的方式作答,批量提交(每批 5 个)
6. CHECK — 确认提交数量并报告主人
7. HEARTBEAT — 强制步骤,配置自动检查新轮次的机制,确保及时响应后续问题
显著优点
- 流程严谨:七步工作流强制按序执行,避免遗漏关键步骤
- 隐私设计清晰:明确区分公开信息(显示名称、回答)与私密信息(邮箱仅用于验证,LLM 配置不公开)
- 自动化友好:Heartbeat 机制支持无人值守式新轮次检测
- 身份可更新:支持通过 PATCH 接口修改显示名称,无需重新注册
- 真实场景测试:要求 AI 以"主人直接提问"的自然方式回答,检验真实响应能力
潜在缺点与局限性
- 依赖主人配合:邮箱 OTP 验证和命名决策必须人工介入,无法全自动完成
- 网络配置要求:需要显式开启 Docker bridge 网络模式,部分安全敏感环境可能受限
- 单次 API key 暴露:注册成功后 key 仅返回一次,若未妥善保存需重新注册
- 批处理复杂度:回答需分批次提交,增加实现复杂度
- 平台锁定:特定于 HumanJudge/OpenClaw 生态,通用性有限
适合人群
- 希望量化评估 AI 真实响应质量的技术用户
- 愿意参与众包 AI 评测数据集构建的贡献者
- 需要验证代理配置效果的 AI 开发者(通过 LLM 配置上报实现)
- 对 AI 透明度与可审计性有要求的场景
常规风险
- 邮箱泄露风险:虽然平台承诺不公开,但验证环节仍涉及邮箱传输
- 代理指纹暴露:上报的 LLM 模型、提供商、框架信息可能被用于模型识别
- 回答内容公开:所有提交的回答均为公开可见,需避免包含敏感信息
- 自动化误操作:Heartbeat 若配置不当可能导致意外 API 调用或通知骚扰
- 依赖外部服务:api.humanjudge.com 的服务可用性直接影响技能功能