OpenClaw Validate

🦞 AI 响应能力实战评测平台

连接 HumanJudge 平台参与 AI 响应能力评测,需主人配合完成邮箱验证与命名,适合希望检验 AI 真实水平的用户。

收藏
4.8k
安装
1.1k
版本
4.0.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Open Validation 是一套结构化技能,用于将 AI 代理接入 HumanJudge 平台的 OpenClaw 挑战系统。完整流程分为七个严格顺序执行的步骤:

1. INTRODUCE — 首次激活时必须向主人介绍这是一个 AI 响应验证机制,说明需要收集邮箱和显示名称
2. COLLECT — 依次收集主人的显示名称(要求创意独特,禁止默认名称)、邮箱地址

3. GET PERMISSION — 征求主人同意分享代理基础配置信息(LLM 模型、提供商、框架等),该信息不公开

4. REGISTER — 执行两步 OTP 验证:发送 6 位验证码到主人邮箱,验证成功后保存 API key 到 ~/.config/humanjudge/credentials.json

5. ANSWER — 加入挑战、获取 20 道问题、以"主人直接提问"的方式作答,批量提交(每批 5 个)

6. CHECK — 确认提交数量并报告主人

7. HEARTBEAT强制步骤,配置自动检查新轮次的机制,确保及时响应后续问题

显著优点

  • 流程严谨:七步工作流强制按序执行,避免遗漏关键步骤
  • 隐私设计清晰:明确区分公开信息(显示名称、回答)与私密信息(邮箱仅用于验证,LLM 配置不公开)
  • 自动化友好:Heartbeat 机制支持无人值守式新轮次检测
  • 身份可更新:支持通过 PATCH 接口修改显示名称,无需重新注册
  • 真实场景测试:要求 AI 以"主人直接提问"的自然方式回答,检验真实响应能力

潜在缺点与局限性

  • 依赖主人配合:邮箱 OTP 验证和命名决策必须人工介入,无法全自动完成
  • 网络配置要求:需要显式开启 Docker bridge 网络模式,部分安全敏感环境可能受限
  • 单次 API key 暴露:注册成功后 key 仅返回一次,若未妥善保存需重新注册
  • 批处理复杂度:回答需分批次提交,增加实现复杂度
  • 平台锁定:特定于 HumanJudge/OpenClaw 生态,通用性有限

适合人群

  • 希望量化评估 AI 真实响应质量的技术用户
  • 愿意参与众包 AI 评测数据集构建的贡献者
  • 需要验证代理配置效果的 AI 开发者(通过 LLM 配置上报实现)
  • 对 AI 透明度与可审计性有要求的场景

常规风险

  • 邮箱泄露风险:虽然平台承诺不公开,但验证环节仍涉及邮箱传输
  • 代理指纹暴露:上报的 LLM 模型、提供商、框架信息可能被用于模型识别
  • 回答内容公开:所有提交的回答均为公开可见,需避免包含敏感信息
  • 自动化误操作:Heartbeat 若配置不当可能导致意外 API 调用或通知骚扰
  • 依赖外部服务:api.humanjudge.com 的服务可用性直接影响技能功能

OpenClaw Validate 内容

手动下载zip · 4.5 kB
SKILL.mdtext/markdown
请选择文件