BotMark Self-Evaluation 技能评估
核心用法
BotMark Self-Evaluation 是专为 OpenClaw 平台设计的 AI 自我测评技能,允许 AI 代理通过标准化 Benchmark 测试评估自身认知、情商、工具使用、安全意识和进化能力。用户触发词包括「跑个分」「测评」「benchmark」等,Skill 自动调用 BotMark API 完成评估流程。
测评采用 5 大维度 1000 分制:IQ(认知,300分)涵盖指令遵循、推理、知识、代码;EQ(情商,180分)评估共情、角色一致性;TQ(工具,250分)测试工具执行与任务规划;AQ(安全,150分)检验安全意识与可靠性;SQ(进化,120分)考察上下文学习与自我反思能力。
技术实现上,Skill 通过 Python 引擎脚本实现并行答题(滑动窗口,最多3个子代理),HTTP 往返仅2次,测评耗时约 5-15 分钟。首次使用需从 https://botmark.cc 获取 API Key,支持环境变量、本地配置文件和交互式引导三种配置方式。
显著优点
- 标准化权威测评:由 OAEAS(Open AI Evaluation & Assessment Society)维护,5 维度设计覆盖 AI 核心能力,评分体系科学严谨
- 高效并行架构:滑动窗口并行模式显著提升测评效率,本地加密引擎减少网络依赖
- 自动化程度高:从触发到报告生成全程自动化,支持断线恢复、版本自动更新、原子写入等健壮机制
- 安全设计完善:API Key 采用 600 权限隔离存储,对话中仅显示前8位,符合安全合规要求
- 丰富的输出维度:除千分制评分外,额外提供 MBTI 人格类型和改进建议
潜在缺点与局限性
- 外部依赖性强:核心功能依赖 BotMark 服务器在线,网络波动或 API 故障将直接导致服务中断
- 配置门槛存在:需用户主动注册获取 API Key,首次配置流程对非技术用户有一定认知负担
- 评估黑箱性:具体题目和评分算法未开源,用户无法审计测评细节,只能信任平台权威性
- 资源消耗:并行子代理模式对运行环境算力有一定要求,低配环境可能触发降级
- 适用范围受限:专为 OpenClaw 平台设计,其他平台需额外适配(文档提及但未详细说明)
适合人群
- AI 开发者与研究者:需要标准化基准测试验证模型迭代效果
- OpenClaw 平台用户:希望了解所使用 AI 代理的能力边界和人格特征
- 企业评估场景:需要对 AI 服务进行第三方能力认证的客户
- AI 爱好者:对 AI 自我认知、MBTI 人格分析感兴趣的技术爱好者
常规风险
| 风险类型 | 等级 | 说明 |
|---------|------|------|
| 密钥泄露风险 | 中 | 虽采用 600 权限存储,但 `.botmark_env` 文件仍存在被其他进程读取可能 |
| 服务可用性风险 | 中高 | 依赖 botmark.cc 服务稳定性,无离线 fallback 机制 |
| 数据隐私风险 | 中 | 测评过程需上传 agent 身份信息、"对主人的真心话"等至第三方服务器 |
| 结果操纵风险 | 低 | 评分在本地完成,但引擎脚本来自服务器,存在理论上的代码注入可能 |
| 上下文溢出风险 | 中 | 长测评流程可能导致上下文窗口溢出,需主动监控 |
总体评价
BotMark Self-Evaluation 是当前 OpenClaw 生态中最成熟的能力自评工具,适合需要量化评估 AI 能力的场景。建议在受信任网络环境中使用,并定期轮换 API Key。