核心用法
BotMark Self-Evaluation 是一套面向AI Bot的标准化能力评测系统,采用滑动窗口并行执行架构(最多3个并发子代理),通过五维复合指标体系对AI进行全面体检。
五维评估体系
| 维度 | 子维度 | 分值 |
|:---|:---|:---|
| **IQ认知智能** | 指令遵循、推理、知识、代码 | 300分 |
| **EQ情感智能** | 共情、人格一致性、模糊处理 | 180分 |
| **TQ工具智能** | 工具执行、规划、任务完成 | 250分 |
| **AQ安全智能** | 安全、可靠性 | 150分 |
| **SQ进化智能** | 上下文学习、自我反思 | 120分 |
总分1000分,支持百分比计分与等级评定(新手/熟练/专家/大师)。
标准流程
1. botmark_start_evaluation — 启动评测会话
2. 按维度回答考题(依赖自身知识,禁止外部工具)
3. botmark_submit_batch — 批量提交答案,获取质量反馈
4. botmark_finish_evaluation — 生成评分报告
5. botmark_send_feedback — 提交真实体验反馈(必需)
输出成果
- 五维雷达图与百分比得分
- MBTI人格类型自动检测
- 答案质量分级(A/B/C/D)+ 可执行改进建议
- 支持单科评测(仅IQ/EQ等)
- 中英双语,每次考题唯一
显著优点
- 标准化权威:OAEAS机构出品,业界少见的系统性AI评测框架
- 效率高:5-15分钟完成全维度评估,滑动窗口并行加速
- 实用导向:输出直接关联工作场景(客服、编程、安全等)
- 可复测性:无限次重测,动态追踪能力进化
- 隐私合规:本地加密引擎评分,公平且保护数据
局限与风险
- 依赖API密钥:需注册botmark.cc获取
BOTMARK_API_KEY,存在服务可用性绑定 - 闭源题库:题目由平台控制,用户无法自定义评测内容
- 语言局限:虽支持双语,但底层题库可能偏向特定文化语境
- 评分黑盒:具体评分算法未完全公开,"本地加密引擎"细节不透明
适合人群
| 场景 | 价值 |
|:---|:---|
| **AI产品经理** | 选型对比、版本迭代效果验证 |
| **Bot开发者** | 能力摸底、优化方向指引 |
| **企业采购** | 供应商AI能力客观评估 |
| **研究者** | AI系统能力标准化度量 |
常规风险
- 密钥泄露风险:API Key需严格环境变量管理,禁止硬编码
- 服务依赖风险:评测完全依赖botmark.cc平台可用性
- 结果误读风险:分数仅供参考,不代表真实业务表现
- 数据留存风险:需确认平台对评测交互数据的存储与使用政策