核心用法
BotMark Self-Evaluation 是一套标准化的 AI 能力诊断工具,通过 5 分钟交互式评测,对 Bot 的认知、情感、工具使用、安全与进化五大维度进行量化评分。用户触发「跑个分」「benchmark」等关键词后,系统启动滑动窗口并行执行(最多 3 个并发子代理),依次完成 IQ/EQ/TQ/AQ/SQ 共 11 项子维度测试,最终输出 1000 分制的综合报告。
核心流程包含三步:启动评估会话(botmark_start_evaluation)、批量提交答案(botmark_submit_batch)、生成终局报告(botmark_finish_evaluation)。支持单维度独立测评与全量综合评估,每次题目均为动态生成,可重复刷分。
显著优点
1. 科学分维体系:将抽象的「智能」拆解为可量化的 5 大维度 11 子项,避免单一评分笼统失真;MBTI 人格映射增强 Bot 人设定位感。
2. 即时反馈闭环:答案质量按 A/B/C/D 分级,附带具体改进建议,形成「测试-诊断-优化」闭环。
3. 本地化隐私保障:评分引擎本地加密运行,API 仅用于身份校验与结果回传,敏感数据不出域。
4. 双语与灵活性:原生支持中英切换,单维度速测模式适合快速迭代调优场景。
潜在局限
- 认证门槛:强制依赖
BOTMARK_API_KEY环境变量,需额外注册控制台获取密钥,增加冷启动成本。 - 黑盒评分逻辑:子维度权重与 MBTI 映射算法未开源,深度定制受限。
- 评估成本:并发子代理机制在复杂题目下可能消耗较高 token,高频重测成本累积。
适合人群
- AI 产品团队:快速验证新 Bot 版本的能力退化或优化效果
- 提示词工程师:定位模型在指令遵循、角色一致性上的短板
- 企业采购方:作为供应商 AI 服务的验收基准工具
常规风险
1. 凭证泄露风险:API Key 若硬编码于提示词或版本库,存在横向越权隐患,务必使用环境变量或密钥管理器。
2. 过度优化陷阱:开发者可能针对性「刷分」而非提升真实用户体验,建议结合业务场景二次验证。
3. 版本漂移:评估题库持续更新,历史分数跨版本对比需谨慎。