Checkmate 技能评估
核心用法
Checkmate 是一种确定性编排型技能，通过 Python 脚本 (scripts/run.py) 实现迭代式任务完成流程。其核心工作流包括：
1. 任务解析阶段：将模糊任务转化为机器可检验的明确标准 (criteria.md)
2. 迭代执行循环：最多20轮，每轮包含：
3. 交付机制：通过后写入 final-output.md，通过 Telegram 通知用户
- Worker：调用 LLM 生成输出，拥有完整运行时权限（代码执行、搜索、OAuth 认证等）
- Judge：独立评判输出是否符合标准
- 反馈累积：未通过时将差距写入
feedback.md，进入下一轮迭代
显著优点
- 质量保障：非"尽力而为"，而是"通过才交付"的硬性标准
- 自主运行：支持数小时、数十轮的长时间后台执行
- 可恢复性：通过
state.json实现中断后继续 - 完整运行时：Worker 可使用全部技能和网络资源
- 安全隔离：每次迭代使用独立 session ID
潜在局限
- 成本累积：复杂任务可能触发20轮 LLM 调用，Token 消耗显著
- 时间不可预测：迭代次数取决于任务复杂度，完成时间浮动大
- 评判偏差风险：Judge 本身也是 LLM，对主观标准可能存在判断不一致
- 无实时反馈：后台运行期间用户无法干预或调整方向
- 依赖 Telegram：结果投递绑定单一渠道
适合人群
- 需要确定性交付的自动化工作流（如合规文档生成、代码审查、数据验证）
- 可接受延迟换取质量的场景（非实时交互任务）
- 有明确可检验标准的任务（适合机器判断"完成"与否）
常规风险
| 风险类型 | 等级 | 说明 |
|---------|------|------|
| Token 消耗失控 | 中 | 未设预算上限，20轮 × 长输出可能产生高费用 |
| 无限循环风险 | 低 | 有 `max_iter` 硬限制，但设置过高仍导致资源浪费 |
| 评判标准漂移 | 中 | 多轮迭代中 Judge 可能对同一标准产生不同理解 |
| 后台任务 orphaned | 低 | 依赖 `exec background=true`，主进程异常时可能中断 |
建议配置：常规任务 max_iter=5-10，复杂质量关键任务可提升至20，配合成本预估使用。