核心机制
Checkmate 是一个确定性 Python 编排系统,将传统"一次性生成"转变为"迭代验证直至通过"的工作模式。系统包含两个核心代理角色:
Worker(执行者):接收任务、标准和反馈,生成输出;
Judge(评审者):对照锁定标准评估输出,判定 PASS/FAIL 并提取具体差距。
双阶段流程
Intake 阶段(标准制定):将自然语言任务转化为机器可检验的标准(criteria.md),支持用户审批或自动评审。标准一旦锁定,成为后续所有迭次的不可变基准。
主循环阶段(迭代执行):Worker 生成 → Judge 评审 → 若 FAIL 则提取差距 → 用户检查点(可选)→ 进入下一迭代,最多 10 次(可配置至 20 次)。
显著优势
1. 确定性交付:拒绝"尽力而为",输出必须通过客观标准检验
2. 可追溯性:完整的 iter-N/output.md + verdict.md 链条,每次失败原因可查
3. 灵活控制:支持交互式(人工检查点)与批处理(全自动)双模式
4. 状态恢复:中断后可基于 state.json 无缝续跑,无需重复劳动
5. 多技能协同:Worker 可调用 exec、web_search、OAuth 等完整代理能力
潜在局限
- 时间成本:复杂任务可能触发多轮迭代,延迟显著高于单次生成
- 标准制定瓶颈:Intake 阶段若用户与系统对"正确性"理解不一致,可能反复修订
- 评审偏差:Judge 本身也是 LLM,可能对边界案例误判(PASS/FAIL 争议)
- 资源消耗:每轮迭代消耗两次完整代理会话(Worker + Judge),token 成本倍增
适用人群
- 软件工程师:代码必须通过测试套件、需符合技术规范
- 技术文档作者:输出需满足合规性检查清单
- 研究人员:需确保文献综述覆盖特定数据库或方法论
- 任何曾手动反复修改直到"满意"的场景
风险提示
- 批处理模式下无人工检查点,若标准本身存在缺陷可能导致多轮无效迭代
- 评审提示词(judge.md)的质量直接影响判定一致性,需定期校准
- 长周期运行(timeout 达 60 分钟检查点等待)需确保工作目录持久化