Checkmate

♟️ 迭代验证,直到做对为止

基于LLM的迭代质量控制循环,将任务目标转化为可机器验证的标准,通过工人-评审双代理循环直至输出达标,适合对正确性要求严格的场景。

收藏
3.6k
安装
1.6k
版本
2.0.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心机制

Checkmate 是一个确定性 Python 编排系统,将传统"一次性生成"转变为"迭代验证直至通过"的工作模式。系统包含两个核心代理角色:

Worker(执行者):接收任务、标准和反馈,生成输出;
Judge(评审者):对照锁定标准评估输出,判定 PASS/FAIL 并提取具体差距。

双阶段流程

Intake 阶段(标准制定):将自然语言任务转化为机器可检验的标准(criteria.md),支持用户审批或自动评审。标准一旦锁定,成为后续所有迭次的不可变基准。

主循环阶段(迭代执行):Worker 生成 → Judge 评审 → 若 FAIL 则提取差距 → 用户检查点(可选)→ 进入下一迭代,最多 10 次(可配置至 20 次)。

显著优势

1. 确定性交付:拒绝"尽力而为",输出必须通过客观标准检验
2. 可追溯性:完整的 iter-N/output.md + verdict.md 链条,每次失败原因可查

3. 灵活控制:支持交互式(人工检查点)与批处理(全自动)双模式

4. 状态恢复:中断后可基于 state.json 无缝续跑,无需重复劳动

5. 多技能协同:Worker 可调用 exec、web_search、OAuth 等完整代理能力

潜在局限

  • 时间成本:复杂任务可能触发多轮迭代,延迟显著高于单次生成
  • 标准制定瓶颈:Intake 阶段若用户与系统对"正确性"理解不一致,可能反复修订
  • 评审偏差:Judge 本身也是 LLM,可能对边界案例误判(PASS/FAIL 争议)
  • 资源消耗:每轮迭代消耗两次完整代理会话(Worker + Judge),token 成本倍增

适用人群

  • 软件工程师:代码必须通过测试套件、需符合技术规范
  • 技术文档作者:输出需满足合规性检查清单
  • 研究人员:需确保文献综述覆盖特定数据库或方法论
  • 任何曾手动反复修改直到"满意"的场景

风险提示

  • 批处理模式下无人工检查点,若标准本身存在缺陷可能导致多轮无效迭代
  • 评审提示词(judge.md)的质量直接影响判定一致性,需定期校准
  • 长周期运行(timeout 达 60 分钟检查点等待)需确保工作目录持久化

Checkmate 内容

prompts文件夹
scripts文件夹
手动下载zip · 23.1 kB
criteria-judge.mdtext/markdown
请选择文件