Governed Agents

🛡️ AI子智能体验证与声誉治理系统

为AI子智能体提供确定性验证与声誉评分,通过4层代码关卡和3层管道防止幻觉式成功声明

收藏
2.8k
安装
1k
版本
0.1.11
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Governed Agents 是一个零依赖的纯Python框架,用于监督和验证AI子智能体的输出,核心解决"幻觉式成功"问题——即智能体声称任务完成但实际未达标的情况。

两大验证模式:

1. 确定性验证(编码任务):自动执行4道硬关卡

  • Files关卡:必需文件存在且非空
  • Tests关卡:测试命令返回exit 0
  • Lint关卡:无代码风格错误
  • AST关卡:Python文件无语法错误

任一关卡失败将触发-1.0的幻觉惩罚分。

2. 议会验证(开放式任务):3层短路与管道

  • Layer 1 结构门(<1秒):字数、必需章节、空章节检测
  • Layer 2 接地门(5-30秒):URL可达性、引用校验
  • Layer 3 LLM议会(30-120秒):N个独立评审员多数投票

第一层失败即短路,零LLM调用成本。

声誉系统:EMA指数移动平均算法(α=0.3),分数区间-1.0至+1.0,动态映射到5级监督强度(自主→标准→受监督→严格→暂停)。

显著优点

  • 零幻觉容忍:任何虚假成功声明都会被立即识别并惩罚
  • 成本优化:开放式任务的三层设计避免不必要的LLM调用
  • 渐进式信任:基于历史表现的动态监督降级机制
  • 任务类型预设:内置research/analysis/strategy/writing/planning五种配置模板
  • 纯stdlib实现:无外部依赖,部署可靠性极高
  • 双重引擎支持:原生集成Codex CLI与OpenClaw代理

潜在局限

  • Python生态限定:AST关卡仅限Python代码,多语言项目需扩展
  • 测试依赖外部工具:pytest/codex/git等二进制依赖需预装
  • 议会延迟:高置信度开放式验证仍需30-120秒LLM调用
  • 声誉冷启动:新代理初始无历史,需经历严格监督期
  • 主观任务边界:analysis/strategy等类型的"成功"定义仍存在一定主观性

适合人群

  • 需要多智能体协作的复杂项目(主代理+多个子代理)
  • 高可靠性编码场景:CI/CD自动化、关键基础设施代码生成
  • 研究/分析类AI工作流:需要引用溯源和事实核查的内容生产
  • 声誉驱动的代理网络:长期运行的代理系统需要信任机制

常规风险

| 风险类别 | 说明 | 缓释措施 |
|---------|------|---------|
| 验证逃逸 | 智能体生成能通过关卡但功能错误的代码 | 结合人工抽查、增加集成测试关卡 |
| 声誉操纵 | 代理通过简单任务刷分后执行危险操作 | 任务难度权重、异常行为检测 |
| 依赖投毒 | install.sh或外部CLI被篡改 | 源码审计、签名验证、沙箱执行 |
| 数据持久化 | SQLite数据库损坏导致声誉丢失 | 定期备份、WAL模式、只读副本 |
| 网络暴露 | HTTP API模式下的GOVERNED_AUTH_TOKEN泄露 | 最小权限、短期令牌、TLS强制 |

Governed Agents 内容

.github文件夹
workflows文件夹
governed_agents文件夹
tests文件夹
tools文件夹
手动下载zip · 56.2 kB
ci.ymltext/plain
请选择文件