Governed Agents

🛡️ AI子代理的确定性验证与声誉评分系统

AI子代理的确定性验证与声誉评分系统,通过4层代码关卡和3层验证管道防止幻觉成功,零外部依赖。

收藏
3.8k
安装
1k
版本
0.1.10
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Governed Agents 为 AI 子代理提供确定性验证 + 声誉评分机制,解决"幻觉成功"问题——即代理声称任务完成但实际未达成的场景。

两种验证模式:

1. 确定性验证(编码任务):4 道自动关卡——文件存在性、测试通过、代码规范、AST 语法检查,全部通过才算成功
2. 委员会验证(开放式任务):3 层管道(结构检查→事实核查→LLM 评审),支持短路机制节省成本

声誉系统:基于 EMA(指数移动平均)的评分,范围 -1.0(幻觉惩罚)到 +1.0(首次成功),自动触发分级监督策略——高分代理自主运行,低分代理强制升级模型或被暂停。

显著优点

  • 零依赖:纯 Python 标准库实现,无外部依赖风险
  • 防幻觉设计:独立验证代理声明,而非信任其自我报告
  • 成本优化:开放式任务的结构/事实层先过滤,避免无效 LLM 调用
  • 渐进式信任:声誉积累机制鼓励代理长期可靠表现
  • 灵活集成:支持 Codex CLI、OpenClaw 代理等多种引擎

潜在缺点与局限性

  • 验证盲区:复杂业务逻辑仍需人工终审,4 道代码关卡无法捕捉语义正确性
  • 委员会主观性:LLM 评审层存在一致性波动,3 票制可能产生边缘误判
  • 冷启动问题:新代理默认中等声誉,高价值任务仍需预设信任
  • Python 局限:AST 关卡仅支持 Python,其他语言需扩展
  • 状态持久化:SQLite 声誉数据库需定期备份,无内置高可用方案

适合人群

  • 需要批量生成代码并自动质检的开发者团队
  • 运行多代理协作系统的 AI 工程师(如 OpenClaw、AutoGPT 类架构)
  • 追求可观测 AI 行为的企业合规场景
  • 幻觉成本敏感的生产环境(如自动化 PR 生成、文档更新)

常规风险

1. 误报信任:测试通过但功能错误时,声誉系统会错误奖励
2. 评分操纵:代理可能针对性优化可测量指标而非真实质量

3. 权限扩散subprocess-capablenetwork-capable 标志意味着代理可执行任意 CLI 和网络请求,需配合沙箱使用

4. 数据残留:工作目录和状态文件需手动清理,存在敏感信息泄露风险

Governed Agents 内容

.github文件夹
workflows文件夹
governed_agents文件夹
tests文件夹
tools文件夹
手动下载zip · 54.8 kB
ci.ymltext/plain
请选择文件