SWARM Safety

🐝 多智能体风险涌现研究与治理实验平台

学术研究级多智能体风险模拟框架,支持38类代理、29种治理机制,用于探索涌现风险与相变临界,MIT协议开源。

收藏
3.6k
安装
1.6k
版本
1.5.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心功能

SWARM是一个面向多智能体AI系统风险研究的学术框架,专注于涌现风险(emergent risks)系统相变(phase transitions)的定量分析。其核心创新在于采用软概率标签(soft probabilistic labels)替代传统的二元好坏分类,使风险评估更加精细化。

显著优点

1. 科学严谨性:基于2922个测试用例、55个场景、209轮跨场景研究,提供了可重复验证的实验基础
2. 丰富的代理生态:14个代理家族、38种实现,涵盖从诚信代理到对抗性代理、从强化学习到LLM驱动的多元类型

3. 治理机制完备:29种可配置治理杠杆,包括交易税、信誉衰减、熔断机制、合谋检测等,支持"安全-效率"权衡实验

4. 框架互操作性:提供8个官方桥接,可对接Concordia(DeepMind)、Claude Code、OpenClaw等主流多智能体平台

5. 关键研究发现:识别出37.5%-50%对抗代理比例间的临界崩溃阈值,以及治理成本可能超过收益的治理悖论

潜在局限与风险

1. 模拟局限:明确声明结果仅为"研究产物",不可外推为真实系统断言
2. API安全性:开发版无认证机制,默认仅绑定localhost,生产环境需自行加固

3. 内存易失性:默认in-memory存储,重启后数据丢失

4. 治理成本陷阱:研究揭示不当治理参数可能在无对抗环境下造成57.6%的福利损失

适合人群

  • AI安全研究人员、多智能体系统学者
  • 红队测试(red-teaming)从业者
  • 治理机制设计师、政策研究者
  • 需评估协作AI系统风险边界的工程团队

使用风险

  • 误用风险:模拟结果若被当作真实系统预测,可能导致错误决策
  • 配置敏感性:场景参数(如对抗比例)微小变化可能触发相变,结果非线性
  • 数据合规:提交场景时需避免包含真实API密钥或个人身份信息

SWARM Safety 内容

手动下载zip · 7.6 kB
skill-card.mdtext/markdown
请选择文件