swarm-safety

SWARM (System-Wide Assessment of Risk in Multi-agent systems) 是一个专注于多智能体系统安全研究的学术级框架，旨在通过模拟实验识别和理解群体智能中的涌现风险。该框架采用独特的"软概率标签"方法，将交互结果表示为概率分布而非简单的二元分类，从而更准确地捕捉复杂多智能体系统中的微妙动态。

核心用法方面，SWARM 提供三种主要交互方式：Python API 允许研究者通过代码精细配置模拟参数，注册不同类型的智能体（诚实型、机会主义型、欺骗型、对抗型等），并运行多轮次实验；CLI 工具支持快速执行预定义场景（YAML 格式配置）并导出 JSON/CSV 结果；REST API 服务则便于集成到更大的研究流水线中，支持智能体注册、场景提交和模拟管理。所有方式均围绕"场景-智能体-治理"三位一体的模型展开。

显著优点包括：首先，软概率标签系统能够量化测量毒性率、质量差距、条件损失等五项关键指标，避免传统二元分类的信息损失；其次，框架内置 38 种精细设计的智能体类型（涵盖 14 个家族）和 29 种治理杠杆（如交易税、断路器、共谋检测等），为研究不同安全机制提供了丰富工具；再者，8 个框架桥接（包括 DeepMind 的 Concordia、Claude Code 等）实现了与主流多智能体生态的互操作；最后，基于 2922 个测试和 55 个场景的经验研究揭示了关键的相变阈值（37.5%-50% 对抗型代理比例）和治理成本悖论，具有重要学术价值。

潜在缺点主要在于：作为 T3 来源的个人开发者项目，长期维护稳定性有待观察；纯文档型 Skill 需要用户手动安装 Python 包并配置环境，对非技术用户门槛较高；研究发现的"治理成本悖论"表明安全措施可能显著降低系统福利（测试中高达 57.6% 的福利损失），这对实际部署提出了严峻挑战；此外，复杂的概率模型和大量超参数需要使用者具备扎实的统计学和机器学习背景。

适合的目标群体主要是：AI 安全和对齐研究人员，特别是关注涌现行为和系统性风险的学者；多智能体系统开发者，需要测试其算法在对抗环境下的鲁棒性；以及科技政策制定者，希望基于定量模拟理解不同监管机制的效果。该框架也适用于高校相关课程的教学演示。

使用风险包括：尽管 API 默认绑定 localhost，但若误配置为 0.0.0.0 且未添加认证中间件，可能暴露未授权访问风险；安装依赖（pip install swarm-safety）时需验证 PyPI 包完整性，防范供应链攻击；模拟结果仅为研究制品，不应直接作为真实系统安全性的绝对证明；内存存储特性意味着重启后数据丢失，生产环境需配置持久化数据库。