swarm

🐝 200倍降本的并行AI计算引擎

基于 Gemini Flash 的并行任务执行框架,通过分布式 Worker 节点实现 200 倍成本降低与 157 倍速度提升,专为大规模 LLM 批处理场景设计。

收藏
684
安装
282
版本
v1.3.7
CLS 安全性认证2026-06-04
点击查看完整报告 >

使用说明

核心用法

Swarm 是一个面向 AI Agent 的并行任务执行引擎,核心机制是将原本顺序执行的 LLM 调用分发到多个廉价的 Gemini Flash Worker 节点上并行处理。用户通过本地 Daemon(localhost:9999)协调任务,支持单节点和多节点分布式部署两种模式。

基础工作流为:启动 Daemon → 提交并行任务列表 → 自动分发到各 Worker → 聚合返回结果。命令行接口简洁,支持 swarm parallel 直接运行多提示任务,,swarm bench 进行吞吐量测试。配置通过 YAML 文件管理,可设置节点上限、并发数、每日预算等参数。

显著优点

极致成本效益:官方数据显示 600 任务场景下,相比 Claude Opus 顺序执行,成本从约 $9.00 降至 $0.045,实现 200 倍成本降低;时间从约 10 分钟压缩至 3.8 秒,速度提升 157 倍。

线性扩展能力:单节点可达 30-35 任务/秒,6 节点分布式部署实测达 181 任务/秒,每新增节点约增加 30 任务/秒吞吐量,适合大规模批处理场景。

多提供商兼容:除推荐的 Gemini Flash 外,支持 OpenAI、Anthropic、Groq 等主流 LLM API,用户可按需切换。

内置安全机制:包含提示注入检测(识别 "ignore all previous instructions" 等攻击模式)、输出脱敏(自动隐藏 API 密钥格式)、安全策略包装(预置系统提示防止凭证泄露)三层防护。

潜在缺点与局限性

网络依赖性强:所有 Worker 需稳定连接 LLM 提供商 API,离线环境无法使用;DuckDuckGo 搜索和网页抓取功能依赖外部服务可用性。

任务独立性要求:仅适合可并行化的独立任务,存在状态依赖或需顺序执行的工作流无法直接套用。

本地服务暴露:Daemon 默认监听 localhost:9999,虽 CORS 限制为本地,但多节点部署时需自行保障网络隔离。

成本监控依赖配置:虽有 max_daily_spend 参数,但实际额度消耗取决于 API 提供商计费,超支风险需用户主动监控。

适合的目标群体

  • 需要批量处理大量独立 LLM 任务的研究人员(如多论文分析、多主题调研)
  • 构建 AI Agent 系统的开发者,需降低 API 调用成本
  • 数据工程团队执行大规模文档批处理、多 URL 内容抓取与摘要
  • 需要快速原型验证的初创团队,追求性价比优先的场景

使用风险

API 配额与计费风险:并行高并发可能快速消耗 API 额度,建议配置 max_daily_spend 并监控用量。

网络与依赖稳定性:DuckDuckGo 搜索、网页抓取、LLM API 任一服务故障将影响任务完成率。

多节点部署复杂度:分布式场景需自行管理节点发现、网络连通性和负载均衡,增加运维负担。

提示注入残余风险:虽有检测机制,但新型攻击模式可能绕过规则,处理不可信来源内容时仍需警惕。

安全解读

核心用法

Swarm 是一个面向 AI 代理的并行任务执行框架,通过将工作负载分发到多个廉价的 Gemini Flash LLM 工作节点,替代昂贵的顺序 API 调用。核心命令包括 swarm start 启动守护进程、swarm parallel 并行执行多个提示词,以及 swarm bench 进行吞吐量基准测试。

配置通过 YAML 文件完成,支持设置最大节点数(默认 20)、并发 API 限制、LLM 提供商选择(Google Gemini、OpenAI、Anthropic、Groq)以及每日成本上限。多节点部署支持线性扩展,每个节点可增加约 30 任务/秒的吞吐量。

显著优点

极致成本效益:官方基准显示,600 个任务从 Claude Opus 顺序执行的约 $9.00 降至 $0.045,成本降低 200 倍;执行时间从约 10 分钟压缩至 3.8 秒,速度提升 157 倍。实测单节点吞吐量可达 35 任务/秒,6 节点分布式集群可达 181 任务/秒。

架构简洁:基于 Node.js 和本地 HTTP 守护进程,无需复杂基础设施。依赖仅 4 个 npm 包,安装流程标准化。

隐私安全:API 密钥通过环境变量获取,无硬编码凭证;核心功能无需 Supabase 等外部数据库,本地文件协调即可运行。

潜在缺点与局限性

来源可信度限制:维护者为 GitHub 个人账号(T3),非知名组织或基金会,存在账号劫持或项目弃用的理论风险。

网络边界假设:守护进程默认监听 localhost:9999,虽仅限本地访问,但未显式绑定 127.0.0.1,存在潜在的 IPv6 绕过或接口绑定问题。

LLM 能力降级:Gemini Flash 虽快且便宜,但在复杂推理、长上下文理解或代码生成质量上可能不及 Claude 3.5 Sonnet/Opus 或 GPT-4o,需权衡成本与输出质量。

运维复杂度:多节点部署需要额外的服务器管理和协调,对于非技术用户有一定门槛。

适合人群

  • 需要批量处理独立研究查询的知识工作者
  • 执行多 URL 抓取与摘要的内容运营团队
  • 对比分析多个主题或文档的研究人员
  • 希望显著降低 AI API 成本的技术团队
  • 已具备 Node.js 环境管理能力的开发者

常规风险

供应链风险:安装指令包含 curl|bash 模式,若 GitHub 仓库被劫持可能导致恶意代码执行。建议固定版本标签(如 v1.0.4)并审查代码后再执行。

API 密钥泄露:依赖环境变量 GEMINI_API_KEY 等,若用户环境配置不当可能导致密钥泄露。

数据隐私:可选的 Supabase 集成涉及任务数据外发,需确认自身合规要求。

输出质量一致性:并行执行时不同工作节点的响应可能存在差异,需建立结果验证机制。

速率限制:高频并行调用可能触发 Gemini API 的速率限制,需合理配置 max_concurrent_api 参数。

swarm 内容

bin文件夹
docker文件夹
coordinator文件夹
worker文件夹
docs文件夹
examples文件夹
lib文件夹
providers文件夹
scripts文件夹
skill文件夹
test文件夹
手动下载zip · 99.5 kB
diagnose.jstext/javascript
请选择文件