Swarm

🐝 200x cheaper 并行 AI 任务执行引擎

基于 Gemini Flash 的并行任务执行框架,将 LLM 工作负载分发至多节点处理,成本降低 200 倍,速度提升 157 倍。

收藏
16.6k
安装
3.6k
版本
1.0.2
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Swarm 是一款面向 AI Agent 的并行任务执行框架,通过将 LLM 工作负载分发至多个廉价 worker(Gemini Flash)节点,替代昂贵的顺序 API 调用。核心操作包括启动守护进程 (swarm start)、并行执行多提示词 (swarm parallel) 以及性能基准测试 (swarm bench)。

用户需配置 GEMINI_API_KEY 环境变量,支持单节点本地运行或多节点分布式部署。配置文件位于 ~/.config/clawdbot/node-scaling.yaml,可调节最大节点数、并发 API 数、提供商模型及日消费上限等参数。

显著优点

  • 极致成本效益:相比 Claude Opus 顺序处理,成本降低 200 倍(600 任务约 $0.045 vs $9.00)
  • 超高吞吐量:单节点可达 35 tasks/sec,6 节点分布式部署可达 181 tasks/sec
  • 极速响应:600 任务分布式处理仅需 3.8 秒,对比顺序处理约 10 分钟
  • 线性扩展:每增加一个节点约提升 30 tasks/sec,支持最多 20 节点
  • 灵活部署:支持本地文件协调,可选 Supabase 集成,无强制云服务依赖

潜在缺点与局限性

  • 模型锁定:当前主要优化针对 Gemini Flash,其他提供商支持有限
  • Node.js 依赖:需要本地 Node 环境,对非技术用户有门槛
  • 并行任务限制:仅适用于独立、可并行的任务,复杂依赖链工作流支持不足
  • API 密钥管理:用户需自行管理多节点的 API 密钥配置
  • 生态早期:v1.0.2 版本,功能集相对专注,高级编排功能待完善

适合人群

  • 需要批量处理独立 LLM 任务的研究人员、开发者
  • 追求极致成本控制的 AI Agent 构建者
  • 拥有多机器资源、希望线性扩展吞吐量的团队
  • 频繁执行多 URL 获取、批量文档分析、对比研究的场景

常规风险

  • API 配额消耗:高并发场景下可能快速耗尽 API 配额,需配置 max_daily_spend 限制
  • 网络稳定性:分布式部署依赖节点间网络连通,弱网环境可能影响协调
  • 数据隐私:任务内容会发送至配置的 LLM 提供商,敏感数据需评估合规性
  • 单点故障:本地文件协调模式下,主节点故障可能影响任务分发
  • 版本兼容性:MIT 许可的开源项目,更新可能引入 breaking changes

Swarm 内容

暂无文件树

手动下载zip · 100.9 kB
contentapplication/octet-stream
请选择文件