IdleClaw

🦀 共享闲置算力,应急社区推理

基于 Ollama 的分布式推理网络,共享闲置 GPU/CPU 算力或借用社区资源应急

收藏
2.2k
安装
979
版本
1.1.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

IdleClaw 构建了一个去中心化的 LLM 推理网络,包含两种互补的工作模式:

贡献模式(Contribute):用户将本地 Ollama 实例注册为推理节点,把闲置的 GPU/CPU 算力开放给社区使用。运行 contribute.py 后,节点会通过 WebSocket 连接到路由服务器,上报可用模型列表并持续监听推理请求。

消费模式(Consume):当用户自有 API 额度耗尽或希望 offload 计算时,可通过 consume.py 向社区网络发起推理请求,流式返回生成的 token。

状态查询(Status)status.py 提供网络健康度检查,显示在线节点数和可用模型清单。

显著优点

  • 零成本应急:无需 API key,在额度耗尽时可无缝切换至社区算力
  • 资源利用率:将个人设备的闲置算力转化为可用资源,降低社区整体成本
  • 去中心化:不依赖单一云服务商,节点分布式运行
  • 隐私友好:无持久化存储、无遥测、无用户画像收集
  • 输入安全:模型名和 URL 经过严格正则校验,杜绝命令注入

潜在局限

  • 可用性不稳定:社区节点随时可能离线,无法保证 SLA
  • 延迟不确定:请求需经路由服务器转发的随机节点,网络延迟不可控
  • 隐私风险:聊天内容需经第三方服务器中转,存在理论上的中间人窥探可能(虽声称即时丢弃)
  • 模型覆盖有限:仅支持贡献者本地已拉取的 Ollama 模型
  • 算力质量参差:无法验证节点是否真实运行声明的硬件配置

适合人群

  • 拥有闲置 GPU 资源、愿意贡献算力的技术用户
  • 预算敏感、需要低成本 LLM 访问的开发者和研究者
  • 已使用 Ollama 本地部署、希望扩展可用性的用户

常规风险

  • 服务端 idleclaw.com 为非开源闭源基础设施,存在单点故障和信任假设
  • WebSocket 长连接暴露于公网,需依赖 TLS 保障传输安全
  • 节点贡献者需开放本地 Ollama 端口,存在潜在的本地攻击面
  • 无身份验证机制,无法防止恶意节点或消费者滥用

IdleClaw 内容

scripts文件夹
手动下载zip · 8.3 kB
config.pytext/plain
请选择文件