IdleClaw

🦀 共享算力,零成本推理

分布式 Ollama 推理网络,分享闲置算力或借用社区资源应急,无需 API 密钥

收藏
2.9k
安装
979
版本
1.1.3
CLS 安全扫描中
预计需要 3 分钟...

使用说明

IdleClaw 是一个基于 Ollama 的分布式推理网络,允许用户以两种模式参与:作为贡献者分享本地闲置 GPU/CPU 算力,或作为消费者在 API 额度耗尽时调用社区算力完成推理任务。

核心用法

  • 贡献模式:运行 contribute.py 将本地 Ollama 实例注册为网络节点,自动接收并处理来自社区的推理请求
  • 消费模式:通过 consume.py 发送 chat 请求,由路由服务器调度至可用节点,响应以流式方式返回
  • 状态查询:status.py 可查看在线节点数量及可用模型清单

显著优点

1. 零成本接入:无需注册账号、API 密钥或信用卡,降低 AI 推理门槛
2. 资源利用率优化:将闲置算力转化为社区共享资源,类似 Folding@home 的 AI 版本

3. 即开即用:纯 Bash/Python 实现,依赖仅 Ollama 与 Python3,安装脚本一键完成

4. 透明架构:开源实现,支持自托管路由服务器,避免单点依赖

潜在局限与风险

1. 网络依赖性:消费端完全依赖路由服务器可用性,无离线 fallback 机制
2. 贡献端稳定性:节点随时可下线, consumer 可能遭遇请求中断

3. 隐私边界:聊天内容明文传输至第三方节点,虽声明不持久化,但中间节点理论上可截留

4. 模型一致性:社区节点模型版本、量化精度参差不齐,输出质量不可控

5. 合规灰色地带:共享算力用于生成内容的法律责任归属模糊

适合人群

  • 拥有常驻 GPU 服务器、愿分享闲置算力的技术用户
  • 个人开发者/研究者,需偶尔大模型推理但不愿绑定付费 API
  • 隐私敏感度低、非商业用途的轻量级 AI 应用场景

常规风险提示

  • 贡献端暴露本地 Ollama 端口至 WebSocket 连接,建议防火墙限制 OLLAMA_HOST 仅本地监听
  • 路由服务器 idleclaw.com 为第三方运营,存在服务终止或策略变更风险
  • 消费端无 SLA 保障,关键任务应保留本地或付费 API 作为备份

IdleClaw 内容

scripts文件夹
手动下载zip · 8.8 kB
config.pytext/plain
请选择文件