IdleClaw

🦀 共享闲置算力,永不中断推理

去中心化Ollama推理共享网络,让用户在API额度耗尽时调用社区算力,或将闲置GPU贡献给社区使用。

收藏
3.2k
安装
979
版本
1.2.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

IdleClaw 综合评估

IdleClaw 是一个基于 Ollama 的分布式推理网络,采用"贡献-消费"双模式设计,旨在解决本地大模型运行时的算力闲置与API额度耗尽的双重痛点。

核心用法

该技能提供三种操作模式:贡献模式允许用户将本地Ollama实例注册为网络节点,共享闲置的GPU/CPU算力;消费模式让用户在API额度不足时,向社区网络发送推理请求获取结果;状态模式则可查看当前在线节点数和可用模型列表。所有交互通过命令行脚本完成,支持WebSocket实时流式响应。

显著优点

1. 零成本扩展算力:无需购买API额度即可在额度耗尽时继续获得推理服务
2. 资源利用率最大化:将本地机器的闲置算力转化为社区共享资源

3. 去中心化架构:支持自建路由服务器,降低对中心化服务的依赖

4. 隐私友好设计:不存储用户数据、不收集遥测信息、无需API密钥

5. 完善的安全措施:客户端与服务器端均实施严格的输入验证、速率限制和输出清理

潜在局限

1. 网络依赖性:消费模式完全依赖社区节点的在线状态和响应速度
2. 模型可用性不确定:社区节点提供的模型取决于贡献者的本地配置,无法保证特定模型始终可用

3. 延迟波动:推理请求需经路由服务器中转至远程节点,延迟高于本地直连

4. 贡献者风险:运行贡献模式意味着外部用户可向本地Ollama发送任意文本提示,尽管有消息长度和频率限制

5. 生态规模限制:作为新兴项目,网络节点密度和模型覆盖度可能有限

适合人群

  • 预算敏感开发者:需要LLM推理但API成本受限的个人或小型团队
  • 算力闲置用户:拥有配备GPU的工作站或服务器,希望充分利用非工作时段的算力
  • 隐私优先场景:不愿将敏感提示发送至商业API,但本地算力不足的用户
  • 去中心化技术爱好者:关注分布式AI基础设施的技术探索者

常规风险

| 风险类型 | 等级 | 说明 |
|---------|------|------|
| 数据泄露 | 低 | 文本消息仅用于实时推理,不持久化存储 |
| 恶意输入 | 低-中 | 贡献者接收外部文本输入,虽有长度/角色限制,仍存在提示注入理论风险 |
| 服务可用性 | 中 | 依赖社区节点在线状态,无SLA保障 |
| 网络攻击面 | 低 | WebSocket/HTTP连接经TLS加密,有速率限制和IP封禁机制 |

IdleClaw 内容

scripts文件夹
手动下载zip · 9.4 kB
config.pytext/plain
请选择文件