核心用法
IdleClaw 构建了一个去中心化的 LLM 推理网络,包含两种互补的工作模式:
贡献模式(Contribute):用户将本地 Ollama 实例注册为推理节点,把闲置的 GPU/CPU 算力开放给社区使用。运行 contribute.py 后,节点会通过 WebSocket 连接到路由服务器,上报可用模型列表并持续监听推理请求。
消费模式(Consume):当用户自有 API 额度耗尽或希望 offload 计算时,可通过 consume.py 向社区网络发起推理请求,流式返回生成的 token。
状态查询(Status):status.py 提供网络健康度检查,显示在线节点数和可用模型清单。
显著优点
- 零成本应急:无需 API key,在额度耗尽时可无缝切换至社区算力
- 资源利用率:将个人设备的闲置算力转化为可用资源,降低社区整体成本
- 去中心化:不依赖单一云服务商,节点分布式运行
- 隐私友好:无持久化存储、无遥测、无用户画像收集
- 输入安全:模型名和 URL 经过严格正则校验,杜绝命令注入
潜在局限
- 可用性不稳定:社区节点随时可能离线,无法保证 SLA
- 延迟不确定:请求需经路由服务器转发的随机节点,网络延迟不可控
- 隐私风险:聊天内容需经第三方服务器中转,存在理论上的中间人窥探可能(虽声称即时丢弃)
- 模型覆盖有限:仅支持贡献者本地已拉取的 Ollama 模型
- 算力质量参差:无法验证节点是否真实运行声明的硬件配置
适合人群
- 拥有闲置 GPU 资源、愿意贡献算力的技术用户
- 预算敏感、需要低成本 LLM 访问的开发者和研究者
- 已使用 Ollama 本地部署、希望扩展可用性的用户
常规风险
- 服务端
idleclaw.com为非开源闭源基础设施,存在单点故障和信任假设 - WebSocket 长连接暴露于公网,需依赖 TLS 保障传输安全
- 节点贡献者需开放本地 Ollama 端口,存在潜在的本地攻击面
- 无身份验证机制,无法防止恶意节点或消费者滥用