核心功能
IdleClaw 是一个去中心化的 Ollama 推理网络,提供两种工作模式:
Contribute(贡献模式):将本地 Ollama 实例注册为社区推理节点,共享闲置 GPU/CPU 算力。节点通过 WebSocket 连接到 IdleClaw 路由服务器,接收推理请求并转发至本地 Ollama,再将结果返回。适合拥有稳定算力资源、希望为开源社区贡献的用户。
Consume(消费模式):当个人 API 额度耗尽或本地硬件不足时,通过社区网络获取推理服务。用户发送 HTTP 请求至路由服务器,系统自动分配可用节点并流式返回结果。
Status(状态查询):实时查看在线节点数量及可用模型列表,便于决策是否接入网络。
显著优点
1. 零成本应急方案:无需 API 密钥,算力紧张时无缝切换至社区资源
2. 双向价值流动:贡献者获得网络贡献感,消费者获得免费/低价推理服务
3. 透明安全设计:详尽的端点说明、数据流文档、客户端/服务端双重校验机制
4. 最小化数据暴露:仅传输文本 JSON,无持久化存储、无遥测、无文件系统访问
5. 可自托管:支持指向私有路由服务器,满足企业/个人的隔离需求
潜在局限
- 网络依赖:消费模式完全依赖 IdleClaw 中心路由服务器的可用性
- 算力不可控:社区节点性能、稳定性、响应时间差异大,无 SLA 保障
- 模型兼容性:仅支持 Ollama 生态,且需目标节点已拉取对应模型
- 延迟问题:跨网络推理天然高于本地,实时场景体验受限
- 信任模型:虽有多层校验,但推理请求仍会离开本地环境,敏感数据需谨慎
适合人群
- 拥有闲置 GPU 服务器、愿参与去中心化 AI 基建的技术爱好者
- API 预算有限但偶有突发推理需求的开发者/研究者
- 注重数据透明度、偏好开源方案 privacy-conscious 用户
- 希望自建推理网络的企业 IT 管理员
常规风险
| 风险类型 | 说明 | 缓解措施 |
|---------|------|---------|
| 路由服务器单点故障 | 官方服务器宕机则全网不可用 | 可自托管路由服务 |
| 恶意节点 | 理论上存在篡改响应可能 | 服务端输出清洗、工具执行沙箱 |
| 提示词注入 | 通过聊天内容尝试攻击 | 消息长度限制、角色白名单 |
| 贡献者资源耗尽 | 无限制请求可压垮个人节点 | 节点端并发请求上限(1-10)|
| 隐私泄露 | 明文传输聊天内容 | 无持久化、可自托管、HTTPS 传输 |
项目已在 GitHub 公开安全评估报告,经红队测试并修复已知漏洞,整体安全设计较为成熟。