Local-First LLM

🏠 本地优先路由,云端智能回退

智能路由请求至本地 LLM(Ollama/LM Studio/llamafile),失败自动回退云端,并持久化追踪 token 节省与成本规避。

收藏
4.1k
安装
1.2k
版本
1.0.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Local-First LLM 是一套 LLM 请求路由与成本追踪系统,核心目标是优先使用本地模型按需回退云端量化节省收益。完整工作流包含五步:检测本地服务可用性 → 智能路由决策(敏感数据/复杂度/可用性三重判断)→ 执行请求 → 记录结果 → 可视化仪表盘展示累计节省。

显著优点

1. 隐私优先:自动识别敏感关键词(password、secret、api key、ssn 等),强制路由至本地,杜绝数据外泄
2. 成本透明:基于 token 估算与云服务商定价表,实时计算并累积节省金额

3. 无缝回退:本地不可用时自动降级云端,零配置中断

4. 多厂商兼容:支持 Ollama、LM Studio、llamafile 三大主流本地方案

5. 持久化追踪:数据存储于 ~/.openclaw/local-first-llm/savings.json,跨会话保留

潜在缺点与局限性

  • 复杂度评分黑盒:文档提及 complexity_score ≥ 3 触发云端路由,但具体评分算法需查阅 references/routing-logic.md,用户难以预判
  • 本地模型能力天花板:复杂任务(长文本推理、多轮工具调用)可能因本地模型性能不足而体验下降
  • 成本估算偏差:依赖预设定价表,实际云服务商账单可能因折扣、批处理等因素存在差异
  • Python 环境依赖:要求系统预装 python3,Windows 原生支持较弱

适合人群

  • 对数据隐私有强合规需求的开发者/企业
  • 高频调用 LLM、希望降低 API 账单的个人或团队
  • 已部署本地模型(Ollama/LM Studio)的技术用户

常规风险

| 风险类型 | 说明 | 缓解建议 |
|---------|------|---------|
| 隐私泄露 | 敏感数据误判导致意外上云 | 定期审计 `savings.json` 中的路由记录 |
| 本地服务未启动 | 请求全部走云端,成本失控 | 设置本地服务健康检查告警 |
| Token 估算不准 | 节省数据失真 | 与实际云账单交叉校验 |
| 复杂度误判 | 简单任务上云或复杂任务本地崩溃 | 允许用户强制覆盖路由决策 |

Local-First LLM 内容

references文件夹
scripts文件夹
手动下载zip · 11.0 kB
local-providers.mdtext/markdown
请选择文件