核心用法
Local-First LLM 是一套 LLM 请求路由与成本追踪系统,核心目标是优先使用本地模型、按需回退云端、量化节省收益。完整工作流包含五步:检测本地服务可用性 → 智能路由决策(敏感数据/复杂度/可用性三重判断)→ 执行请求 → 记录结果 → 可视化仪表盘展示累计节省。
显著优点
1. 隐私优先:自动识别敏感关键词(password、secret、api key、ssn 等),强制路由至本地,杜绝数据外泄
2. 成本透明:基于 token 估算与云服务商定价表,实时计算并累积节省金额
3. 无缝回退:本地不可用时自动降级云端,零配置中断
4. 多厂商兼容:支持 Ollama、LM Studio、llamafile 三大主流本地方案
5. 持久化追踪:数据存储于 ~/.openclaw/local-first-llm/savings.json,跨会话保留
潜在缺点与局限性
- 复杂度评分黑盒:文档提及 complexity_score ≥ 3 触发云端路由,但具体评分算法需查阅
references/routing-logic.md,用户难以预判 - 本地模型能力天花板:复杂任务(长文本推理、多轮工具调用)可能因本地模型性能不足而体验下降
- 成本估算偏差:依赖预设定价表,实际云服务商账单可能因折扣、批处理等因素存在差异
- Python 环境依赖:要求系统预装
python3,Windows 原生支持较弱
适合人群
- 对数据隐私有强合规需求的开发者/企业
- 高频调用 LLM、希望降低 API 账单的个人或团队
- 已部署本地模型(Ollama/LM Studio)的技术用户
常规风险
| 风险类型 | 说明 | 缓解建议 |
|---------|------|---------|
| 隐私泄露 | 敏感数据误判导致意外上云 | 定期审计 `savings.json` 中的路由记录 |
| 本地服务未启动 | 请求全部走云端,成本失控 | 设置本地服务健康检查告警 |
| Token 估算不准 | 节省数据失真 | 与实际云账单交叉校验 |
| 复杂度误判 | 简单任务上云或复杂任务本地崩溃 | 允许用户强制覆盖路由决策 |