核心用法
LLM Supervisor 是一个自动化的模型切换管理工具,主要用于解决云端大语言模型(Anthropic/OpenAI)在遇到速率限制或服务器过载时的服务中断问题。当检测到相关错误时,系统会自动将请求路由到本地运行的 Ollama 实例(默认使用 qwen2.5:7b 模型),确保开发工作流的连续性。
显著优点
- 服务高可用:无缝的故障转移机制,避免因 API 限流导致的工作流中断
- 隐私保护:本地处理敏感代码或数据,减少云端传输风险
- 成本控制:本地模型零 API 调用费用,适合高频开发场景
- 灵活控制:支持
/llm status、/llm switch cloud/local等手动命令,用户可随时干预
潜在缺点与局限性
- 模型能力降级:qwen2.5:7b 与 Claude/GPT-4 级别模型存在明显的代码质量差距,复杂任务可能失败
- 本地算力依赖:需要具备 GPU 或充足 RAM 的机器才能流畅运行 7B 参数模型
- 首次配置成本:需预先安装配置 Ollama 环境,对非技术用户不够友好
- 延迟体验:本地推理速度通常慢于云端 API,影响交互流畅度
适合人群
- 高频使用 OpenClaw 的开发者,经常触达 API 配额上限
- 对代码隐私有严格要求的企业内网开发场景
- 希望降低 LLM 调用成本的独立开发者或小团队
常规风险
- 本地代码安全风险:虽然设置了
CONFIRM LOCAL CODE的强制确认机制,但用户一旦确认,低质量本地模型生成的代码可能引入隐蔽 bug 或安全漏洞 - 模型一致性风险:云端与本地输出风格差异可能导致项目代码风格不统一
- 本地服务可用性:Ollama 进程崩溃或未启动时,自动切换将失败