LLM Supervisor

🔀 智能限流切换,云端本地无缝兜底

智能切换云端与本地LLM,遇限流自动降级至Ollama,兼顾效率与隐私

收藏
8.5k
安装
3k
版本
0.2.0
CLS 安全性认证2026-05-15
点击查看完整报告 >

使用说明

核心用法

LLM Supervisor 是一款自动化的模型切换工具,专为解决 Claude/OpenAI 等云端大模型的速率限制问题而设计。当检测到 API 限流或服务器过载错误时,系统会自动将请求降级到本地 Ollama 实例运行 Qwen2.5 7B 模型,确保开发工作流不中断。

显著优点

  • 无缝 failover:自动检测错误并切换,无需手动干预
  • 成本优化:避免高峰时段频繁触发付费额度
  • 隐私保护:敏感代码本地处理,数据不出境
  • 灵活控制:支持手动 /llm switch 命令和状态查询

潜在局限

  • 本地 7B 模型能力显著弱于 Claude 3.5 Sonnet 等云端模型
  • Ollama 需预先安装配置,增加本地资源占用
  • 自动降级可能导致生成质量下降,需人工复核

安全设计

强制要求 CONFIRM LOCAL CODE 文本确认后才执行本地代码生成,防止意外降级带来的低质量代码风险。

适合人群

高频使用 Claude Code 的开发者、API 额度紧张的个人/小团队、对代码隐私有合规要求的企业用户。

安全解读

核心用法

LLM Supervisor 是一个基础设施类 Skill,专为解决云端 LLM 服务不稳定场景设计。它通过监听 Anthropic/OpenAI 的 rate-limit 和 overload 错误,自动将 OpenClaw 的工作模式从云端模型切换至本地 Ollama 实例(默认 qwen2.5:7b),实现"降级运行"而非"完全中断"。

用户可通过三类命令主动干预:

  • /llm status — 查看当前工作模式及连接状态
  • /llm switch cloud / /llm switch local — 手动强制切换模式

关键安全设计:代码确认机制

当系统处于本地模式时,所有涉及代码生成的任务(如代码补全、脚本生成)会被拦截。用户必须在终端输入指定确认短语 CONFIRM LOCAL CODE 后方可继续。这一设计有效防止了本地小模型在代码任务上可能产生的低质量输出被误用。

显著优点

1. 高可用兜底:将 rate limit 从"阻断性故障"转化为"可降级的服务质量调整"
2. 零依赖架构:package.json 无任何依赖,彻底规避供应链攻击

3. 网络隔离:仅连接 127.0.0.1:11434 本地回环,数据零外传

4. 类型安全:TypeScript 全代码库,静态分析得分 95/100

5. 隐私合规:通过 GDPR/CCPA 检测,无敏感数据收集

潜在缺点与局限性

| 局限类型 | 具体说明 |
|---------|---------|
| 来源可信度 | T3 级别(个人开发者/社区项目),非企业级背书 |
| 本地模型能力 | qwen2.5:7b 在复杂推理任务上显著弱于 Claude/GPT-4 |
| 硬件依赖 | 需本地运行 Ollama,无 GPU 环境时响应极慢 |
| 确认摩擦 | 代码任务需人工确认,批量自动化场景体验下降 |
| 单点配置 | Ollama 地址硬编码为 127.0.0.1:11434,无法自定义 |

适合人群

  • 高频 API 调用者:日均调用量易触限的开发者
  • 隐私敏感用户:希望将核心代码处理保留在本地
  • 企业内网环境:无外网出口或需离线工作的团队
  • LLM 可靠性研究者:需要测试多模型降级策略的技术人员

常规风险

  • 本地模型幻觉风险:7B 参数模型产生错误代码概率更高,确认机制仅提供人工兜底而非质量保障
  • 状态同步延迟:自动切换依赖错误检测,极端情况下可能漏检或延迟切换
  • 配置固化风险:冷却期、确认短语等关键参数未暴露配置接口,需修改源码调整
  • T3 维护不确定性:个人项目存在维护者精力波动导致的更新延迟风险

LLM Supervisor 内容

commands文件夹
dist文件夹
commands文件夹
hooks文件夹
hooks文件夹
types文件夹
@openclaw文件夹
手动下载zip · 10.4 kB
llm.tstext/plain
请选择文件