LLM Supervisor

🔄 智能限流切换 · 本地安全兜底

智能切换云端与本地模型,遇到限流自动降级到本地Ollama,代码生成需双重确认保障安全

收藏
8.1k
安装
3k
版本
0.1.2
CLS 安全性认证2026-05-17
点击查看完整报告 >

使用说明

核心用法

LLM Supervisor 是一款模型调度中间件技能,专为解决大语言模型 API 限流与过载问题设计。其核心机制在于实时监控 OpenClaw 对 Anthropic/OpenAI 云端模型的调用状态,当检测到 rate limit 或过载错误时,自动无缝切换至本地 Ollama 运行的 qwen2.5:7b 模型作为降级方案。

用户可通过三条简洁命令实现手动控制:/llm status 查询当前运行模式;/llm switch cloud 强制切回云端;/llm switch local 主动启用本地模型。这种设计兼顾自动化与人工干预的灵活性。

显著优点

  • 业务连续性保障:避免因第三方服务限流导致的工作流中断
  • 成本可控:本地模型调用零 API 费用,适合高频或长文本场景
  • 隐私增强:敏感数据处理可完全留在本地设备
  • 透明可控:手动切换命令赋予用户完全主动权

潜在局限与风险

  • 模型能力降级:Qwen2.5 7B 在复杂推理、代码生成质量上显著弱于 Claude/GPT-4 级模型
  • 本地算力依赖:需持续运行 Ollama 服务,对笔记本/低配设备有资源占用
  • 上下文长度限制:7B 模型的有效上下文通常远低于商业云端模型
  • 同步延迟:模型切换可能伴随短暂的响应中断

安全机制

该技能引入关键的安全闸门:所有本地代码生成必须经过显式确认,用户必须完整输入 CONFIRM LOCAL CODE 方可执行。这一设计有效防止了因模型降级导致的低质量或潜在有害代码被自动采纳,体现了"功能降级但安全不降级"的原则。

适合人群

  • 频繁遭遇 API 限流的开发者/内容创作者
  • 对数据隐私有强要求的本地优先用户
  • 需要 7×24 小时稳定 LLM 服务的自动化工作流搭建者
  • 愿意接受质量权衡以换取可用性的实用主义者

常规风险提示

  • 本地模型可能产生幻觉代码,生产环境使用前务必人工审查
  • 建议定期检查 Ollama 服务状态,避免静默故障
  • 复杂任务建议主动切回云端,勿依赖自动降级完成关键工作

安全解读

核心用法

LLM Supervisor 是 OpenClaw 的智能网关插件,专为解决云 LLM 服务(Anthropic/OpenAI)的速率限制问题而设计。当检测到 API 过载或配额耗尽时,自动将请求切换至本地运行的 Ollama 模型(默认 Qwen2.5:7B),确保开发工作流不中断。

使用流程
1. 正常状态下,所有请求通过云 LLM 处理

2. 当触发 429/503 等速率限制错误时,系统自动检测并切换

3. 若任务涉及本地代码生成,需用户在聊天框输入 CONFIRM LOCAL CODE 方可执行

4. 支持手动干预:/llm status 查看当前模式,/llm switch cloud/local 强制切换

显著优点

| 维度 | 表现 |
|------|------|
| **连续性保障** | 告别"等待配额重置"的停滞,本地模型即时响应 |
| **成本控制** | 高频场景下减少云 API 调用,降低 token 消耗 |
| **隐私增强** | 敏感代码任务可在本地闭环完成,数据不出本机 |
| **安全设计** | 强制确认机制防止意外执行,符合安全开发最佳实践 |
| **零依赖** | 除 SDK 类型定义外无第三方运行时依赖,供应链干净 |

潜在局限

1. 本地模型能力边界:Qwen2.5:7B 在复杂推理、长上下文理解上逊于 Claude/GPT-4,代码质量可能下降
2. 硬件依赖:本地推理需 GPU/充足内存,低配设备体验受限

3. HTTP 非加密传输:虽为本地回环地址(127.0.0.1),无网络暴露风险,但不符合 HTTPS 最佳实践

4. 版本管理瑕疵:package.json 与 skill.json 版本号未同步(1.0.0 vs 0.1.2),可能引发维护混淆

5. 配置验证不足:确认短语若设为空值,确认机制将失效(建议最小 8 字符)

适合人群

  • 高频开发者:日调用量接近云 API 配额上限的团队
  • 隐私敏感场景:金融、医疗等需代码本地处理的从业者
  • 成本敏感用户:希望将云 LLM 保留给高难度任务,常规任务用本地模型
  • 网络不稳定环境:需离线/弱网可用性的开发者

常规风险

| 风险项 | 等级 | 说明 |
|--------|------|------|
| 本地代码误执行 | 低 | 已通过强制确认机制缓解,但配置不当可能失效 |
| 供应链攻击 | 极低 | 无第三方依赖,攻击面极小 |
| 数据泄露 | 极低 | 无外部上传,本地流量不离开本机 |
| 模型降级导致输出质量下降 | 中 | 需用户权衡连续性与质量 |
| Ollama 服务不可用 | 中 | 建议添加健康检查前置 |

> 认证结论:CLS-Certify S 级(88 分),TypeScript 编写,静态分析 95 分,隐私合规 92 分,综合评估为优秀安全级别,适合生产环境使用。

LLM Supervisor 内容

commands文件夹
dist文件夹
commands文件夹
hooks文件夹
hooks文件夹
types文件夹
@openclaw文件夹
手动下载zip · 10.4 kB
llm.tstext/plain
请选择文件