LLM Supervisor

🔄 云端限速自动降级,本地代码安全可控

Developer Tools榜 #39

智能切换云端与本地LLM,限速自动降级至Ollama,兼顾效率与数据隐私

收藏
14.7k
安装
3k
版本
0.1.3
CLS 安全性认证2026-05-21
点击查看完整报告 >

使用说明

核心用法

LLM Supervisor 是一款为 OpenClaw 设计的智能模型切换工具,核心功能是自动故障转移——当检测到 Anthropic Claude 或 OpenAI 的速率限制(429)或服务器过载错误时,无缝切换至本地 Ollama 实例运行。

工作流

1. 自动检测:拦截云端 API 的 rate-limit / overload 错误
2. 降级切换:自动路由到本地 qwen2.5:7b 模型

3. 安全确认:本地代码生成前强制要求输入 CONFIRM LOCAL CODE,防止未授权本地执行

4. 手动控制:支持 /llm status 查看状态,/llm switch cloud/local 手动切换

显著优点

  • 高可用性:消除云端限速导致的 Workflow 中断
  • 隐私保护:敏感任务可强制本地处理,数据不出境
  • 成本优化:减少高峰期云端 Token 消耗
  • 透明可控:每次本地代码生成需显式确认,兼顾自动化与安全

潜在局限

  • 本地 qwen2.5:7b 能力明显弱于 Claude 3.5/GPT-4,复杂代码生成质量下降
  • 需预装 Ollama 并保证 7B 模型常驻内存,对本地硬件有要求(建议 16GB+ RAM)
  • 自动切换可能掩盖 API 配额管理的根本问题
  • "CONFIRM LOCAL CODE" 为纯文本校验,无二次身份验证机制

适合人群

  • 高频使用 OpenClaw 的开发者,受限于云端 API 配额或企业合规要求
  • 处理敏感代码需本地闭环的隐私敏感用户
  • 拥有 M1/M2 Mac 或配备独立 GPU 的工作站用户

常规风险

  • 模型能力降级风险:自动切换后可能生成质量较低的代码,需人工 Review
  • 本地服务依赖:Ollama 未启动时降级失败,需兜底错误处理
  • 确认机制绕过风险:若终端被他人访问,纯文本确认可能被恶意输入
  • 供应链风险qwen2.5:7b 来自 Ollama Hub,需信任模型来源

安全解读

核心用法

LLM Supervisor 是一款轻量级模型调度工具,专为解决云 LLM 服务(Anthropic/OpenAI)的速率限制问题而设计。当检测到 API 限流或超载错误时,系统自动将请求切换至本地 Ollama 实例,默认使用 qwen2.5:7b 模型。用户可通过 /llm status 查看当前状态,/llm switch cloud|local 手动切换模式。

显著优点

1. 无缝降级体验:自动检测 HTTP 429/503 等错误码,零配置切换至本地模型,保障开发连续性
2. 安全确认机制:本地代码生成需用户输入 "CONFIRM LOCAL CODE" 显式授权,防止误操作

3. 零依赖架构:501 行代码零运行时依赖,无供应链攻击面,部署极轻量

4. 隐私优先设计:仅连接 127.0.0.1:11434,零外发数据,适合敏感代码场景

潜在局限

  • T3 来源风险:作者 Duncan Hardie 为个人开发者,无 GitHub 公开仓库记录,需自行代码审查
  • 本地模型能力边界:qwen2.5:7b 在复杂代码任务上弱于 Claude/GPT-4,存在输出质量落差
  • 确认流程摩擦:每次本地生成需手动输入确认短语,高频场景体验打折
  • 无测试覆盖:关键功能缺乏单元测试,可靠性依赖实机验证

适合人群

  • 频繁遭遇 Anthropic 速率限制的开发者
  • 对代码隐私敏感、需离线 LLM 能力的团队
  • 已部署 Ollama 本地服务的用户
  • 愿意审查 T3 代码的安全意识较强用户

常规风险

  • 配置项未校验(localModel/baseUrl)可能导致运行时错误
  • 建议 fork 后自建维护,降低个人项目断更风险

LLM Supervisor 内容

commands文件夹
dist文件夹
commands文件夹
hooks文件夹
hooks文件夹
types文件夹
@openclaw文件夹
手动下载zip · 10.4 kB
llm.tstext/plain
请选择文件