Llmrouter

🔀 智能路由省90%模型费用

智能LLM代理路由器,根据请求复杂度自动选择最优模型,平衡成本与性能,支持Anthropic、OpenAI、Gemini、Kimi及本地Ollama

收藏
6.3k
安装
2.6k
版本
0.1.1
CLS 安全性认证2026-07-01
点击查看完整报告 >

使用说明

核心用法

LLM Router 是一个智能代理服务器,通过分类器分析输入请求的复杂度,将其路由到合适的LLM模型。用户发送统一格式的API请求,系统自动选择从超轻量到超复杂五个层级的模型,无需手动切换。

显著优点

  • 成本优化:简单问候用Haiku/Mini模型,复杂推理才用Opus/o3,实测可节省50-90%的API费用
  • 多供应商支持:无缝集成Anthropic、OpenAI、Google Gemini、Kimi/Moonshot及本地Ollama
  • 灵活分类器:本地免费(Ollama)、远程快速(Anthropic Haiku/OpenAI GPT-4o-mini)可选,适应不同硬件环境
  • OpenClaw深度整合:专门兼容模式,支持Claude Code OAuth令牌、工具调用重映射
  • 零代码迁移:OpenAI兼容API格式,现有客户端无需修改即可接入

潜在缺点与局限性

  • 分类延迟:本地分类增加50-200ms首token时间,远程分类增加一次API往返
  • 分类误差风险:简单问题可能误判为复杂,导致过度消费;关键任务建议人工指定模型
  • 运维复杂度:需维护本地Python服务、虚拟环境、配置文件,非技术用户门槛较高
  • 供应商锁定隐忧:深度集成特定生态,切换成本存在

适合人群

  • 高频API调用者(日均$10+ token费用)
  • 多模型策略的技术团队
  • OpenClaw/Claude Code重度用户
  • 有运维能力的开发者

常规风险

  • API密钥泄露:配置文件中明文存储密钥,需严格权限控制
  • 本地服务暴露:默认绑定127.0.0.1较安全,但误配0.0.0.0可能导致未授权访问
  • 依赖供应链:PyPI依赖、Ollama模型存在潜在安全风险,建议固定版本审计

安全解读

核心功能

LLM Router 是一款智能代理层,通过分析请求复杂度自动将用户查询路由至最合适的语言模型。其核心机制是将任务分为五个等级(super_easy 至 super_hard),分别对应从简单问候到复杂系统架构设计的不同场景,从而实现"简单任务用便宜模型,复杂任务用强大模型"的成本优化策略。

显著优点

成本效益最大化:这是 LLM Router 最突出的价值。通过将日常简单查询(如问候、简单问答)路由至 Haiku、GPT-4o-mini 等低价模型,仅在必要时调用 Opus、o3 等旗舰模型,用户可显著降低月度 API 支出。据估算,对于以常规交互为主的应用场景,成本节省可达 60-80%。

多平台生态支持:原生兼容 Anthropic Claude 系列、OpenAI GPT/o 系列、Google Gemini、Kimi/Moonshot 以及本地 Ollama 模型,提供统一的路由层抽象,降低多供应商管理的复杂度。

灵活的分类策略:提供本地(Ollama 免费运行)、云端(Anthropic Haiku/OpenAI GPT-4o-mini 低成本调用)等多种分类器选项,适应不同硬件条件和隐私需求。

OpenClaw 深度集成:专为 Claude Code 生态设计的 --openclaw 模式,支持工具调用重映射和模型名称重写,实现无缝接入现有开发工作流。

潜在局限

分类准确性依赖:请求复杂度的自动判断并非绝对准确,存在边缘案例将复杂请求误判为简单任务的风险,可能导致输出质量下降。用户需通过编辑 ROUTES.md 持续调优分类规则。

延迟开销:增加了一层网络代理和分类推理,对于极简请求可能引入 100-500ms 的额外延迟,在对实时性要求极高的场景需谨慎评估。

运维复杂度:作为独立服务运行,需维护 Python 环境、配置文件和可能的本地模型(Ollama),对纯终端用户而言门槛高于直接使用云 API。

适合人群

  • 高频使用 Claude/GPT API 的开发者与团队,寻求成本优化方案
  • 需在单一接口管理多供应商模型的技术架构师
  • 使用 OpenClaw/Claude Code 生态的重度用户
  • 具备基础运维能力、能自行部署 Python 服务的用户

常规风险

  • 配置错误风险:错误的 config.yaml 可能导致请求路由至非预期模型或失败
  • 本地服务暴露:默认仅监听 localhost,但若误配置为开放网络可能引发未授权访问
  • API 密钥管理:需妥善保管各供应商 API Key,避免泄露

安全认证

CLS-Certify S级认证(92/100)。纯文档类型 Skill,无可执行代码,无数据外泄风险,所有外部链接指向 GitHub/Apple 可信域名。

Llmrouter 内容

手动下载zip · 3.9 kB
SKILL.mdtext/markdown
请选择文件