Llmrouter

🔀 智能路由省90%模型费用

智能LLM代理路由器,根据请求复杂度自动选择最优模型,平衡成本与性能,支持Anthropic、OpenAI、Gemini、Kimi及本地Ollama

收藏
6.3k
安装
2.6k
版本
0.1.1
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

LLM Router 是一个智能代理服务器,通过分类器分析输入请求的复杂度,将其路由到合适的LLM模型。用户发送统一格式的API请求,系统自动选择从超轻量到超复杂五个层级的模型,无需手动切换。

显著优点

  • 成本优化:简单问候用Haiku/Mini模型,复杂推理才用Opus/o3,实测可节省50-90%的API费用
  • 多供应商支持:无缝集成Anthropic、OpenAI、Google Gemini、Kimi/Moonshot及本地Ollama
  • 灵活分类器:本地免费(Ollama)、远程快速(Anthropic Haiku/OpenAI GPT-4o-mini)可选,适应不同硬件环境
  • OpenClaw深度整合:专门兼容模式,支持Claude Code OAuth令牌、工具调用重映射
  • 零代码迁移:OpenAI兼容API格式,现有客户端无需修改即可接入

潜在缺点与局限性

  • 分类延迟:本地分类增加50-200ms首token时间,远程分类增加一次API往返
  • 分类误差风险:简单问题可能误判为复杂,导致过度消费;关键任务建议人工指定模型
  • 运维复杂度:需维护本地Python服务、虚拟环境、配置文件,非技术用户门槛较高
  • 供应商锁定隐忧:深度集成特定生态,切换成本存在

适合人群

  • 高频API调用者(日均$10+ token费用)
  • 多模型策略的技术团队
  • OpenClaw/Claude Code重度用户
  • 有运维能力的开发者

常规风险

  • API密钥泄露:配置文件中明文存储密钥,需严格权限控制
  • 本地服务暴露:默认绑定127.0.0.1较安全,但误配0.0.0.0可能导致未授权访问
  • 依赖供应链:PyPI依赖、Ollama模型存在潜在安全风险,建议固定版本审计

Llmrouter 内容

手动下载zip · 3.9 kB
SKILL.mdtext/markdown
请选择文件