核心用法
LLM Router 是一个智能代理服务器,通过分类器分析输入请求的复杂度,将其路由到合适的LLM模型。用户发送统一格式的API请求,系统自动选择从超轻量到超复杂五个层级的模型,无需手动切换。
显著优点
- 成本优化:简单问候用Haiku/Mini模型,复杂推理才用Opus/o3,实测可节省50-90%的API费用
- 多供应商支持:无缝集成Anthropic、OpenAI、Google Gemini、Kimi/Moonshot及本地Ollama
- 灵活分类器:本地免费(Ollama)、远程快速(Anthropic Haiku/OpenAI GPT-4o-mini)可选,适应不同硬件环境
- OpenClaw深度整合:专门兼容模式,支持Claude Code OAuth令牌、工具调用重映射
- 零代码迁移:OpenAI兼容API格式,现有客户端无需修改即可接入
潜在缺点与局限性
- 分类延迟:本地分类增加50-200ms首token时间,远程分类增加一次API往返
- 分类误差风险:简单问题可能误判为复杂,导致过度消费;关键任务建议人工指定模型
- 运维复杂度:需维护本地Python服务、虚拟环境、配置文件,非技术用户门槛较高
- 供应商锁定隐忧:深度集成特定生态,切换成本存在
适合人群
- 高频API调用者(日均$10+ token费用)
- 多模型策略的技术团队
- OpenClaw/Claude Code重度用户
- 有运维能力的开发者
常规风险
- API密钥泄露:配置文件中明文存储密钥,需严格权限控制
- 本地服务暴露:默认绑定127.0.0.1较安全,但误配0.0.0.0可能导致未授权访问
- 依赖供应链:PyPI依赖、Ollama模型存在潜在安全风险,建议固定版本审计