LLM Router 综合评估
核心用法
LLM Router 是一个开源的智能代理服务器，位于用户与大模型API之间，自动分析输入请求的复杂度并将其路由到成本最优的模型。系统采用本地运行的Ollama小型模型（默认Qwen2.5:3B）作为分类器，将任务分为5个复杂度等级（super_easy/easy/medium/hard/super_hard），对应Anthropic不同价位的Claude模型。
工作流程：用户请求 → 本地分类器判定复杂度 → 路由至Haiku/Sonnet/Opus → 返回结果。支持OpenAI兼容API格式，可无缝接入现有工具链。
显著优点
- 成本优化：简单问候使用Haiku（ cheapest），复杂架构设计才调用Opus，典型场景可节省50-80%成本
- 透明可控：基于本地运行的开源模型做分类决策，无需额外API调用
- 灵活配置：YAML配置+Markdown路由规则表，支持自定义复杂度定义和模型映射
- OpenClaw集成：专为该生态设计，扩展性强
局限性与风险
- 成熟度不足：核心功能仅Anthropic经测试，OpenAI/Google/Ollama均为"未测试"状态
- 分类准确性依赖：3B参数模型的判断力有限，可能误判任务复杂度导致体验下降或成本失控
- 单点故障：本地Ollama宕机则整个路由系统失效
- 延迟增加：增加一次本地推理的额外延迟（通常<100ms但不可忽视）
- 维护负担：需同时管理Ollama服务、分类器模型、代理服务器三层组件
适合人群
- 高频使用Claude API且请求类型差异大的开发者
- 希望精细控制AI预算的技术团队
- 已部署OpenClaw生态的用户
- 愿意承担运维复杂度换取成本优化的高级用户
常规风险
- API密钥暴露：需配置Anthropic密钥于环境变量，存在泄露风险
- 配置错误成本：路由规则误配可能导致意外调用高价模型
- 本地服务安全：默认监听127.0.0.1，但生产环境暴露需谨慎
- 供应商锁定：深度集成Anthropic，迁移至其他平台需重构配置