核心用法
Xrouter 是一款 MIT 许可的开源 LLM 推理路由器，部署于客户端与模型提供商之间。其核心机制是通过三级分类器（0=廉价、1=中等、2=前沿）实时评估每个请求复杂度，自动匹配最经济的可用模型。用户通过 OpenAI 兼容接口（POST /v1/chat/completions）发送请求，系统根据分类结果智能选择本地或云端提供商，并支持流式响应。
显著优点
- 成本优化显著：通过智能降级将简单请求路由至廉价/本地模型，复杂任务才调用前沿模型，可大幅降低 API 支出
- 部署灵活：支持纯本地（Ollama/vLLM/TensorRT-LLM/llama.cpp）、纯云端或混合模式，硬件检测脚本自动推荐最优引擎
- 生态兼容性强：支持 OpenAI、Anthropic、Gemini、Cohere、Azure 等 10+ 提供商，自动适配非 OpenAI 接口的流式翻译
- 可观测性完善：内置 Token 追踪仪表板（
/dashboard）和用量 JSON 端点（/usage），响应头暴露路由决策（X-Xrouter-decision） - 缓存与容错：Redis/LRU 双层缓存，分类失败自动回退至前沿模型，保障服务连续性
潜在缺点与局限性
- 分类器可靠性依赖：分类准确性直接影响成本效益，错误分类可能导致简单任务调用昂贵模型或复杂任务被低估
- 本地模型运维成本：需自行维护本地推理服务（模型下载、显存管理、版本更新），对非技术用户门槛较高
- 非 OpenAI 适配器功能受限：Anthropic/Gemini 等适配器目前仅支持纯文本消息和基础采样参数，多模态/工具调用可能不兼容
- 单点故障风险：路由器作为流量入口，若未配置高可用，自身宕机将中断所有服务
适合人群
- 高频调用 LLM API 且成本敏感的开发团队（如 AI 应用、自动化工作流）
- 拥有本地 GPU/Apple Silicon 资源，希望构建混合云架构的技术组织
- 需要统一多提供商接口、简化模型切换成本的工程团队
常规风险
- 数据隐私：请求内容经路由器转发至第三方云服务商，需评估数据跨境与合规风险
- 供应商锁定缓解有限：虽支持多提供商，但配置迁移仍需手动调整端点和密钥
- 延迟权衡：分类器调用增加单次请求延迟（通常 <100ms），对超低延迟场景需权衡收益
- 密钥管理：多提供商 API 密钥集中存储于环境变量，需配合 secrets 管理最佳实践