Xrouter 是一款开源的智能 LLM 推理路由器,作为 OpenClaw 与大语言模型提供商之间的中间层,通过硬件感知的分类算法实现请求的智能分发。
核心用法:Xrouter 提供 OpenAI 兼容的反向代理服务,内置三层分类器(0=廉价、1=中等、2=前沿)实时评估请求复杂度。系统支持通过交互式向导配置本地模型(Ollama、vLLM、TensorRT-LLM、llama.cpp)和云端提供商(OpenAI、Anthropic、Gemini 等),利用 Redis 或 LRU 缓存加速响应,并通过 /dashboard 端点提供 Token 使用可视化监控。用户只需将 API 端点指向 Xrouter,即可自动享受智能路由能力。
显著优点:成本优化是最大亮点,通过将简单查询路由至本地或廉价模型,仅将复杂任务分配给昂贵的 frontier 模型,可显著降低 API 支出。硬件自动检测功能智能推荐最适合的本地推理引擎,降低配置门槛。多提供商适配器支持主流平台的自动识别和流式传输转换,实现无缝迁移。早期流截断机制和完善的 Token 追踪系统进一步提升了生产环境的可观测性和成本控制能力。
潜在缺点:作为 T3 来源的个人社区项目,长期维护稳定性和企业级技术支持存在不确定性。系统架构较为复杂,需要同时维护本地模型服务和多云端提供商配置,对运维能力要求较高。本地分类器需要额外的计算资源,在低配设备上可能成为瓶颈。此外,非 OpenAI 适配器目前仅支持文本消息和基础采样参数,功能完整性有待提升。
适合的目标群体:主要面向需要平衡 AI 性能与经济性的开发团队、构建 LLM 应用的初创公司,以及希望统一多模型接入的企业 IT 部门。特别适合具备一定 DevOps 能力、拥有本地 GPU 资源或希望实现混合云架构的技术组织。对于高频调用但查询复杂度差异较大的应用场景(如智能客服、内容审核、代码补全)价值尤为突出。
使用风险:配置方面,多层级 API Key 和端点管理不当可能导致安全漏洞或服务中断。本地模型加载和分类器初始化可能增加冷启动延迟。系统引入的额外架构层级增加了复杂性,故障排查难度高于单一提供商方案。此外,Node.js 20+ 的运行时要求、Redis 缓存服务的维护,以及本地模型资源消耗,都需要相应的技术储备和基础设施投入。