clawhub-skill-2

Xrouter 是一款开源的智能 LLM 推理路由器，作为 OpenClaw 与大语言模型提供商之间的中间层，通过硬件感知的分类算法实现请求的智能分发。

核心用法：Xrouter 提供 OpenAI 兼容的反向代理服务，内置三层分类器（0=廉价、1=中等、2=前沿）实时评估请求复杂度。系统支持通过交互式向导配置本地模型（Ollama、vLLM、TensorRT-LLM、llama.cpp）和云端提供商（OpenAI、Anthropic、Gemini 等），利用 Redis 或 LRU 缓存加速响应，并通过 /dashboard 端点提供 Token 使用可视化监控。用户只需将 API 端点指向 Xrouter，即可自动享受智能路由能力。

显著优点：成本优化是最大亮点，通过将简单查询路由至本地或廉价模型，仅将复杂任务分配给昂贵的 frontier 模型，可显著降低 API 支出。硬件自动检测功能智能推荐最适合的本地推理引擎，降低配置门槛。多提供商适配器支持主流平台的自动识别和流式传输转换，实现无缝迁移。早期流截断机制和完善的 Token 追踪系统进一步提升了生产环境的可观测性和成本控制能力。

潜在缺点：作为 T3 来源的个人社区项目，长期维护稳定性和企业级技术支持存在不确定性。系统架构较为复杂，需要同时维护本地模型服务和多云端提供商配置，对运维能力要求较高。本地分类器需要额外的计算资源，在低配设备上可能成为瓶颈。此外，非 OpenAI 适配器目前仅支持文本消息和基础采样参数，功能完整性有待提升。

适合的目标群体：主要面向需要平衡 AI 性能与经济性的开发团队、构建 LLM 应用的初创公司，以及希望统一多模型接入的企业 IT 部门。特别适合具备一定 DevOps 能力、拥有本地 GPU 资源或希望实现混合云架构的技术组织。对于高频调用但查询复杂度差异较大的应用场景（如智能客服、内容审核、代码补全）价值尤为突出。

使用风险：配置方面，多层级 API Key 和端点管理不当可能导致安全漏洞或服务中断。本地模型加载和分类器初始化可能增加冷启动延迟。系统引入的额外架构层级增加了复杂性，故障排查难度高于单一提供商方案。此外，Node.js 20+ 的运行时要求、Redis 缓存服务的维护，以及本地模型资源消耗，都需要相应的技术储备和基础设施投入。

Xrouter 综合评估

核心用法

Xrouter 是一款 MIT 许可的开源推理路由器，定位为 OpenClaw 与 LLM 提供商之间的智能中间层。其核心工作流程为：接收 OpenAI 兼容格式的请求 → 通过硬件感知的三级分类器（0=廉价/1=中等/2=前沿）评估任务复杂度 → 自动路由至最具成本效益的模型处理 → 返回流式响应。支持纯本地、纯云端或混合部署模式，并内置 Redis/LRU 缓存层、令牌追踪仪表盘和多提供商适配器。

典型部署路径：
1. 运行 npm run check-hw 检测硬件并推荐本地引擎（TensorRT-LLM/vLLM/MLX/llama.cpp）
2. 执行 npm run configure 启动交互式配置向导，选择本地分类器模型及 cheap/medium/frontier 三级路由的提供商
3. 启动路由器 npm run dev，将 OpenAI 兼容请求发送至 localhost:3000/v1/chat/completions
4. 通过响应头 X-Xrouter-decision 和仪表盘监控路由决策与成本分布

显著优点

• 成本优化精准：三级分类策略可将简单请求路由至本地小模型，复杂请求才调用 GPT-4/Claude 级前沿模型，理论成本可降低 60-90%
• 硬件感知智能：自动检测 NVIDIA GPU、Apple Silicon 或 CPU 环境，推荐最优本地推理引擎
• 零侵入集成：完全兼容 OpenAI API 格式，现有客户端仅需修改 base_url 即可接入
• 多生态支持：原生支持 Ollama、vLLM、TensorRT-LLM、llama.cpp 本地引擎，以及 OpenAI、Anthropic、Gemini、Azure、Groq 等十余家云服务商
• 透明可观测：每请求返回路由决策头信息，仪表盘实时展示三级模型的令牌消耗占比
• 容错设计：分类器故障自动降级至 frontier 路由，模型加载期智能重试

潜在缺点与局限性

• 延迟权衡：首次请求需等待分类器推理（虽支持流式截断优化），本地模型冷启动可达数秒
• 分类准确率依赖：任务复杂度判断基于本地小模型，对边缘案例（如需创意但看似简单的提示）可能误判导致性能损失
• 运维复杂度：混合部署需同时维护本地模型服务和云 API 密钥，监控维度较单一云方案翻倍
• 功能限制：非 OpenAI 适配器仅支持文本消息和基础采样参数，多模态、工具调用等高级特性受限
• 生态依赖：分类器效果受限于所选本地模型质量，需手动调优 system prompt

适合人群

| 用户类型 | 适用场景 |

|---------|---------|

| 成本敏感型企业 | 高频调用场景（客服、内容审核）需显著降低 API 账单 |

| 隐私优先团队 | 简单请求必须本地处理，仅复杂查询上云 |

| 多模型管理开发者 | 希望统一接口调度本地+云端异构模型资源 |

| 边缘 AI 研究者 | 探索分级推理架构的实验性部署 |

常规风险

1. 本地模型安全风险：若暴露 11434/8000/8080 等本地服务端口至公网，可能遭遇未授权访问
2. API 密钥管理：配置文件中若误提交真实密钥至版本控制，存在泄露风险
3. 分类器漂移：业务场景变化后需重新校准分类阈值，否则可能出现系统性路由错误
4. 供应商锁定缓解：虽支持多提供商，但深度功能（如 Claude 的特定参数）可能仍依赖原生 API
5. 依赖维护：Node.js 20+ 要求及上游推理引擎（vLLM/Ollama）更新需持续跟进