核心用法
OpenRouter Router Skill 是一套用于部署和运维 OpenRouter 硬件感知分类器路由器 的完整工具集。该路由器通过本地分类器模型智能判断请求复杂度,自动在"低成本本地模型"与"高性能云端模型(前沿模型)"之间进行路由决策。
标准工作流程:
1. 环境准备:确保 Node.js 20+ 已安装
2. 本地模型服务(可选):推荐 Mac 用户使用 Ollama 启动本地模型
3. 配置向导:运行 npm run configure 完成交互式环境配置
4. 启动服务:执行 npm run dev 启动路由服务
5. API 调用:向 POST /v1/chat/completions 发送 OpenAI 兼容格式的请求
6. 路由追踪:检查响应头 x-openrouter-decision 和 x-openrouter-upstream 了解路由决策
7. 监控面板:访问 http://localhost:3000/dashboard 查看实时状态
显著优点
1. 成本优化显著:通过本地分类器预判请求复杂度,简单查询路由至免费/低成本本地模型,复杂查询才使用付费 API,大幅降低运营成本
2. 延迟优化:本地分类决策通常在毫秒级完成,避免了不必要的网络往返
3. OpenAI 兼容:完全兼容 OpenAI API 格式,现有客户端无需修改即可接入
4. 硬件感知:智能识别本地硬件能力,动态调整路由策略
5. 可视化运维:内置 dashboard 实时监控路由决策分布、延迟、错误率等关键指标
6. 优雅降级:分类器故障时自动回退至云端模型,保障服务可用性
潜在缺点与局限性
1. 部署复杂度:需要同时维护本地模型服务(如 Ollama)和 Node.js 服务,运维成本高于纯云端方案
2. 分类器准确性依赖:路由质量直接取决于分类器模型的判断准确性,需要持续优化 CLASSIFIER_SYSTEM_PROMPT
3. 环境限制:对 Node.js 版本(20+)和本地模型运行环境有硬性要求
4. 模型预热开销:首次加载本地模型可能产生显著延迟,需配置 warmup 策略
5. 单环境变量限制:CLASSIFIER_SYSTEM_PROMPT 必须保持单行(dotenv 不支持多行值),复杂提示词维护困难
6. Ollama 模型切换开销:若 cheap 路由使用与分类器不同的本地模型,会导致频繁的模型加载/卸载,显著影响性能
适合人群
- 成本敏感型 AI 应用开发者:需要大规模部署但希望控制 API 成本的个人开发者或初创团队
- 隐私优先场景:涉及敏感数据,希望尽可能在本地完成推理的企业用户
- 混合云架构实践者:熟悉 Node.js 生态,具备本地模型运维经验的工程师
- 低延迟要求场景:对响应延迟有严格要求,无法接受纯云端方案网络开销的应用
常规风险
1. 路由误判风险:分类器可能将复杂请求误判为简单请求导致输出质量下降,或反之造成成本浪费;建议持续监控 x-openrouter-decision 头并迭代优化提示词
2. 本地模型可用性风险:Ollama 服务异常时会导致分类失败并触发降级,需配置监控告警
3. 超时配置风险:CLASSIFIER_TIMEOUT_MS 设置过低会导致频繁降级,过高则影响用户体验;需根据实际硬件性能调优
4. 环境变量注入风险:.env 文件权限管理不当可能导致 API 密钥泄露;建议配合 secrets 管理工具使用
5. 版本兼容性风险:Node.js 版本低于 20 可能导致不可预期的运行时错误