Clawhub Skill

🎯 AI 智能路由与成本优化神器

快速配置和运行 OpenRouter 本地智能路由系统,支持硬件感知的模型分类与自动降级策略,适合需要成本优化的 AI 应用部署。

收藏
4.8k
安装
2.4k
版本
0.1.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

OpenRouter Router Skill 是一套用于部署和运维 OpenRouter 硬件感知分类器路由器 的完整工具集。该路由器通过本地分类器模型智能判断请求复杂度,自动在"低成本本地模型"与"高性能云端模型(前沿模型)"之间进行路由决策。

标准工作流程:
1. 环境准备:确保 Node.js 20+ 已安装

2. 本地模型服务(可选):推荐 Mac 用户使用 Ollama 启动本地模型

3. 配置向导:运行 npm run configure 完成交互式环境配置

4. 启动服务:执行 npm run dev 启动路由服务

5. API 调用:向 POST /v1/chat/completions 发送 OpenAI 兼容格式的请求

6. 路由追踪:检查响应头 x-openrouter-decisionx-openrouter-upstream 了解路由决策

7. 监控面板:访问 http://localhost:3000/dashboard 查看实时状态

显著优点

1. 成本优化显著:通过本地分类器预判请求复杂度,简单查询路由至免费/低成本本地模型,复杂查询才使用付费 API,大幅降低运营成本
2. 延迟优化:本地分类决策通常在毫秒级完成,避免了不必要的网络往返

3. OpenAI 兼容:完全兼容 OpenAI API 格式,现有客户端无需修改即可接入

4. 硬件感知:智能识别本地硬件能力,动态调整路由策略

5. 可视化运维:内置 dashboard 实时监控路由决策分布、延迟、错误率等关键指标

6. 优雅降级:分类器故障时自动回退至云端模型,保障服务可用性

潜在缺点与局限性

1. 部署复杂度:需要同时维护本地模型服务(如 Ollama)和 Node.js 服务,运维成本高于纯云端方案
2. 分类器准确性依赖:路由质量直接取决于分类器模型的判断准确性,需要持续优化 CLASSIFIER_SYSTEM_PROMPT

3. 环境限制:对 Node.js 版本(20+)和本地模型运行环境有硬性要求

4. 模型预热开销:首次加载本地模型可能产生显著延迟,需配置 warmup 策略

5. 单环境变量限制CLASSIFIER_SYSTEM_PROMPT 必须保持单行(dotenv 不支持多行值),复杂提示词维护困难

6. Ollama 模型切换开销:若 cheap 路由使用与分类器不同的本地模型,会导致频繁的模型加载/卸载,显著影响性能

适合人群

  • 成本敏感型 AI 应用开发者:需要大规模部署但希望控制 API 成本的个人开发者或初创团队
  • 隐私优先场景:涉及敏感数据,希望尽可能在本地完成推理的企业用户
  • 混合云架构实践者:熟悉 Node.js 生态,具备本地模型运维经验的工程师
  • 低延迟要求场景:对响应延迟有严格要求,无法接受纯云端方案网络开销的应用

常规风险

1. 路由误判风险:分类器可能将复杂请求误判为简单请求导致输出质量下降,或反之造成成本浪费;建议持续监控 x-openrouter-decision 头并迭代优化提示词
2. 本地模型可用性风险:Ollama 服务异常时会导致分类失败并触发降级,需配置监控告警

3. 超时配置风险CLASSIFIER_TIMEOUT_MS 设置过低会导致频繁降级,过高则影响用户体验;需根据实际硬件性能调优

4. 环境变量注入风险.env 文件权限管理不当可能导致 API 密钥泄露;建议配合 secrets 管理工具使用

5. 版本兼容性风险:Node.js 版本低于 20 可能导致不可预期的运行时错误

Clawhub Skill 内容

手动下载zip · 1.6 kB
SKILL.mdtext/markdown
请选择文件