Clawhub Skill

🔄 智能成本路由,一码多用

OpenAI兼容的智能路由网关,基于硬件感知分类器自动将请求路由至最优成本效益模型

收藏
7.5k
安装
2.4k
版本
0.1.3
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心定位

OpenRouter 是一个开源的 LLM 推理路由中间件,采用 MIT 许可证,介于 OpenClaw 与各类大模型供应商之间。其核心卖点是通过硬件感知的三级分类器(0=廉价/1=中等/2=前沿)实现请求的智能分级路由,在保证任务完成质量的前提下最大化成本效益。

显著优点

智能成本优化:三级分类机制是该项目的核心创新。分类器在首个 token 返回时即决定路由(0/1/2),支持流式截断以最小化分类开销。对于简单任务(如语法纠错)自动路由至本地廉价模型,复杂任务则升级至云端前沿模型。

广泛的提供商兼容性:支持 OpenAI、Anthropic、Gemini、Cohere、Azure OpenAI、Mistral、Groq、Together、Perplexity 等主流供应商,且提供 auto 模式自动识别适配器。非 OpenAI 供应商的流式响应会被透明转换为 OpenAI 格式的 SSE。

灵活的部署模式:支持纯本地(Ollama/vLLM/TensorRT-LLM/llama.cpp)、纯云端、或混合模式。Quick Start 模式对 Apple Silicon 用户尤为友好,可自动检测已安装的 Ollama 模型。

运维友好:内置 Redis/LRU 双层缓存、Token 用量仪表盘、硬件检测脚本、交互式配置向导,大幅降低运维复杂度。

潜在局限

分类器单点依赖:若分类器故障或超时,系统默认降级至 frontier 路由,可能在流量高峰期造成成本激增。分类器的准确性直接决定成本优化效果,但文档未披露分类准确率或训练数据细节。

非 OpenAI 适配器的功能裁剪:Anthropic/Gemini/Cohere 等适配器目前仅支持纯文本消息和基础采样参数(temperature/top_p/stop),多模态、工具调用、JSON 模式等高级功能可能不可用。

本地模型资源门槛:虽提供 CPU/AMD 回退方案(llama.cpp),但 "推荐" 的本地分类器方案(TensorRT-LLM/vLLM/MLX)均需要相应硬件支持,裸 CPU 场景体验可能不佳。

生态成熟度:相比成熟的商业路由服务(如 OpenRouter.ai 本身),本项目作为相对较新的开源项目(GitHub stars 增长中),生产环境的稳定性验证有限。

适用人群

  • 需要精细控制多供应商 LLM 成本的中小团队
  • 拥有 Apple Silicon/NVIDIA GPU 设备、希望利用本地算力的开发者
  • 已使用 OpenClaw 或 OpenAI 兼容客户端,希望无缝接入成本优化层
  • 需要避免供应商锁定、希望灵活切换模型来源的架构师

常规风险提示

  • API 密钥管理:需配置多组供应商密钥,建议使用最小权限原则并配合 ROUTER_API_KEY 增加一层访问控制
  • 成本监控盲区:虽然内置 Token 追踪,但分类器本身的调用成本(尤其是使用云端模型作分类器时)需额外关注
  • 流式响应一致性:跨供应商的流式转换可能存在行为差异,关键业务建议充分测试
  • 缓存策略敏感:Redis 缓存未在文档中说明失效策略,敏感数据场景需评估缓存安全性

技术架构速览

Node.js 20+ 运行时,Express 路由层,模块化设计(router/classifier/cache/token_tracker)。配置驱动,环境变量覆盖全面,Docker Compose 一键部署。

Clawhub Skill 内容

手动下载zip · 4.4 kB
SKILL.mdtext/markdown
请选择文件