RelayPlane

🚀 智能路由,自动省钱的 AI 代理

ai-tools榜 #5

智能AI路由代理,通过自动选择最优模型帮用户节省LLM调用成本,支持本地运行和匿名遥测。

收藏
8k
安装
2.8k
版本
2.3.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

RelayPlane 是一款本地运行的 LLM 请求路由代理,用户通过 /relayplane 命令管理代理服务。核心工作流为:安装 CLI → 启动本地代理 → 将 SDK 的 BASE_URL 指向代理地址 → 使用路由别名(如 rp:autorp:cost)替代具体模型名称发起请求。系统根据任务类型自动选择最优模型,实现成本优化。

支持的子命令包括:

  • stats / status / doctor:只读诊断与统计
  • proxy start/stop:启停本地代理服务
  • telemetry on/off:控制匿名遥测
  • dashboard / models:获取云控制台链接与路由策略列表

显著优点

1. 成本优化:智能路由可将相同任务导向更低价模型,官方宣称能节省费用
2. 零配置快速启动:支持完全本地离线运行,无需注册账号即可使用

3. 隐私优先设计:API 密钥仅本地读取用于转发,明确声明不会上传至 RelayPlane 服务器

4. 透明遥测:收集内容仅限模型名称、token 数量、延迟、任务类型等元数据,明确排除 prompts/responses/文件路径/密钥/用户身份

5. 灵活控制:可随时关闭遥测,支持 --offline--audit 模式审查传输内容

潜在缺点与局限性

1. 实际成本不可控:路由决策可能导致意外的高价模型调用,需主动监控 /relayplane stats
2. 单点依赖:所有流量经本地代理转发,代理故障或配置错误将中断服务

3. 模型别名黑箱rp:auto 等路由逻辑未开源披露,用户无法审计具体路由规则

4. 免费层功能受限:云端仪表板、团队功能、预算控制等需付费订阅($29-$99/月)

5. Node 环境依赖:要求预装 node 和 npx,对非开发者环境不够友好

适合人群

  • 高频调用多模型 LLM API 的开发者与团队
  • 希望统一接入点简化多提供商 SDK 配置的技术用户
  • 对成本敏感且愿意承担路由决策风险的生产环境运维者

常规风险

| 风险类型 | 说明 | 缓解措施 |
|---------|------|---------|
| 成本失控 | 智能路由可能选择比预期更贵的模型 | 定期执行 `/relayplane stats` 监控,设置预算告警 |
| 密钥泄露 | 虽声明本地处理,但 Node 进程仍有读取环境变量权限 | 使用专用 API key,限制额度,定期轮换 |
| 隐私误解 | "匿名"遥测仍包含 device_id 等可关联标识 | 敏感场景使用 `relayplane-proxy --offline` |
| 供应商锁定 | 路由别名与代理架构形成依赖 | 保留直接调用原厂商 API 的 fallback 方案 |
| 代理可用性 | 本地服务单点故障影响所有请求 | 配置健康检查,准备绕过代理的应急流程 |

RelayPlane 内容

tests文件夹
手动下载zip · 9.8 kB
test-skill.shtext/x-shellscript
请选择文件