RelayPlane

🚀 智能路由,自动省钱的 AI 代理

ai-tools榜 #5

智能AI路由代理,通过自动选择最优模型帮用户节省LLM调用成本,支持本地运行和匿名遥测。

收藏
8k
安装
2.8k
版本
2.3.0
CLS 安全性认证2026-07-06
点击查看完整报告 >

使用说明

核心用法

RelayPlane 是一款本地运行的 LLM 请求路由代理,用户通过 /relayplane 命令管理代理服务。核心工作流为:安装 CLI → 启动本地代理 → 将 SDK 的 BASE_URL 指向代理地址 → 使用路由别名(如 rp:autorp:cost)替代具体模型名称发起请求。系统根据任务类型自动选择最优模型,实现成本优化。

支持的子命令包括:

  • stats / status / doctor:只读诊断与统计
  • proxy start/stop:启停本地代理服务
  • telemetry on/off:控制匿名遥测
  • dashboard / models:获取云控制台链接与路由策略列表

显著优点

1. 成本优化:智能路由可将相同任务导向更低价模型,官方宣称能节省费用
2. 零配置快速启动:支持完全本地离线运行,无需注册账号即可使用

3. 隐私优先设计:API 密钥仅本地读取用于转发,明确声明不会上传至 RelayPlane 服务器

4. 透明遥测:收集内容仅限模型名称、token 数量、延迟、任务类型等元数据,明确排除 prompts/responses/文件路径/密钥/用户身份

5. 灵活控制:可随时关闭遥测,支持 --offline--audit 模式审查传输内容

潜在缺点与局限性

1. 实际成本不可控:路由决策可能导致意外的高价模型调用,需主动监控 /relayplane stats
2. 单点依赖:所有流量经本地代理转发,代理故障或配置错误将中断服务

3. 模型别名黑箱rp:auto 等路由逻辑未开源披露,用户无法审计具体路由规则

4. 免费层功能受限:云端仪表板、团队功能、预算控制等需付费订阅($29-$99/月)

5. Node 环境依赖:要求预装 node 和 npx,对非开发者环境不够友好

适合人群

  • 高频调用多模型 LLM API 的开发者与团队
  • 希望统一接入点简化多提供商 SDK 配置的技术用户
  • 对成本敏感且愿意承担路由决策风险的生产环境运维者

常规风险

| 风险类型 | 说明 | 缓解措施 |
|---------|------|---------|
| 成本失控 | 智能路由可能选择比预期更贵的模型 | 定期执行 `/relayplane stats` 监控,设置预算告警 |
| 密钥泄露 | 虽声明本地处理,但 Node 进程仍有读取环境变量权限 | 使用专用 API key,限制额度,定期轮换 |
| 隐私误解 | "匿名"遥测仍包含 device_id 等可关联标识 | 敏感场景使用 `relayplane-proxy --offline` |
| 供应商锁定 | 路由别名与代理架构形成依赖 | 保留直接调用原厂商 API 的 fallback 方案 |
| 代理可用性 | 本地服务单点故障影响所有请求 | 配置健康检查,准备绕过代理的应急流程 |

安全解读

核心用法

RelayPlane 通过本地代理拦截并重路由 LLM 请求,实现智能模型选择。用户安装 CLI 后启动代理(relayplane proxy start),将 SDK 指向本地端口(默认 3001),即可使用路由别名如 rp:auto(智能路由)、rp:cost(最便宜)、rp:best(最佳质量)等。

技能本身提供只读管理能力:

  • /relayplane stats — 查看用量统计与节省金额
  • /relayplane status — 检查代理健康状态
  • /relayplane doctor — 诊断配置与连接问题
  • /relayplane telemetry [on|off] — 控制遥测收集
  • /relayplane dashboard — 获取云端仪表盘链接

显著优点

成本优化:自动选择性价比最优模型,文档声称可显著降低 AI 使用成本。

零外部依赖:核心代码仅使用 Node.js 内置模块,无恶意第三方包风险。

隐私设计:API 密钥仅用于本地请求转发,承诺绝不外传;遥测仅收集匿名元数据(模型、token 数、延迟),可随时关闭。

灵活部署:支持纯离线模式(RELAYPLANE_OFFLINE=1),无需账户即可本地使用。

潜在缺点与局限性

商业产品锁定:高级功能(团队、预算控制、SSO)需付费订阅($29-$99/月),免费层功能受限。

系统权限要求:需执行系统命令检测 CLI 安装状态,使用 child_process 模块,存在理论攻击面(尽管当前实现无注入风险)。

遥测默认开启:虽然可关闭,但默认收集行为可能引发隐私敏感用户顾虑。

CLI 依赖管理:依赖外部 npm 包,用户需自行确保从官方源安装并保持更新。

适合人群

  • 高频使用多模型 LLM 的开发者与团队
  • 希望优化 AI 成本结构的中小企业
  • 具备基本 DevOps 能力、能自主管理本地代理的用户

常规风险

1. 成本失控风险:代理本身不产生费用,但路由至高级模型(如 rp:best)可能意外增加支出,需配合 /relayplane stats 主动监控。

2. 密钥管理风险:虽然承诺不上传,但任何读取环境变量的工具都增加潜在的密钥泄露攻击面,建议在隔离环境中使用。

3. 供应链风险:依赖 Continuum 维护的 npm 包,需关注官方安全公告。

4. 网络中间人风险:本地代理成为流量枢纽,若主机被入侵,所有 AI 请求可被拦截。

RelayPlane 内容

tests文件夹
手动下载zip · 9.8 kB
test-skill.shtext/x-shellscript
请选择文件