核心用法
RelayPlane 是一款本地运行的 LLM 请求路由代理,用户通过 /relayplane 命令管理代理服务。核心工作流为:安装 CLI → 启动本地代理 → 将 SDK 的 BASE_URL 指向代理地址 → 使用路由别名(如 rp:auto、rp:cost)替代具体模型名称发起请求。系统根据任务类型自动选择最优模型,实现成本优化。
支持的子命令包括:
stats/status/doctor:只读诊断与统计proxy start/stop:启停本地代理服务telemetry on/off:控制匿名遥测dashboard/models:获取云控制台链接与路由策略列表
显著优点
1. 成本优化:智能路由可将相同任务导向更低价模型,官方宣称能节省费用
2. 零配置快速启动:支持完全本地离线运行,无需注册账号即可使用
3. 隐私优先设计:API 密钥仅本地读取用于转发,明确声明不会上传至 RelayPlane 服务器
4. 透明遥测:收集内容仅限模型名称、token 数量、延迟、任务类型等元数据,明确排除 prompts/responses/文件路径/密钥/用户身份
5. 灵活控制:可随时关闭遥测,支持 --offline 和 --audit 模式审查传输内容
潜在缺点与局限性
1. 实际成本不可控:路由决策可能导致意外的高价模型调用,需主动监控 /relayplane stats
2. 单点依赖:所有流量经本地代理转发,代理故障或配置错误将中断服务
3. 模型别名黑箱:rp:auto 等路由逻辑未开源披露,用户无法审计具体路由规则
4. 免费层功能受限:云端仪表板、团队功能、预算控制等需付费订阅($29-$99/月)
5. Node 环境依赖:要求预装 node 和 npx,对非开发者环境不够友好
适合人群
- 高频调用多模型 LLM API 的开发者与团队
- 希望统一接入点简化多提供商 SDK 配置的技术用户
- 对成本敏感且愿意承担路由决策风险的生产环境运维者
常规风险
| 风险类型 | 说明 | 缓解措施 |
|---------|------|---------|
| 成本失控 | 智能路由可能选择比预期更贵的模型 | 定期执行 `/relayplane stats` 监控,设置预算告警 |
| 密钥泄露 | 虽声明本地处理,但 Node 进程仍有读取环境变量权限 | 使用专用 API key,限制额度,定期轮换 |
| 隐私误解 | "匿名"遥测仍包含 device_id 等可关联标识 | 敏感场景使用 `relayplane-proxy --offline` |
| 供应商锁定 | 路由别名与代理架构形成依赖 | 保留直接调用原厂商 API 的 fallback 方案 |
| 代理可用性 | 本地服务单点故障影响所有请求 | 配置健康检查,准备绕过代理的应急流程 |