clawd-throttle

🏎️ AI成本优化智能路由引擎

支持8大LLM提供商25+模型的智能路由工具,通过8维亚毫秒级评分系统自动选择最优性价比模型,在保障隐私的前提下显著降低API成本。

收藏
12.3k
安装
2.6k
版本
v2.0.0
CLS 安全性认证2026-05-13
点击查看完整报告 >

使用说明

Clawd Throttle 是一款专为 LLM 成本优化设计的智能路由中间件,能够在 Anthropic、Google、OpenAI、xAI、DeepSeek、Moonshot、Mistral 和 Ollama 八大提供商的 25 个以上模型中,自动为每个请求匹配最便宜且能力足够的模型。其核心机制基于一套 8 维评分系统(涵盖 token 数量、代码存在性、推理标记、问题复杂度、对话深度等指标),可在 1 毫秒内完成提示词分类,并映射至 eco、standard、gigachad 三种路由模式对应的模型层级,避免为简单查询支付 Opus 级别的高昂费用。

该工具提供完整的功能集,包括智能路由请求、提示词复杂度预检、成本统计追踪、运行时模式切换等命令,支持通过快捷指令强制指定特定模型,并针对子代理调用和心跳检测自动优化路由策略。所有决策日志和成本数据均以 JSONL 格式存储于本地,便于后续审计和分析。

显著优势在于其极致的成本优化能力和透明性。通过智能分层路由,用户可节省大量 API 费用,而亚毫秒级的分类器确保路由决策不会成为性能瓶颈。隐私保护方面表现突出:仅记录 SHA-256 哈希值而不存储原始提示内容,所有数据本地存储,API 密钥在配置显示时自动脱敏,充分保障数据主权。

局限性方面,作为 T3 级个人开发者开源项目,其长期维护稳定性和企业级支持保障相对有限。用户需要自行申请并管理多个平台的 API 密钥,初始配置门槛较高。此外,工具依赖外部网络请求,在完全隔离的离线环境中无法使用(除非纯本地 Ollama 模式),且路由算法的"最优"判断基于成本优先策略,可能对特定复杂场景的模型能力匹配存在偏差。

该工具最适合需要频繁调用多种 LLM API 的开发者、AI 应用团队、成本敏感的初创企业,以及注重数据隐私希望保留本地控制权的用户。对于生产环境高安全要求场景,建议在使用前进行额外的安全审计。

使用风险主要包括:多平台 API 密钥管理增加了潜在的凭证泄露面;虽然代码本身无恶意行为,但需信任个人开发者的代码更新源;长期运行的本地日志文件可能积累敏感元数据;以及依赖项(@modelcontextprotocol/sdk 等)的供应链安全风险。建议优先通过环境变量配置密钥,避免写入配置文件,并定期审查本地日志目录的访问权限。

安全解读

核心用法

Clawd Throttle 是一款LLM请求智能路由代理,核心目标是"用最低成本完成每项任务"。用户发送prompt后,系统在1毫秒内完成8维度复杂度评分(token数、代码特征、推理标记、多步模式等),自动匹配8家提供商(Anthropic/Google/OpenAI/DeepSeek/xAI/Moonshot/Mistral/Ollama)25+模型中的最优选择。

三种路由模式

| 模式 | 简单任务 | 标准任务 | 复杂任务 |
|------|---------|---------|---------|
| **eco** | Grok 4.1 Fast | Gemini Flash | Haiku |
| **standard** | Grok 4.1 Fast | Haiku | Sonnet |
| **gigachad** | Haiku | Sonnet | Opus 4.6 |

关键命令

  • route_request: 发送prompt并获取 cheapest capable model 响应
  • classify_prompt: 仅分析复杂度,不调用LLM
  • get_routing_stats: 查看成本节省与模型分布统计
  • 快捷覆盖:/opus/sonnet/haiku 等强制指定模型

显著优点

1. 极致成本控制:避免用Opus处理"hello"类简单请求,实测可节省60-90%费用
2. 8维度智能分类器:本地运行<1ms,零额外延迟,无需LLM参与决策

3. 多提供商容错:首选模型不可用时自动fallback,保障服务连续性

4. 透明可审计:所有路由决策记录本地JSONL,含cost追踪与SHA-256哈希(隐私友好)

5. 本地优先设计:Ollama支持实现完全离线能力,prompt原始内容永不外存

局限性与风险

| 类型 | 说明 |
|------|------|
| **功能依赖** | 需至少配置Anthropic或Google API key,单点失效风险 |
| **复杂度误判** | 分类器可能低估创意写作等"隐性复杂"任务,影响输出质量 |
| **网络暴露** | HTTP代理模式(默认关闭)监听8484端口,需防范未授权访问 |
| **配置风险** | 本地明文存储API key(脱敏显示),目录权限不当可导致泄露 |
| **供应链** | 依赖MCP SDK,需持续监控安全更新 |

适合人群

  • 高频API用户:日调用量>1000次,追求显著成本优化
  • 多账号管理者:同时持有多个LLM平台密钥,希望统一入口
  • 成本敏感团队:需要在质量与预算间动态平衡的场景
  • 隐私意识用户:本地日志+哈希记录满足数据合规要求

常规风险提示

  • Prompt内容会被转发至选定的外部API,敏感数据需谨慎评估
  • 建议配置文件目录权限设为0700,定期清理增长中的routing.jsonl日志
  • 环境变量中的API key可被同用户进程读取,共享环境需谨慎

clawd-throttle 内容

data文件夹
scripts文件夹
src文件夹
classifier文件夹
config文件夹
logging文件夹
proxy文件夹
router文件夹
server文件夹
utils文件夹
tests文件夹
unit文件夹
classifier文件夹
logging文件夹
proxy文件夹
router文件夹
server文件夹
手动下载zip · 58.4 kB
classifier-weights.jsonapplication/json
请选择文件