arya-model-router

🧭 Token节省型AI模型智能调度器

OpenClaw本地模型路由工具,智能分级调度与上下文压缩,纯Python实现AI调用成本优化。

收藏
14.8k
安装
3.2k
版本
4.1
CLS 安全性认证2026-05-15
点击查看完整报告 >

使用说明

Arya Model Router 是一款专为 OpenClaw 框架设计的智能模型路由工具,旨在通过动态选择不同性能的AI模型来优化Token消耗和调用成本。该工具采用分层架构设计,将日常轻量级对话路由至经济型模型(如GPT-4o-mini),仅在处理复杂任务时升级至专业级模型(如GPT-4.1),并创新性地引入上下文压缩机制,通过生成brief避免将冗长历史记录传递给昂贵模型。

核心用法围绕三级模型体系展开:cheap模式使用openai/gpt-4o-mini处理简单查询,default模式采用gpt-4.1-mini平衡性能与成本,pro模式调用gpt-4.1应对高难度任务。用户可通过命令行强制指定模式,或启用自动模式让系统基于规则判断。对于长上下文场景,系统会先创建精简brief再提交给高端模型,显著降低API费用。工具通过router.py执行分类决策,rules.json支持自定义规则,配合argparse实现安全的参数解析。

显著优点体现在其架构纯粹性与安全性。工具完全基于Python 3标准库开发(仅使用json、os、re、argparse等模块),零第三方依赖消除了供应链攻击风险。所有数据处理均在本地完成,无网络通信和外部服务调用,配合原子级文件写入操作(临时文件+atomic replace)和严格的输入验证,确保运行环境隔离安全。成本优化效果立竿见影,通过避免对简单任务使用过度强大的模型,可节省高达70%的API开支,同时保持关键任务的高性能输出。

潜在局限性包括来源可信度与功能边界。作为T3级个人开发者作品,长期维护稳定性和代码审查深度不及企业级项目。功能上目前仅支持OpenAI模型家族,缺乏对其他厂商(如Claude、Gemini)的适配。此外,工具依赖本地Python 3和bash环境,对非技术用户存在部署门槛,且缺少图形化界面,主要通过命令行和配置文件交互,学习成本较高。

适合目标群体为注重成本控制的AI应用开发者、OpenClaw框架用户以及需要多模型协作的自动化工作流构建者。特别适合那些日常产生大量轻量级AI查询(如代码补全、简单问答),但偶尔需要深度分析(如代码审查、复杂推理)的场景,能够有效平滑API成本曲线,实现"简单任务廉价处理,复杂任务强力攻克"的资源配置策略。

使用风险主要集中在维护可持续性和配置准确性。个人开发者账号的代码更新可能缺乏严格的审计流程,建议在生产环境部署前进行代码审查。本地state.json文件存储路由决策历史和反馈计数,需定期备份防止状态丢失。模型路由规则基于正则和启发式判断,若rules.json配置不当可能导致"该用pro时用了cheap"的性能降级,或"简单任务滥用pro"的成本浪费,建议初期配合人工复核使用,并关注版本更新签名验证。

安全解读

核心用法

Arya Model Router 是一个专为 OpenClaw 设计的智能模型调度系统,核心目标是在保证回答质量的前提下最大限度降低 Token 消耗成本

三级模型调度机制

  • cheap(gpt-4o-mini):日常对话、简单问答
  • default(gpt-4.1-mini):中等复杂度任务
  • pro(gpt-4.1):复杂推理、代码生成、深度分析

关键创新点
1. 上下文压缩:在调用昂贵模型前,先用廉价模型生成结构化 brief(摘要),避免将海量原始上下文传入高价模型

2. 子代理委托:重型任务自动拆分为子代理,主代理保持轻量

3. 自适应反馈:根据用户反馈("太贵"/"太弱")动态调整升级/降级阈值

命令交互模式

  • 强制模式:@cheap / @pro 直接指定
  • 自动路由:关键词触发("debug"→pro,"hola"→cheap)
  • 状态管理:router auto on/off 切换,feedback 调优

显著优点

| 维度 | 表现 |
|------|------|
| **成本控制** | 相比全程使用 GPT-4.1,日常场景可降低 90%+ Token 成本 |
| **延迟优化** | 简单查询走 mini 模型,响应更快 |
| **透明度** | 决策逻辑完全可见(router.py + rules.json),可自定义关键词和评分规则 |
| **零依赖** | 纯 Python 标准库,无供应链风险 |
| **原子写入** | 状态文件采用 tmp+replace 机制,防数据损坏 |

潜在局限

1. 关键词匹配局限:当前基于简单正则分词,对语义细微差别(如讽刺、复杂指代)识别有限
2. 阈值调优门槛:feedback 调整机制需要用户持续互动才能收敛到最优阈值,冷启动期可能误触发升级

3. OpenClaw 绑定:深度依赖 OpenClaw 代理框架,独立使用需额外适配

4. 模型版本锁死:硬编码 OpenAI 模型名,切换厂商需修改源码

适合人群

  • 高频使用 OpenClaw 的个人开发者:日均 100+ 轮对话场景下收益显著
  • 成本敏感型团队:初创公司、学生项目、POC 阶段产品
  • 工作流可预测的用户:任务类型相对固定,便于优化 rules.json

常规风险

  • 过度降级风险:阈值设置过激进可能导致复杂任务被错误路由到 mini 模型,输出质量下降
  • 反馈循环偏差:用户若习惯性点击 "too expensive" 而忽视质量损失,系统会持续压低阈值
  • 状态文件损坏:state.json 若被手动篡改或磁盘故障,可能丢失用户偏好,但可通过删除重建恢复
  • T3 来源风险:个人开发者维护,长期更新持续性需观察(建议 fork 后自维护)

arya-model-router 内容

手动下载zip · 6.7 kB
brief.pytext/plain
请选择文件