核心用法
AI Model Router 是一款轻量级智能路由系统,能够根据任务复杂度自动在本地模型(如 Ollama、LM Studio)和云端模型之间切换。用户可通过 CLI 或 Python API 调用,系统内置评分机制判断任务复杂度:涉及微服务架构设计等复杂任务(+10分)路由至云端高性能模型,简单问答如"什么是 for 循环"(-3分)则使用本地快速模型,阈值设为5分。同时自动检测敏感数据(API密钥、密码等)强制切换隐私模式。
显著优点
1. 极简部署:核心代码仅约200行,零配置即可运行,自动检测本地模型
2. 智能分级:基于关键词评分的复杂度判断,无需人工干预
3. 隐私优先:敏感数据自动触发本地模式,避免数据外泄
4. 双模式接入:支持命令行和Python API两种调用方式
5. 成本优化:简单任务走本地免费模型,降低云端调用成本
潜在局限
1. 评分机制简陋:关键词匹配无法真正理解语义,可能误判任务复杂度
2. 模型生态依赖:本地模型需自行维护,云端7个内置模型可能不够全面
3. 无动态学习:评分规则固定,无法根据历史反馈优化路由决策
4. 上下文有限:虽有对话跟踪,但未说明多轮复杂任务的累积判断逻辑
适合人群
- 需要平衡成本与性能的个人开发者
- 对数据隐私敏感、希望敏感操作本地化的技术团队
- 已部署 Ollama/LM Studio 且希望扩展云端能力的用户
- 追求轻量方案、不愿维护复杂 MLOps 基础设施的中小团队
常规风险
| 风险类型 | 说明 | 缓解建议 |
|---------|------|---------|
| 路由误判 | 复杂任务被误判为简单任务导致输出质量下降 | 关键任务建议手动 `--force secondary` |
| 隐私漏检 | 正则表达式检测存在漏报可能 | 涉及核心机密建议手动启用隐私模式 |
| 模型可用性 | 本地模型未启动时自动降级逻辑未明确 | 使用 `--status` 预先检查模型状态 |
| API 密钥泄露 | 配置文件明文存储云端模型密钥 | 使用系统密钥管理服务替代 JSON 配置 |