核心用法
llm-models 技能依托 inference.sh CLI,将 OpenRouter 上 100+ 大模型封装为本地可调用接口。用户仅需安装 infsh 客户端,即可通过 infsh app run 命令直接调用 Claude Opus 4.5、Gemini 3 Pro、Kimi K2、GLM-4.6 等主流模型,无需分别申请各平台 API Key。技能支持 JSON 格式输入,可传入 system 系统提示与 prompt 用户指令,并允许通过 --save 预生成模板文件以便复用。
典型调用流程:安装 CLI → infsh login 认证 → infsh app run <model-id> --input '{"prompt":"..."}'。openrouter/any-model 模式可自动选择性价比最优模型,适合批量任务与成本敏感场景。
显著优点
- 一站式聚合:单账号覆盖 Anthropic、Google、Moonshot、智谱等厂商模型,免除多平台 Key 管理。
- 自动容错与成本优化:
any-model智能路由 + 官方宣称的 automatic fallback,降低单点故障与超额支出风险。 - 轻量 CLI 设计:安装脚本仅下载匹配 OS/Arch 的二进制并校验 SHA-256,无后台驻留、无需 sudo。
- 生态联动:与
web-search、ai-image-generation等技能同构,可组合构建 RAG、Agent 工作流。
潜在缺点与局限
- 网络依赖:所有推理流量需经由 inference.sh / OpenRouter,国内用户可能面临延迟与连通性波动。
- 成本透明度:虽然支持自动选优,但实际计费仍取决于 OpenRouter 实时价格,复杂调用链下成本预估难度大。
- 厂商功能裁剪:部分模型原生能力(如 Claude 的 artifacts、Gemini 的多模态实时 API)可能因抽象层统一化而受限。
- 供应商锁定:CLI 与账号体系深度绑定 inference.sh,迁移至其他 OpenRouter 客户端需重新配置。
适合人群
- 全栈开发者:需快速切换模型进行 A/B 测试或成本对比。
- AI Agent 构建者:希望以统一接口集成多模型能力,实现路由与降级策略。
- 初创团队:无精力维护多平台 API 接入,追求 "one bill" 简化财务。
- 技术写作者与分析师:需高性价比的 Haiku/GLM 等轻量模型完成日常内容生成。
常规风险
- Token 消耗失控:长文本生成或多轮对话易累积高额费用,建议配合用量监控与预算告警。
- 数据出境合规:调用境外模型 API 可能涉及数据跨境传输,需评估企业合规要求。
- CLI 供应链安全:虽提供 SHA-256 校验,但安装脚本托管于第三方域名,建议企业级用户审计二进制签名或采用手动安装流程。
- 模型幻觉与版权:生成代码/内容可能存在幻觉或版权争议,关键业务场景需人工复核。